实时语音Agent从此拥有长期记忆！颜水成团队开源零延迟双脑记忆框架

智猩猩AI整理

编辑：知知

目前大多数AI仍然以工具方式存在。

你可以让它写一封邮件、规划一次旅行，甚至陪你聊上半小时。

但随着窗口关闭，这段互动也随之中断。第二次打开，你写邮件时的语气、规划旅行时的偏好，以及半小时内聊过的烦恼，可能都要从头再讲一遍。

而AGI Being指向的是另一种可能。

AI不再只是随用随关的工具，而是可以长期陪伴，逐渐了解一个人的。

如果AGI Being真正出现，人机交互将不再只是“一次任务”，而会变成“一段关系”。AI与人的连接，也会从提出指令、完成工作，走向长期理解、相互适应。

而这种关系不是仅靠几次正确回答就能建立起来的。AI既要记得发生过什么，也要在下一次对话中及时想起来。

但对实时语音来说，“及时想起”本身就很困难。

2025年6月，YC F24项目团队曾直言：“Latency is not a free lunch”——低延迟不是免费的。

系统反应得太早，容易抢话；等得久，响应又会变慢。而加入记忆后，语音Agent还必须在说话前完成检索，留给系统的时间会更加紧张。

没有记忆，语音Agent只能逐轮回答，无法把当前对话与过去联系起来；接入记忆后，它又必须在回答前完成检索和筛选。

于是，实时语音遇到了难以绕开的矛盾：

没有记忆，AI无法真正认识一个人；加入记忆，它又会失去自然对话最需要的响应速度。

VoiceMem正是从这个方面切入。

这个项目由来自南洋理工大学、新加坡国立大学、清华大学、香港中文大学和Open Interaction Lab的研究者共同完成，为实时语音设计了一套“流式双脑”记忆框架。

它用信息左脑组织事实，回答“过去发生过什么”；用情感右脑管理人格、态度和情绪，理解“正在和我说话的是一个怎样的人”。

VoiceMem也同时兼顾速度与准确率。

在LoCoMo上，VoiceMem只取回5条记忆便取得91.2分，比Mem0取回200条高出29.52分；人格记忆平均得分达到74.16分，比此前最强基线MemOS高1.89分。

它既记住了过去发生了什么，也逐渐了解用户是一个怎样的人。

01

一套“双脑”，

让语音Agent真正拥有长期记忆

（1）为什么实时语音需要一套新的记忆基础设施？

现有Agent Memory通常可以抽象成三个步骤：

1.从对话中提取值得保存的事实；

2.根据当前问题搜索记忆库；

3.将Top-K结果注入模型上下文。

这套流程在文本Agent中通常可以串行完成：用户完成输入后，系统等待检索结束，再开始生成答案。

但实时语音增加了三组硬约束。

第一，检索必须进入实时链路

传统记忆检索往往需要2—3秒。对于文本交互，这可能只是一次稍长的等待；对于语音交互，却会形成明显停顿。

论文将实时语音系统能够接受的额外时延控制在约100—200毫秒，因此检索不能等到用户彻底说完后才开始。

第二，Top-K预算大幅缩小

文本Agent可以检索Top-100甚至更多结果，再依靠长上下文模型完成二次筛选。

语音模型的上下文容量和响应预算更加有限。

如果大量记忆进入上下文，不仅增加token成本，也会干扰模型对当前音频的处理。

但直接把Top-100缩减成Top-5同样不可行。只要前五条中混入几条字面相关、实际无用的结果，真正需要的记忆就会被挤出去。

因此，问题不只是怎样排序，而是怎样在排序之前缩小并校准候选池。

第三，记忆不只存在于文字中

语音除了文本语义，还携带说话人、韵律、情绪和环境声音。

长期用户理解也必须区分事实、稳定人格与对象相关情绪：用户“下周三要参加面试”是一条事实；“在重要场合前容易焦虑”是一种长期模式；“提到某位上司就会紧张”则是与特定对象绑定的情绪。

VoiceMem的核心设计，就是分别处理这些不同类型的记忆，再让它们在检索阶段协同工作。

（2）一套“双脑”，分别管理事实与人格

VoiceMem没有把所有内容塞进同一个向量数据库，而是在底层记忆引擎之上，建立了信息左脑和情感右脑两套上层结构。

•信息左脑通过Schema、Entity和Edge组织事实记忆；

•情感右脑通过Independent persona nodes和Cross-entity persona nodes管理稳定人格与对象相关情绪。

两个脑在存储时分别维护，在检索时联合路由。

当左脑激活“某个项目”或“某位上司”等Entity时，右脑可以沿连接找到相关的人格和情绪节点，不必重新搜索完整的人格记忆库。

VoiceMem还允许在Entity下挂接多模态节点。启用相应功能后，系统可以选择性保存：

•说话人声纹；

•声学Embedding；

•原始音频波形。

这些音频表示可以用于多说话人区分、副语言分析和环境声音记忆。

（3）信息左脑：Schema—Entity两级索引压缩搜索空间

左脑的关键，不是把整个记忆库排序得更复杂，而是在搜索之前先缩小范围。

Schema负责粗粒度语义路由，Entity表示具体的人物、事件和概念，并保存指向底层记忆项的索引。

每个Entity归属于一个Schema；Entity之间通过Micro Edge连接，Schema之间则通过Macro Edge连接。

完整流程可以概括为：

部分转写→ Schema与Entity匹配 → 强、弱一跳关系扩展 → 构建候选池 → 底层Top-K搜索

第一步，边说边匹配

用户还在说话时，流式ASR不断产生部分转写。

这里的Matcher可以理解为一个流式语义匹配器：它读取不断更新的部分转写，同时在Schema和Entity索引中寻找相关节点。

举例来说，“我今天面试结束以后……”可能同时匹配到“工作”Schema和“面试”Entity。

第二步，沿强、弱一跳关系扩展

仅检索字面命中的Entity可能漏掉相关记忆。因此，VoiceMem还会沿强、弱一跳关系扩展候选实体。

候选范围包括：

•当前直接匹配的Entity；

•归属于已匹配Schema的Entity；

•与上述Entity存在强一跳关系的节点；

•与上述Entity存在弱一跳关系的节点。

第三步，只在候选池中搜索

完成上层路由后，系统收集相关Entity所指向的底层记忆，形成候选池。

底层引擎执行的不是：MemSearch（查询，完整记忆库，K），而是MemSearch（查询，候选池，K）

当前实现使用Mem0作为底层存储与搜索引擎。进入检索阶段后，Mem0只需要在已经过滤的候选范围内完成搜索。

这一设计解释了VoiceMem为什么能在Top-5预算下保持较高准确率：它并不是依靠更复杂的最终排序找回答案，而是在排序前先排除了大量不相关记忆。

论文的K值扫描实验也支持这一点。VoiceMem从K=5继续增加到K=10，只提高1.3分；扩大到K=100，也只增加2.3分，却需要约8倍的记忆token。

也就是说，Top-5已经覆盖了大部分有效信息。

（4）情感右脑：区分稳定人格与对象相关情绪

如果只设置一个统一的“用户画像”，系统很容易把短期反应误判成长期人格。

例如，用户今天在会议后表现得不耐烦，并不意味着他长期“脾气暴躁”；用户只在谈到某位上司时焦虑，也不能被简单归纳为“对所有工作都焦虑”。

VoiceMem因此设置了两类人格节点：

•Independent persona nodes：保存由多轮证据支持的稳定特征，例如长期行为规律和情感倾向；

•Cross-entity persona nodes：记录用户对具体人物、事件或概念的情绪和态度，并连接到左脑中的相应Entity。

检索时，右脑一方面匹配当前转写涉及的人格节点，另一方面接收左脑已经激活的Entity，并找到与其连接的Cross-entity节点。

例如，当左脑激活“上周的面试”Entity时，它可以从事实记忆中找回“用户为这次面试准备了两个月”；右脑则可以取回“用户在重要面试前容易焦虑”等人格信息。

长短期两种归因机制

右脑的更新也被拆成两个时间尺度。

短期归因在当前交互中执行，保存此刻的情绪、情绪对象及其可能原因。

长期归因在会话结束后执行，联合分析多轮情绪证据，将反复出现的模式沉淀为稳定人格节点。

因此，当用户用明显低落的语气说“我没事”时，系统可以保留当前情绪；但只有类似反应在多次会话中重复出现，才会形成“用户倾向于隐藏负面情绪”这样的长期判断。

这不是在事实记忆外增加一个情绪标签，而是建立一套独立更新、又能与事实实体互相索引的人格图。

（5）四阶段流式检索，把134毫秒重叠进VAD窗口

仅仅缩小搜索范围，还不足以满足实时语音要求。

VoiceMem进一步将检索拆成Listening、Speech Tail、Anticipation和Searching四个阶段，让大部分计算在VAD正式确认用户结束表达之前完成。

Listening

用户仍在说话时，系统已经并行处理：

•流式ASR；

•说话人识别；

•左脑Schema和Entity匹配；

•右脑Independent与Cross-entity节点匹配。

此时使用的是持续更新的部分转写，不需要等待完整句子。

Speech Tail：静音0—200毫秒

检测到静音后，系统暂不将其判定为轮次结束，而是继续使用已有的部分转写、节点匹配和说话人信息。

Anticipation：静音200—400毫秒

当静音达到200毫秒，系统开始假设当前轮次即将结束，并提前执行：

•查询Embedding计算；

•左脑上层图扩展；

•右脑Persona Graph扩展；

•双脑候选池构建。

Searching：静音400—500毫秒

最后只剩底层记忆搜索，以及左右脑结果的合并与Prompt构造。

论文指出，常用VAD阈值约为500毫秒，在回复正式开始前可以提供约400毫秒的处理窗口。

VoiceMem的密集双脑检索本身耗时134毫秒，可以被容纳在这个窗口中。

因此，“near-zero added latency”不等于检索没有计算开销，而是检索与VAD等待时间发生了重叠。

需要注意，134毫秒衡量的是双脑记忆检索，并不是从用户说完到语音回答播放的完整端到端时延。实际系统还会受到ASR、回复模型、TTS和硬件配置影响。

开源接口采用了持续处理音频的VAD式设计：系统根据partial transcript提前搜索，当接口返回turn_over时，可以直接读取左右脑结果。

02

7个Benchmark、10种对比系统，

VoiceMem效果怎么样？

论文在三组任务上进行评测：

•信息记忆：LoCoMo、LongMemEval、Memora；

•人格记忆：ES-MemEval、PersonaMem、PersonaLens；

•长期语音记忆：ChatMem-Bench。

对比对象包括Full-Context，以及Mem0、Zep、LangMem、A-MEM、MemoryOS、MemOS、MemoryBank、EverMemOS和Emotional RAG等10种方案。

所有基线统一使用GPT-4o-mini作为回答模型、text-embedding-3-small作为Embedding模型，Temperature设为0；表中带特殊标记的VoiceMem结果使用团队微调的回复模型。

VoiceMem分别测试K=1、3、5、10、30和100，并将K=5设为默认部署点。

（1）信息记忆平均76.39

VoiceMem在11个信息记忆子任务中的7个取得最高分，平均得分为76.39。

相比之下：

•比底层使用的Mem0高24.12分；

•比读取完整历史的Full-Context高15.90分。

优势最大的任务是时间推理。此类问题通常需要多条相关记忆同时进入Top-K，VoiceMem相对基线提高54.9分。

而在更新追踪任务中，单条最新记忆往往已经能够回答问题，因此优势缩小到7.4分。

这也说明上层索引最明显的作用，是提高多记忆共同召回的概率。

（2）人格记忆平均74.16

VoiceMem在11个人格记忆子任务上的平均得分为74.16，比此前最强基线MemOS高1.89分。

其中一个值得注意的结果来自ES-MemEval。

Full-Context已经可以读取完整历史，但在冲突检测和用户建模上分别只有12.10分和21.70分；VoiceMem对应达到69.10分和74.00分。

问题不在于证据是否进入了上下文，而在于系统是否把分散证据组织成了稳定人格，并区分长期特征与对象相关情绪。

（3）ChatMem-Bench覆盖53小时真实语音

为了评测长期语音环境中的记忆能力，团队构建了经过人工策划的长时程语音评测集ChatMem-Bench，而不是直接采集自然发生的真实用户对话。

该数据集包括：316个问题；15,314轮对话；约53小时音频；4个能力维度；14类细分任务。

四个维度分别是信息记忆、人格理解、情感归因，以及副语言与环境推理。

VoiceMem在14类任务中的11类取得最高分，综合得分为68.73。

最大的提升来自背景声音回忆、声学场景推断和多人对话记忆等任务。三个声学类别中，文本系统得分位于3.23—26.92之间，VoiceMem达到45.16—53.84。

原因也很直接：这些问题的答案并不存在于ASR转写中。

不过VoiceMem并非在所有情感任务上都拉开同样大的差距。论文指出，文字选择本身已经包含较多情感信号，因此文本基线在部分情感归因任务上仍有竞争力；音频带来的增益更多体现在依恋相关决策和情感化表达上。

（4）准确率、token和时延

在LoCoMo、K=5条件下：

•VoiceMem：91.2分、430个记忆token、134毫秒；

•EverMemOS：83.13分、1,899个记忆token。

VoiceMem以约4.4倍更少的记忆token，提高了约8.1分。

另外，VoiceMem从K=3增加到K=100时，检索时延始终维持在134毫秒附近。

这是因为Schema路由提前限制了候选池。最终返回多少条结果，并不会显著改变底层需要搜索的范围。

去掉Schema路由后，系统需要K=30和1,277个token，才能达到原方案在430个token附近的准确率。

（5）每个模块都经过消融验证

研究者分别移除上层索引、情感右脑、Cluster Emergence、长短期更新和联合检索。

五项消融在LoCoMo、ES-MemEval、ChatMem-Bench和Memora上均造成性能下降，其中移除上层索引的影响最大，右脑次之。

这说明VoiceMem的效果并非由单一模块支撑：上层索引负责缩小范围，右脑补充人格信息，其他更新与联合检索机制也各自贡献了增益。

03

记忆不是语音Agent的外挂，

而是实时交互的一部分

VoiceMem不是简单地在语音模型后面接一个记忆数据库，而是围绕实时交互重新组织整条链路：

Schema—Entity索引缩小候选范围，左右脑分别维护事实与人格，流式检索则把记忆访问重叠进VAD窗口。

这套设计共同应对三个限制：有限的上下文、检索结果必须足够准确，以及对话不能被记忆检索拖慢。

VoiceMem也不是终点。

后端迁移实验说明，同一套上层索引可以接入不同的Memory Engine，但上层结构并不会消除底层引擎本身的能力差异。

VoiceMem给出的，是一条把Memory真正放进实时语音链路的工程路径。

当AI开始长期与同一个人交互，记忆就不能继续停留在模型后方，而要成为实时交互本身的一部分。

关注+星标，获取AI前沿进展与开源一线动态