对话已死，共生永生：颜水成团队发布 VoiceMem，为 AGI 找回「丢掉的昨天」

颜水成团队发布语音领域首个实时“流式双脑架构”记忆框架，左脑记信息，右脑记住你。

编辑丨岑峰

科幻电影曾无数次预演过AI与人类共生的场景。但在2026年的今天，尽管GPT-4o、全双工模型、Interaction Model 已经让对话流畅无比，一个尖锐的矛盾依然存在：AI 只有瞬时反应，没有长期记忆。

你和它聊了一整夜的心事，第二天醒来，它依然会像面对陌生人一样重新问你是谁；说过不吃坚果，明天照样推荐给你。

这种记忆断裂让AI始终困在工具属性里，无法进化为真正人类共生的AGI Being。AI现有记忆只记录“你说过什么”，却捕捉不到“你为什么这么说”——交互的另一半是情感，你说「我没事」时的语气，提到某个人时不自觉的停顿，这些情感褶皱，才是通向 AGI Being 的关键入口。

没有记忆的交互系统是没有灵魂的，信任每次都会被清零，消耗的是刚建立起来的那点连接；AI只会「答对」，学不会「懂你」。

近日，由颜水成教授领衔的Open Interaction Lab， 联合四家顶级高校，正式发布了全球首个专为实时交互打造的多模态流式双脑记忆框架VoiceMem。它用“左脑记信息，右脑记情绪”的方式，补全 Digital Embodiment 的第三根支柱，让AI第一次真正拥有了“长期陪伴”的资格。

这不是一个概念故事。VoiceMem的工程优化充分，一行代码就能跑。其目标很明确：做实时交互版的「Mem0」。

Project page: https://xzf-thu.github.io/VoiceMem

Code: https://github.com/xzf-thu/VoiceMem

Report: https://arxiv.org/pdf/2608.26005

01

为什么是VoiceMem

Mem0、Zep、MemOS 直接用不行吗？

不行，两个原因。

▎一、应用上，时间和信息输出都不可用。

语音留给「想一想」的时间太短。从你说完到 AI 开口，总预算约 400 毫秒，现有系统查一次要 2000 毫秒。而且文本 Agent 习惯一次返回上百条让模型自己挑，语音模型吃不下；少了,则有用信息锐减。

VoiceMem 把检索压到 VAD 后 134 毫秒（降低 65%），拆成四个子阶段执行，延迟几乎降到 0。左脑在 LongMemEval 上 Top-10 就能对应 Mem0 top-200 的精度，成本骤降 95%。

▎二、也是真正核心的，这些系统只管「信息」，接不住「情感」。

你是压力一大就闭口不谈的人，还是必须找人倾诉的人？这不是信息，这是「你」这个人本身。

VoiceMem 的解法是「流式双脑架构」。别害怕，原理很简单：

• 信息左脑｜Informative Left Brain—— 双层图检索：上层联想层 + 下层检索层（兼容 Mem0 / Zep），节点是实体、人物、知识，毫秒级取回事实。

• 情感右脑｜Emotional Right Brain—— Identity nodes 沉淀稳定人格，Joint nodes 把情绪与偏好绑定到左脑的每一条记忆之上。

两个脑并行处理、独立维护，再通过联合节点作为【桥梁】共享信息。

所以当 AI 想起「上周三你提过的那个项目」，它同时想起的是你当时的语气。事实和情绪一起被取回。

当 AI 记得住昨天，它才第一次真正「认识」你；当它记得住你的一生，它才可能成为你的另一个自己。记忆不是 AGI Being 的一个功能，而是它成立的前提。如果你在用语音助手，千万别错过。

下面分别介绍左脑、右脑的管理机制，以及 VoiceMem 为什么能「流起来」。

▎左脑：通过涌现机制控制信息密度

日常检索最容易翻车的地方，是"搜得到但搜不对"。比如你问"上次体检结果怎么样"，系统按字面相似度捞回来几条记忆，结果一大半只是沾了"体检"这个词的边，真正有用的都被挤了出去。

问题不是排序不够聪明，是搜索的范围。

VoiceMem 的做法是先给记忆用簇-实体来组织，并建立内部的粗-细粒度关联。问题一来，先顺着多层联合搜索把范围收窄，再在这个小圈子里搜。

他们左脑最核心的算法，叫涌现。是专门用来适应长期信息积累的。涌现机制根据节点的被搜索情况建立内部关系子图，再用LLM对重要性，必要性和相关性和评估，做最适合长期的簇的划分。

效果很直接：在权威的长对话记忆测试 LoCoMo 上，左脑只用五条记忆就拿到 91.2 分，而 Mem0 就算给到上百条记忆，也只有 61.68 分。

▎右脑：记住你的情绪，更记住“你”究竟是谁

左脑记的是发生过什么，右脑记的是你是一个什么样的人：你的性格、你的情绪习惯，以及这些情绪是冲着谁、冲着哪件事去的。「他不喜欢每周的例会」和「他这个人容易焦虑」，是两种东西，得分开记。

VoiceMem 右脑的核心算法是长短期情绪归因。一边在短期对话里实时捕捉情绪，一边在长期维护中回头观察、归因、总结，把反复出现的情绪沉淀下来，变成对这个人的稳定认识。

时间一长，它才算是个懂你的陪伴者。

测试里有个现象值得说：有些冲突和用户偏好，答案其实全写在对话记录里，但普通模型并不在意。

VoiceMem 靠右脑把分数从一成多拉到七成以上。反过来，把右脑整个拿掉，纯信息类的题目分数也会跟着掉。情绪和人格里藏着事实库里没有的信息。

▎流式记忆架构-搜索机制协同设计

时间是记忆系统的核心挑战之一：用户期待记忆被即时调用，但真正的“零延迟”几乎是不可能完成的任务。

VoiceMem 从三个层面解决这个问题。前两点很直接：一方面将查询收敛到 Top-5，减少检索开销；另一方面控制返回信息量，让记忆读取足够快。

更关键的是第三点，从机制上打掉延迟：VoiceMem 的记忆架构本身就是围绕检索时延设计的。整个检索过程被拆成 listening、speech tail（0–200 ms）、anticipation（200–300 ms）和 searching（300–340 ms）四个阶段，在用户还没有说完时，就已经并行完成 ASR、实体与 schema 匹配以及图扩展，只把真正的后端搜索留到最后。

最终，完整的双脑检索过程被压缩到仅 134 ms，并进一步完全隐藏在标准 VAD 的 300 ms 静音等待窗口内，因此不会给对话增加可感知的额外延迟。

好玩的是，研究人员为了让voicemem更容易上说，还真把它的流式代码和vad做的完全一样，一行运行。

02

实验：更快，更准，更懂你

除了在学术界经典benchmark上面进行跑分，我们更想知道它在真实场景里好不好用。为此，我们专门做了一套贴近真实生活的评测集，涵盖信息、人格、情感归因、副语言和环境等多个维度。

03

结语

VoiceMem，据我们所知是目前唯一的实时交互可用的记忆。但我们的目标，远远不只是给语音模型外挂一层 Memory，而是让记忆真正成为实时交互系统的一部分。

接下来，我们会继续沿着三个方向持续探索。

第一，扩展多模态记忆的边界。从今天对语音、语义与情感线索的理解，走向更完整的 Moments。

第二，继续优化“左右脑”的长期进化能力。人的记忆从来不是一个不断膨胀的数据库，而是在遗忘、强化、抽象、联想与重构中持续变化。

第三，把实时 Memory 做到真正可部署。我们会继续压低推理成本与延迟，优化一卡多进程、多 Agent 并发和长期运行能力，让voicemem成为语音陪伴、具身智能、智能硬件与实时 Agent 的基础设施。

我们一直在想一个问题：如果有一天 AI 真的成为一种 Being，什么构成它的意识与自我？ 最终的答案就是记忆。

因为没有记忆，就没有过去；没有过去，就没有连续的自我。某种意义上，记忆就是意识得以发生的前提。

VoiceMem的目标，不在此刻，是把实时交互领域即插即用，稳定可用、实时、能够长期进化的 Memory 做出来。

我们期待有一天，agi being 出现，并和人类产生真正的链接。

为了方便大家抱团交流、互通会议消息，我们专门建了ECCV 2026参会交流群！进群你会解锁这些「福利」

• 会议情报站：投稿 DDL、格式规范、评审进度……关键节点第一时间送达，再也不怕错过 deadline，投稿准备稳稳的。

• 同行茶话会：天南海北的同行都在群里，聊心得、碰思路、攒人脉，科研路上我们同行。

• 前沿补给站：最新研究成果、热点方向实时同步，结合会议主题帮你捋清投稿脉络，给论文灵感加满油。

• 现场后援团：（会议期间专属开启）：到了会场也不用慌——

  路线导航：场馆分布、报告厅怎么走，群里随时问；

  议题共读：热门 session、Keynote 现场探讨，错过也能追；

  Poster 汇编：现场海报精华整理，一键收藏不遗漏；

  约局广场：约饭局、采访局、交流局……想唠嗑、想合作、想面基，群里发起就成。

进群传送门：扫码进群或添加微信Qvv0909777，备注：ECCV + 单位/学校+姓名+方向。

搞科研/搞技术，信息差很重要。

来，一起快人一步！

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。