会说话的AI，记不住"谁"在说话

2026年,如果你问一个语音AI"我上周提到的那件事怎么样了",它大概率能答对。这几年大语言模型加上语音技术,已经能处理相当复杂的多轮对话了。

但如果你换一个问法:"上次跟我说话时,语气有点犹豫的那个人,他后来怎么说的?"

大部分语音AI会当场卡壳。

这不是危言耸听。墨尔本大学和新南威尔士大学的研究者们做了一个叫VoxMem的基准测试,专门考察这类问题,结果是评测的15个主流语音大模型,在32K token的历史长度下,没有一个准确率超过40%。

**这篇论文揭示了一个被长期忽视的事实:语音AI的"记忆",几乎全部建立在文字内容上,而声音本身携带的信息几乎被完全丢弃。**

这事说起来有点讽刺。我们管这些模型叫"语音"大模型,可它们记住的东西,跟把语音转成文字再喂给纯文本模型,似乎没有本质区别。

问题出在哪:语音里到底藏着什么

先说清楚一件事:说话这件事,从来不只是"说了什么"。

你和朋友打电话,对方说"我没事"三个字,这三个字的信息量取决于怎么说的。是平静地说,还是带着哭腔说,还是笑着说反话,这些声音特征传达的信息,有时候比字面意思重要得多。

再往外延伸一层,你还能从电话里听到背景音。对方是在办公室、在地铁上、还是在雨里,这些环境声音也是信息的一部分。还有一层,如果这是一个多人共用的语音助手,你得知道到底是家里哪个人在说话,张三说的和李四说的,含义可能完全不同。

论文把这些统称为**声学证据**。

> 声学证据*:语音交互中除了字面语义之外,还需要记住的信息,包括谁在说话(说话人身份)、怎么说的(副语言线索,比如犹豫、兴奋、语速)、以及周围能听到什么(环境声音)。

现有的语音基准测试,几乎全都在考"说了什么"这一项。SpokenWOZ、ContextDialog这类基准,测试的是模型能不能记住对话里陈述的事实,这跟测试一个纯文本聊天机器人没什么区别,只是把文字换成了语音输入而已。

这就好比你去考驾照,考官只让你在平地上倒车入库十次,从不测你在雨天湿滑路面、夜间视线不好、旁边有行人乱穿马路时能不能安全驾驶。你拿到驾照,但你真的会开车吗?

如果不测试这些额外维度,会发生什么?研究者做了一个很直接的实验来验证这个担忧:他们把一段语音的文字转录喂给模型,和把完整音频喂给模型做对比。

结果显示,在需要"说话人身份"信息的题目上,完整音频输入时模型准确率是69.8%,只给文字转录时暴跌到10.3%,掉了近60个百分点。副语言线索类题目从42.8%掉到3.2%,环境声音类题目从28.6%掉到0.8%,几乎归零。

只有纯语义类题目影响很小,从75.9%降到71.0%。

**这组对比数字说明,那三类声学证据题目,真的没法靠看文字蒙对,必须听音频才能作答。**

这也反过来证明了此前很多基准的局限,如果一个测试题目光看文字转录就能答对,那它压根没有测出模型"听"的能力,只是在测语音识别加文本理解。

记忆不只是找答案,还要会用

光是分清"记什么"还不够。论文提出的第二个维度是**记忆操作**,也就是拿到这些证据之后,模型要怎么处理它们。

> 记忆操作*:指记住的信息被使用的方式,论文定义了四种,信息提取(找一个事实)、多会话推理(综合多段对话)、时序追踪(跟踪信息的变化)、拒绝回答(判断信息不足时主动说不知道)。

这四种操作,对应的是人类记忆真实发生的四种场景。

信息提取,就是最简单的"你还记得我说过什么吗"。多会话推理,像是"我这周和上周分别提到的两件事,是不是同一件"。时序追踪,像是"我计划从A改成B又改成C,现在到底是哪个方案"。拒绝回答,则是"如果压根没聊过这个话题,你别瞎编"。

论文里举了个例子特别形象。假设有个用户问语音助手:"我之前说的关于换灯泡的事,现在是什么状态?"答案"暂停了"藏在某一次历史对话里,而且是用这个用户的声音说的。

麻烦的是,系统里还存着另一段对话,是另一个用户用不同的声音聊的换灯泡话题,内容还不一样。语音助手必须靠声纹分辨出哪段对话是这个提问者本人说的,而不能简单地"这个话题只有一处提到,那就是它了"。

这就像你在一个大家庭群聊里问"我上次说的那件事怎么样了",群里明明有好几个人都聊过类似的事,你的家人得先想清楚"你"是谁,再去翻找属于你的那条记录,而不是看到关键词就随便回复一个相关的答案。如果系统不做这一步身份绑定,它很可能把张三的换灯泡计划说成是你的。

时序追踪这块也很有意思。论文特别强调,声学信息的变化往往不会被说出来。

举个例子,一个人第一次打电话时语气轻松,后来变得急躁,没有人会在电话里说"我现在语气比上次更急躁了",这种变化只存在于声音本身,文字记录里完全看不出来。模型必须自己从音频里察觉出这种前后差异。

这跟看照片对比一个人两年前和现在的变化类似,照片不会写标签告诉你"这个人瘦了",你得自己拿两张图去比对。如果没有这种主动比对的能力,你就永远活在"当下这一帧"里,意识不到任何变化。

一个被99%基准忽略的场景:多轮会话之间的记忆

除了声学证据和记忆操作这两个维度,论文还点出了第三个被忽视的问题:**几乎所有现有基准测试的对话都发生在一次连续录音里**。

现实生活不是这样的。你今天早上跟语音助手说了一件事,晚上又说了另一件事,过几天再提起,这中间隔着时间、隔着不同的场景。助手要做的不是记住"刚才这几分钟说了什么",而是要跨越几十次、上百次分散的交流,把碎片信息拼起来。

> 多会话历史*:指对话不是一次性发生的连续录音,而是分散在多个时间点、多个独立场次里积累起来的交互记录。

论文提到一个很关键的挑战,叫做"竞争性会话"。历史记录里可能同时存在好几段聊同一个话题、但内容细节不同的对话,系统不能靠"话题匹配"就随便挑一个当答案,必须精确锁定正确的那一段。

这就像在一个装满相似钥匙的抽屉里找家门钥匙。如果抽屉里只有一把钥匙,你闭着眼睛都能摸到。但如果抽屉里有十把长得差不多的钥匙,你必须靠钥匙上那道细微的刻痕才能分辨出哪个是对的。VoxMem构建数据集时特意塞进了大量这种"相似但错误"的干扰会话,逼着模型必须真正理解问题,而不是投机取巧。

论文用一个具体的验证实验证明了这些干扰会话的难度足够高:他们训练了一个只看文字的分类器,让它去区分哪些会话是"证据"、哪些是"干扰项",结果准确率只有51%到56%,跟随机打乱标签后的47%到49%基线差不多。

**这说明干扰会话在文字层面几乎无法被简单规则识破,模型必须真正结合问题去定位正确的证据,而不能靠表面的关键词匹配蒙混过关。**

VoxMem是怎么造出来的

理解了这三个维度,再来看VoxMem这个基准本身是怎么搭建的,会更有画面感。

整个数据集包含3196道题目,铺在34743段独立的语音会话上,总时长177小时。每道题目背后都藏着一套精心设计的"剧本"。

每段多轮历史由三种类型的会话组成。第一种是**证据会话**,真正藏着答案的那一段。第二种是**干扰会话**,内容上跟证据会话很像,但答案是错的或者根本不相关,专门用来防止模型走捷径。第三种是**填充会话**,普通的日常闲聊,用来把历史拉长到目标长度。

构建流程分三步走。第一步是规划,先确定题目、答案和需要的证据,再决定这些证据该分布在哪些会话里。第二步是对话撰写,让文字内容和答案严格脱钩,用户轮次和助手轮次分别独立生成,避免助手不小心把答案说漏嘴。第三步是语音合成,用Higgs-TTS-3这套系统把文字转成真实语音,给每个虚拟"用户"分配固定的声音,让声纹在整个历史里保持一致。

为了控制变量,论文设计了一套很讲究的实验方式:同一道题目,会被嵌入到四种不同长度的历史里,分别是8K、16K、32K、64K token,换算成实际时长大概是2.5分钟到20分钟的音频。关键是,题目、答案、所需的证据在四种长度里完全一样,变化的只是周围塞进去的干扰信息量。

这个设计非常聪明。它排除了一个常见的混淆因素,以前很多测试如果发现"历史越长准确率越低",没法说清楚到底是历史长度导致的,还是不同长度下换了不同难度的问题导致的。VoxMem把这个变量锁死了,任何准确率的下滑,只能归因于历史变长这一件事。

这就像做药物疗效实验时,必须给同一批病人用同一种药,只改变剂量,才能判断疗效跟剂量的关系。如果每次换药又换病人,你根本说不清是药起了作用还是病人体质不同导致的。VoxMem固定了"病人"和"药",只调整"剂量",这样才能干净地测出历史长度对记忆能力的真实影响。

为了保证质量,论文还做了两层校验。第一层是会话级别的检查,验证每段音频的转录是否准确、声纹是否一致、声学线索是否真的能被听出来。第二层是问题族级别的检查,验证整套历史组装完之后,答案是否唯一、有没有被意外泄露、拒绝回答类题目是否真的做到了无解可寻。

15个模型交出的成绩单

数据集造好了,接下来是真正有意思的部分,让市面上主流的语音大模型来答题。

论文评测了15个模型,涵盖谷歌的Gemini系列、阿里的Qwen系列等专有API,以及十个开源权重模型,包括音频专用架构和全模态架构。

结果不算乐观。

在32K这个参考预算下,表现最好的模型准确率也只有38.5%,专有模型平均33.0%,开源模型平均21.9%。换句话说,面对一段大约20分钟音频量的多轮对话历史,当前最强的语音AI,答对的题目连四成都不到。

更值得琢磨的是不同证据类型之间的巨大落差。同样是32K预算下,专有模型在纯语义类问题上平均能拿到55.6%,但换成说话人身份类问题就跌到32.7%,副语言线索类只有20.0%,环境声音类21.9%。开源模型的对应数字是31.6%、26.7%、14.5%、15.5%,呈现出完全相同的分层模式。

**这组数据基本坐实了论文开篇的判断:模型对"说了什么"的记忆能力,远远好于对"谁说的""怎么说的""周围有什么声音"的记忆能力。**

再看记忆操作这条线索,情况更复杂一些。多会话推理这个操作出人意料地稳健,即便是在难度较高的副语言和环境声音题目上,也能达到26.7%和25.2%,比同类型的信息提取题目高出不少。但时序追踪就完全是另一幅光景,语义类题目能拿到44.5%,一旦换成副语言状态追踪,直接崩到3.4%,环境声音追踪更是低到1.2%。

这说明模型很难维持一个"随时间演变的状态"。就像你能记住朋友昨天跟你说的某句话,但你很难准确回忆起他这一个月里语气从焦虑到平静再到焦虑的完整变化轨迹,前者是单点记忆,后者需要持续追踪并且察觉细微变化,难度完全不是一个量级。

拒绝回答这个操作的结果也很反直觉。模型在副语言和环境声音这两类题目上,拒绝回答的准确率反而更高,分别是34.3%和34.2%,比语义和说话人身份类的19.9%和16.2%还高。

乍一看好像模型很擅长"知道自己不知道",但论文给出了一个更冷静的解读:**这更可能反映的是模型压根没法处理这类声学信息,而不是它真正意识到证据缺失。**因为答不出来,索性就说"证据不足",本质上是一种规避,而不是真正的自我评估能力。

拉长历史之后,记忆会怎么衰减

论文还专门做了一组实验,考察历史长度增加时,同一道题目的准确率会怎么变化。

结果是所有四种证据类型的准确率都会随着历史变长而下降,但下降的速度不一样。从8K到64K,语义类保留了70.3%的原始准确率,副语言类保留69.8%,说话人身份类保留66.5%,环境声音类保留63.2%。

这里有个值得单独拎出来说的细节:副语言类的绝对准确率是所有类型里最低的,但它的衰减速度却跟表现最好的语义类差不多。这说明"起点低"和"掉得快"是两个完全独立的问题。模型在任何历史长度下都不擅长处理副语言信息,但一旦它掌握了某条副语言线索,这条线索在长历史里被冲淡的速度,反而没有说话人身份和环境声音那么快。

这就像两个人考试,一个平时成绩就差,另一个平时成绩不错但一到大型综合考试就发挥失常。前者是能力问题,后者是抗干扰能力问题,两者需要完全不同的补课方式。

论文还做了错误归因分析,把模型答错的原因拆解成几类:证据没找到、证据找错了对象、找到证据但操作执行错了、给出了历史里根本不存在的答案。

分析发现,信息提取类的错误大多是"绑定错误",也就是模型找到了正确的声学线索,却把它安在了错误的人或场合头上。多会话推理的错误则更多是"定位失败"和"操作执行失败"各占一半。时序追踪的错误压倒性地集中在"定位失败",高达55%,操作执行反而只占5%,说明这类任务往往还没进入到真正的推理阶段,就已经在找证据这一步栽了跟头。

按证据类型拆开看,说话人身份的错误主要是绑定失败,占48%,说明跨会话维持"声音和内容的对应关系"确实很难。副语言错误压倒性地是定位失败,占63%,说明答案相关的声音线索经常根本没被检测到。环境声音错误则一半是定位失败,另一半是给出无根据的答案。

这些错误模式说得直白点,就是三种听觉记忆各有各的死法,不是一个共同的瓶颈在拖后腿。

Q&A

Q1：VoxMem是什么？

A：VoxMem是墨尔本大学和新南威尔士大学团队开发的一个评测基准,专门用来测试语音大模型在多轮、跨会话对话中的记忆能力,涵盖说话人身份、语气语调、环境声音等语音特有信息,而不只是测试文字内容的记忆。

Q2：为什么现在的语音AI记不住"谁在说话"？

A：因为大部分语音AI在训练和评测时,主要针对的是文字语义内容,声纹绑定、语气变化、环境声音这类只存在于音频信号里的信息很容易被忽略,导致模型虽然能处理语音输入,但记忆机制本质上还是偏向文本层面。

Q3：VoxMem的测试结果说明了什么问题？

A：15个主流语音大模型在32K历史长度下没有一个准确率超过40%,而且模型对"说了什么"的记忆远好于对"谁说的""怎么说的""周围有什么声音"的记忆,说明当前语音AI的记忆能力还远未达到真正理解和利用完整语音信息的水平。