网易首页 > 网易号 > 正文 申请入驻

八个单词全对,为什么会议记录还是错的?

0
分享至

“请把报告发过来。”“现在取消会议。”八个普通单词,转写系统可以一个不差地全部识别正确,却仍然把说话人认错。对会议助手来说,这是个尴尬的特性——尤其是当说“取消”的那个人,被系统分配了待办事项。


英伟达发布 Nemotron 3.5 Transcribe,把转写和说话人归属放进了同一个检查点。发布材料里讨论了词错误率、说话人分离错误率和拼接最小排列词错误率。这几个数字回答的其实是不同的问题。

为了把差别摆出来,可以做一个很小的打分示例。它用的是虚构文本,不是模型生成的转写结果。同样八个单词,按时间顺序的词错误为零,按说话人归属的词错误却是 50%。

把词分给错的人

参考文本里有两个说话人:A 说“please send the report”,B 说“cancel the meeting now”。现在假设识别出的词在时间顺序上完全正确,但说话人标签在话轮两端发生了互换。把每个预测说话人的词收集起来,假设文本就变成了:X 说“please send the meeting now”,Y 说“cancel the report”。

“report”跑到了 Y 名下,“meeting now”跑到了 X 名下。整段录音里没有哪个词消失,变的是归属。如果把识别出的词按原始时间顺序摊平,再和实际说出的序列比对,词错误率就是零——这个比对刻意丢掉了说话人标签。这是一次有用的转写检查,却是一次不完整的会议检查。

名字可以变,归属要诚实

说话人标签通常是随意的。系统可能把第一个人叫 speaker_0,也可能叫 Alice 或 X。打分器不该因为 A 变成了 Y,就惩罚一份正确的转写。拼接最小排列词错误率(cpWER)处理的就是这个命名问题:按顺序收集每个说话人的词,尝试参考说话人与预测说话人之间的各种对应关系,取词编辑次数最少的那种对应,再除以参考词总数。

在这个例子里,A 对应 X、B 对应 Y 需要四次编辑:A 的“report”变成“meeting now”,是一次替换加一次插入;B 的“meeting now”变成“report”,是一次替换加一次删除。另一种对应代价更高。最小值因此是 4 / 8 = 50%。

一个完整的迷你打分器会穷举所有排列,这对两个说话人很方便,对一场大型会议则是糟糕的方案。实用版本里,MeetEval 用的是分配算法。示例代码的关键输出是四行:

  • 按时间顺序的词错误:0 / 8
  • 说话人归属错误:4 次编辑,参考词 8 个,比率 0.5
  • 仅互换说话人名字:0 次编辑,比率 0.0
  • 第二个说话人缺失:4 次编辑,比率 0.5

这个实现曾在三个展示用例和另外 30 个生成用例上与 MeetEval 0.4.3 核对,编辑次数和参考词分母都一致。这检验的是打分代码,和某个语音识别模型的准确率无关。标签互换的对照很关键:如果仅仅交换两个名字就让分数变差,那打分器衡量的就是标签拼写,而不是谁说了什么。

看榜单时别忘了任务本身

英伟达报告称,在 Open ASR 对比中平均英语词错误率为 5.33%,在 VoiceArena 的全会话对比中 cpWER 约为 32.4%。这两个数字来自不同的评测设置,把其中一个除以另一个,并不能测出说话人归属的惩罚。

同样的区分也适用于说话人分离错误率(DER)。它衡量的是说话人-时间,cpWER 统计的是分配说话人流之后的词编辑。两者之间不存在通用的换算关系。

对会议产品来说,几个检查应该并排放:词、带说话人归属的词、漏掉的说话人,以及对困难话轮的实际试听。一份转写可以读起来很漂亮,同时把一句反对、一个承诺或一项决定记到了错误的人头上。

常见的错误是,把一份漂亮的纯词错误率结果当成说话人标注纪要可靠的证据。分母可能是词,但产品失败的地方往往是归属。这个迷你打分器还忽略了时间戳和重叠语音:说话人可能拿到正确的词,时间排列却是错的,而这项检查不会告诉你完整的故事。文本规范化也需要明确的策略——标点、数字和领域术语,在说话人分配开始之前就能改变编辑次数。

这次发布值得为它合并的语音任务试一试。评估上的教训在任何检查点下载之前都用得上:先确定应用需要的是词、说话人时间线,还是两者都要,然后针对那个实际输出打分。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
各国元首任期分别是多少年?不同国家的任期规定有何不同?一篇文章看懂各国任期区别

各国元首任期分别是多少年?不同国家的任期规定有何不同?一篇文章看懂各国任期区别

z千年历史老号
2026-10-08 18:09:35
战争爆发前的预兆出现!美国已经有4个征兆,张召忠预言要成真?

战争爆发前的预兆出现!美国已经有4个征兆,张召忠预言要成真?

画卷
2026-10-08 19:17:31
若美国入侵中国,打败中国需要几个小时?DeepSeek给出精准分析

若美国入侵中国,打败中国需要几个小时?DeepSeek给出精准分析

花漾夜雨飘雪
2026-10-28 06:25:13
彻底露底!印度成立大刀队冲上中印前线,边境总司令当众叫板莫迪

彻底露底!印度成立大刀队冲上中印前线,边境总司令当众叫板莫迪

史之韵
2026-10-27 20:20:25
晋级16强不到24小时,央视“点名”孙颖莎,句句给王曼昱提了醒

晋级16强不到24小时,央视“点名”孙颖莎,句句给王曼昱提了醒

勇敢的人享受生活
2026-10-29 08:12:46
全民“不入套”:一场底层发起的无声变局,正在颠覆旧有社会规则

全民“不入套”:一场底层发起的无声变局,正在颠覆旧有社会规则

华庭讲美食
2026-10-15 01:39:37
撒尿牛丸全是鸡肉!工厂用鸡骨架打泥做肉丸

撒尿牛丸全是鸡肉!工厂用鸡骨架打泥做肉丸

看看新闻Knews
2026-10-28 17:51:47
逐渐找到状态了!锋线老将在掘金也开始适应替补的角色了?

逐渐找到状态了!锋线老将在掘金也开始适应替补的角色了?

稻谷与小麦
2026-10-30 00:42:00
普京一改强硬姿态,定下新目标:俄乌都好,才是真正的和平

普京一改强硬姿态,定下新目标:俄乌都好,才是真正的和平

小马姨
2026-10-28 18:18:59
《哪吒2》“封神”之后,光线传媒净利暴跌98%

《哪吒2》“封神”之后,光线传媒净利暴跌98%

野马财经
2026-10-29 21:47:02
一名入伍才三个月的俄军逃兵,在乌东村落枪杀了五名熟睡的乌军无人机操作员,得手后端着枪一头扎进了乌克兰控制的百万人口大城市

一名入伍才三个月的俄军逃兵,在乌东村落枪杀了五名熟睡的乌军无人机操作员,得手后端着枪一头扎进了乌克兰控制的百万人口大城市

扶苏聊历史
2026-10-26 11:49:51
有其父必有其子,政商旋转门轰然崩塌:黄然非同步被带走调查

有其父必有其子,政商旋转门轰然崩塌:黄然非同步被带走调查

十为先生
2026-10-27 18:06:42
梅西累积5张黄牌,却不用停赛!还获得美职联奖励:自动减少至2黄

梅西累积5张黄牌,却不用停赛!还获得美职联奖励:自动减少至2黄

小火箭爱体育
2026-10-29 16:32:52
奔驰新车上市:10月29日正式开售,59.90万元

奔驰新车上市:10月29日正式开售,59.90万元

科技阿维
2026-10-29 22:37:56
黄景瑜案子判了,判的还不轻,家暴、和迪丽热巴结婚早真相大白

黄景瑜案子判了,判的还不轻,家暴、和迪丽热巴结婚早真相大白

林轻吟
2026-10-27 16:35:08
赚国人的钱,嫌中文掉价?车企开发布会狂拽英文站台,崇洋媚外!

赚国人的钱,嫌中文掉价?车企开发布会狂拽英文站台,崇洋媚外!

晓肂爱八卦
2026-10-28 12:45:31
桂林七星岩惨案:823条生命瞬间消逝,这段历史我们不能忘

桂林七星岩惨案:823条生命瞬间消逝,这段历史我们不能忘

小豫讲故事
2026-10-28 06:00:19
亚冠二G组积分榜:町田三连胜领跑,申花净胜球劣势第3,淡滨尼垫底

亚冠二G组积分榜:町田三连胜领跑,申花净胜球劣势第3,淡滨尼垫底

懂球帝
2026-10-29 22:22:06
中山一医院停诊,有患者购买千元医疗服务,服务尚未完成

中山一医院停诊,有患者购买千元医疗服务,服务尚未完成

南方都市报
2026-10-29 20:20:27
总统办公室主任:俄罗斯国防工业设施必须为乌克兰的每一个受害者焚烧

总统办公室主任:俄罗斯国防工业设施必须为乌克兰的每一个受害者焚烧

桂系007
2026-10-29 23:59:45
2026-10-30 00:55:00
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
232文章数 90关注度
往期回顾 全部

教育要闻

新的教法满天飞,为什么最后都销声匿迹,很多老师还是回到传统教学方式?看明白这一点,你就会恍然大悟

头条要闻

媒体:守住不该守住的底盘 77岁的内塔尼亚胡逃出生天

头条要闻

媒体:守住不该守住的底盘 77岁的内塔尼亚胡逃出生天

体育要闻

超级黑马!球队不败 29岁的他得分榜前三

娱乐要闻

白百何被曝和二婚丈夫离婚 和男生逛街

财经要闻

两大娱乐巨头,谈崩了

科技要闻

MacBook终于能触屏了:22999元起

汽车要闻

标配宁德时代电池 智己LS8 NEO纯电预售24.98万起

态度原创

时尚
艺术
教育
数码
房产

房琪在《浪姐》的翻车之路:文案崩塌、团队冲突与综艺剪辑

艺术要闻

佛山最大别墅区,房子密密麻麻挨着建,少见人影,看着都可惜!

教育要闻

澳大利亚留学不香了?不留学比例在上升真没钱了?

数码要闻

创维2026秋季全场景发布会:多款新品亮相,AI加速融入家庭生活

房产要闻

12.1亿!三亚挂出重磅宅地!

无障碍浏览 进入关怀版