网易首页 > 网易号 > 正文 申请入驻

5种语言平均WER 3.54,这款开源ASR把LLM当解码器

0
分享至

一个开源语音识别模型,在5种语言上的平均词错率(WER)压到了3.54。这个数字来自 Hojo-ASR-Multi-V1,一款已经在 Hugging Face 上发布、采用 Apache 2.0 许可证的多语言 ASR 模型。


它的做法和传统 ASR 系统不太一样。常规方案通常把声学模型和语言模型分开处理,而 Hojo-ASR-Multi-V1 走的是「编码器-适配器-LLM」三段式架构,解码器位置直接放了一个 Qwen3-4B。

把大语言模型塞进解码环节,逻辑并不复杂:语音信号本身带有声学歧义,同一个发音可能对应多个词,传统声学模型很难单靠音频判断该选哪个。引入 LLM 之后,模型可以调用语言层面的先验知识来消解这些歧义,从而提升多语言场景下的转录准确率。

从工程视角看,这套架构有几个值得关注的点:

  • 编码器负责把音频转成中间表示,适配器做维度与语义对齐,LLM 承担最终解码;
  • 解码器选用 Qwen3-4B,意味着推理侧要承担一个 4B 量级模型的算力开销;
  • Apache 2.0 许可证,商用与二次修改的门槛较低;
  • 覆盖 5 种语言,平均 WER 为 3.54。

正方会认为,这是 ASR 与 LLM 融合的一次务实落地——用现成的强语言模型补上声学模型的短板,省去从零训练语言模型的工作量,还能直接吃到 Qwen3 的多语言能力。反方则会盯着成本:4B 解码器带来的延迟和显存占用,在实时转录、端侧部署这类场景里未必划算,平均 WER 也掩盖了各语言之间的差异。

判断这件事,关键看落地场景。如果目标是离线批量转录、对延迟不敏感,用 LLM 换准确率是笔划算的买卖;如果要做实时字幕或手机端识别,4B 解码器的开销就是绕不过去的门槛。模型已经开源,具体值不值得上,跑一遍自己的语料比看平均分更靠谱。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
APEC那9天,深圳人能白拿的福利我算清了

APEC那9天,深圳人能白拿的福利我算清了

辉哥说动漫
2026-10-18 04:15:20
中国VT-1的历史重现:韩国K-2坦克运到秘鲁参加阅兵,对方却不要了

中国VT-1的历史重现:韩国K-2坦克运到秘鲁参加阅兵,对方却不要了

陶慕剑地球观察
2026-10-17 10:52:56
变天!特朗普突遭重创!

变天!特朗普突遭重创!

财经要参
2026-10-16 07:37:25
党、政、军的接班人,毛主席在1971年选出来了,但只有他走到最后

党、政、军的接班人,毛主席在1971年选出来了,但只有他走到最后

简史档案馆
2026-10-18 11:05:04
国外发现“饿两天定律”,体重从138斤降到108斤,稳稳瘦下30斤

国外发现“饿两天定律”,体重从138斤降到108斤,稳稳瘦下30斤

健身狂人
2026-10-11 00:58:32
零容忍!CBA动真格了,官宣新赛季首张罚单,上海却依然平安无事

零容忍!CBA动真格了,官宣新赛季首张罚单,上海却依然平安无事

多特体育说
2026-10-17 22:51:37
律师揭秘卖淫5种“新模式”:健身房、剧本杀、上门厨娘都中招!网友:防不胜防

律师揭秘卖淫5种“新模式”:健身房、剧本杀、上门厨娘都中招!网友:防不胜防

一丝不苟的法律人
2026-10-16 12:40:23
黄奇帆:我上任重庆市副市长之初的7个遭遇战

黄奇帆:我上任重庆市副市长之初的7个遭遇战

砚田文化
2026-10-18 09:31:24
男子因诈骗羁押服刑七年 出狱后发现账户数十万资金仅剩6.43元 警方立案侦查

男子因诈骗羁押服刑七年 出狱后发现账户数十万资金仅剩6.43元 警方立案侦查

红星新闻
2026-10-17 15:35:24
闪评丨警惕高市诡计:表面说“继承立场” 实则为战犯招魂

闪评丨警惕高市诡计:表面说“继承立场” 实则为战犯招魂

国际在线
2026-10-17 20:11:06
太硬核了!女孩生理期聊天记录刷屏,男友回复“没遇到我之前你是咋过的”,一句话引爆舆论

太硬核了!女孩生理期聊天记录刷屏,男友回复“没遇到我之前你是咋过的”,一句话引爆舆论

火山詩话
2026-10-17 07:03:59
从主持人到“精神病”,49岁无妻无子的李维嘉,不再顾及所谓体面

从主持人到“精神病”,49岁无妻无子的李维嘉,不再顾及所谓体面

兵鉴史
2026-10-07 09:14:24
临死拉个垫背的,海牛0比4惨败辽宁铁人,或助力武汉三镇进军中甲

临死拉个垫背的,海牛0比4惨败辽宁铁人,或助力武汉三镇进军中甲

姜大叔侃球
2026-10-17 21:33:36
蒋万安正式确认,19日开会官宣卢秀燕出任竞总主委,系卢第三个主委!

蒋万安正式确认,19日开会官宣卢秀燕出任竞总主委,系卢第三个主委!

原来仙女不讲理
2026-10-18 10:58:05
贝克汉姆被曝可能成为国际足联主席,有望获欧足联支持;德国足协主席称“需要一位正直的、能恢复协会声誉的人”

贝克汉姆被曝可能成为国际足联主席,有望获欧足联支持;德国足协主席称“需要一位正直的、能恢复协会声誉的人”

极目新闻
2026-10-18 10:32:09
男子破产12年送外卖养家,这天竟收1200万汇款,追到汇款方后却傻眼

男子破产12年送外卖养家,这天竟收1200万汇款,追到汇款方后却傻眼

温情邮局
2025-08-22 11:56:14
当6.5%的人拿走四成:一张养老金账单背后的制度追问

当6.5%的人拿走四成:一张养老金账单背后的制度追问

金融科技一线
2026-10-10 08:53:24
懂车帝回应“黑尊界”传言,一切都反转了!

懂车帝回应“黑尊界”传言,一切都反转了!

财经三分钟pro
2026-10-15 17:00:19
现代韦小宝?贵州男子4女伴4娃,正妻是商K公主,正脸、家境曝光

现代韦小宝?贵州男子4女伴4娃,正妻是商K公主,正脸、家境曝光

谢鵑解说
2026-10-14 11:39:22
让灵活就业人员贷款交社保推出“社银贷”,真荒诞!

让灵活就业人员贷款交社保推出“社银贷”,真荒诞!

A活着
2026-10-17 10:31:54
2026-10-18 11:40:49
爬虫饲养员
爬虫饲养员
业余养了只叫“龙虾”的AI爬虫,主业是给互联网打工。
220文章数 86关注度
往期回顾 全部

科技要闻

王江舟院士:6G到底是不是骗局 是不是收割

头条要闻

00后女演员被传与郭麒麟结婚 曾出演电视剧《赘婿》

头条要闻

00后女演员被传与郭麒麟结婚 曾出演电视剧《赘婿》

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

曝郭麒麟与25岁知名女星已经结婚,女方回应关系

财经要闻

马斯克:美债问题只能靠AI和机器人解决

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

旅游
本地
家居
数码
公开课

旅游要闻

跨境游客数量超去年全年!这处美景游玩新体验再升级

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

英伟达官方平台下架RTX 5090 零售商正加速清库存

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版