网易首页 > 网易号 > 正文 申请入驻

5种语言平均WER 3.54,这款开源ASR把LLM当解码器

0
分享至

一个开源语音识别模型,在5种语言上的平均词错率(WER)压到了3.54。这个数字来自 Hojo-ASR-Multi-V1,一款已经在 Hugging Face 上发布、采用 Apache 2.0 许可证的多语言 ASR 模型。


它的做法和传统 ASR 系统不太一样。常规方案通常把声学模型和语言模型分开处理,而 Hojo-ASR-Multi-V1 走的是「编码器-适配器-LLM」三段式架构,解码器位置直接放了一个 Qwen3-4B。

把大语言模型塞进解码环节,逻辑并不复杂:语音信号本身带有声学歧义,同一个发音可能对应多个词,传统声学模型很难单靠音频判断该选哪个。引入 LLM 之后,模型可以调用语言层面的先验知识来消解这些歧义,从而提升多语言场景下的转录准确率。

从工程视角看,这套架构有几个值得关注的点:

  • 编码器负责把音频转成中间表示,适配器做维度与语义对齐,LLM 承担最终解码;
  • 解码器选用 Qwen3-4B,意味着推理侧要承担一个 4B 量级模型的算力开销;
  • Apache 2.0 许可证,商用与二次修改的门槛较低;
  • 覆盖 5 种语言,平均 WER 为 3.54。

正方会认为,这是 ASR 与 LLM 融合的一次务实落地——用现成的强语言模型补上声学模型的短板,省去从零训练语言模型的工作量,还能直接吃到 Qwen3 的多语言能力。反方则会盯着成本:4B 解码器带来的延迟和显存占用,在实时转录、端侧部署这类场景里未必划算,平均 WER 也掩盖了各语言之间的差异。

判断这件事,关键看落地场景。如果目标是离线批量转录、对延迟不敏感,用 LLM 换准确率是笔划算的买卖;如果要做实时字幕或手机端识别,4B 解码器的开销就是绕不过去的门槛。模型已经开源,具体值不值得上,跑一遍自己的语料比看平均分更靠谱。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
沈腾问王楚然包里有没有贵重东西,她说没有,沈腾一句“我跟猴没那么熟”直接笑翻全场

沈腾问王楚然包里有没有贵重东西,她说没有,沈腾一句“我跟猴没那么熟”直接笑翻全场

乡野小珥
2026-10-18 01:53:58
维尔茨以20次领跑本赛季英超创造机会榜,格罗斯18次第二

维尔茨以20次领跑本赛季英超创造机会榜,格罗斯18次第二

懂球帝
2026-10-18 00:32:31
黄磊现身乌镇戏剧节,回应“没能减肥成功”:我已经55岁了,胖一点也很正常

黄磊现身乌镇戏剧节,回应“没能减肥成功”:我已经55岁了,胖一点也很正常

极目新闻
2026-10-16 20:55:58
维尔茨交出亮眼表现,却依然是利物浦幸福的烦恼

维尔茨交出亮眼表现,却依然是利物浦幸福的烦恼

中场哨
2026-10-18 08:33:05
彻底打脸!利物浦头号水货完美逆袭!一己之力创英超神迹

彻底打脸!利物浦头号水货完美逆袭!一己之力创英超神迹

奶盖熊本熊
2026-10-18 07:50:30
总统的“准儿媳”,性骚扰、财务丑闻连出

总统的“准儿媳”,性骚扰、财务丑闻连出

中国新闻周刊
2026-10-17 17:45:04
上海90后老婆自曝程序员老公失业,求助找不到工作怎么办?

上海90后老婆自曝程序员老公失业,求助找不到工作怎么办?

慧翔百科
2026-10-16 08:32:55
为何新疆女子很少嫁到内地,本地姑娘说了大实话,确实很尴尬!

为何新疆女子很少嫁到内地,本地姑娘说了大实话,确实很尴尬!

观史搜寻着
2026-10-15 00:41:25
iPhone 18 Pro Max,突然刷新纪录

iPhone 18 Pro Max,突然刷新纪录

搞机小帝
2026-10-17 16:42:47
变天!特朗普突遭重创!

变天!特朗普突遭重创!

财经要参
2026-10-16 07:37:25
武汉盛帆女篮与华中科技大学女篮热身赛爆发大规模冲突,场面失控;高校队员事后在电梯内兴奋复盘打人细节:“我上去就给她三拳”

武汉盛帆女篮与华中科技大学女篮热身赛爆发大规模冲突,场面失控;高校队员事后在电梯内兴奋复盘打人细节:“我上去就给她三拳”

大风新闻
2026-10-17 11:23:04
反差巨大!裁判本戈埃切亚执法皇马、巴萨红牌数据曝光,巴萨对手 11 红,皇马本方 5 红!

反差巨大!裁判本戈埃切亚执法皇马、巴萨红牌数据曝光,巴萨对手 11 红,皇马本方 5 红!

福酱的小时光
2026-10-18 06:06:33
深夜,歹徒闯入家中对她施暴近两个小时,她咬紧牙关一声不吭,只为保护楼上熟睡的女儿。当警察破门而入时,才发现这位母亲早已浑身是血

深夜,歹徒闯入家中对她施暴近两个小时,她咬紧牙关一声不吭,只为保护楼上熟睡的女儿。当警察破门而入时,才发现这位母亲早已浑身是血

人生录
2026-07-30 00:05:11
特斯拉司机开启FSD后睡着,车辆冲入封闭车道撞上警车导致加州两名警员受伤

特斯拉司机开启FSD后睡着,车辆冲入封闭车道撞上警车导致加州两名警员受伤

IT之家
2026-10-17 17:50:05
扛不住了?延迟退休实施至今,一个尴尬的问题终于暴露出来了

扛不住了?延迟退休实施至今,一个尴尬的问题终于暴露出来了

铭记历史呀
2026-09-19 16:18:25
对手半场染红又吃红牌,利物浦2比1逆转十人布伦特福德

对手半场染红又吃红牌,利物浦2比1逆转十人布伦特福德

热血体育社
2026-10-18 08:18:41
法国籍女子在韩商场叫嚣:全世界都讨厌中国人!中国女子当场出手

法国籍女子在韩商场叫嚣:全世界都讨厌中国人!中国女子当场出手

安梦入天下
2026-09-21 12:40:03
罗体:罗马球迷把一尊1925年的青铜罗马狼雕像赠予穆帅表致敬

罗体:罗马球迷把一尊1925年的青铜罗马狼雕像赠予穆帅表致敬

懂球帝
2026-10-17 17:07:30
“富人才不会把女儿养这么胖”,家长晒女儿喝60元矿泉水,被群嘲

“富人才不会把女儿养这么胖”,家长晒女儿喝60元矿泉水,被群嘲

番外行
2026-04-22 14:51:19
11万人挤爆广场!塞尔维亚超级集会力挺武契奇,多国首脑亲临站台

11万人挤爆广场!塞尔维亚超级集会力挺武契奇,多国首脑亲临站台

无情有思可
2026-10-17 20:01:39
2026-10-18 09:07:00
爬虫饲养员
爬虫饲养员
业余养了只叫“龙虾”的AI爬虫,主业是给互联网打工。
211文章数 86关注度
往期回顾 全部

科技要闻

刘煜辉:99%的黄金分析师报告一钱不值

头条要闻

牛弹琴:法国又"燃烧"了 整个国家地图上到处都在冒烟

头条要闻

牛弹琴:法国又"燃烧"了 整个国家地图上到处都在冒烟

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

庾澄庆罕谈前妻 撕下伊能静仅剩的体面

财经要闻

新一轮大跌源头,找到了!

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

教育
房产
亲子
艺术
公开课

教育要闻

小学都这么卷吗?大学生也未必解得出吧

房产要闻

利好密集落地+现房好房断档,广州楼市买入窗口,正在倒计时!

亲子要闻

炸鸡排摊前老板一声好嘞,藏着多少烟火气

艺术要闻

美到窒息!黛安笔下的午后“印象”,明媚又温柔,看完心情都亮了!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版