网易首页 > 网易号 > 正文 申请入驻

港中深联合微软研究院提出多模态统一建模新架构ConvexLLM,让声音接上大模型已经学会的知识与推理

0
分享至



本研究由香港中文大学(深圳)与 微软研究院(Microsoft Research)联合完成。通讯作者武执政是香港中文大学(深圳)副教授、国家级青年人才、安菲翁科技创始人。刘树杰是微软研究院首席研究员,长期从事自然语言处理、语音处理方面研究。徐明晧、王宇翔、申英达是港中深博士生、硕士生。胡宇轩和李锦宇来自微软 CoreAI。此次提出的ConvexLLM,通过创新的 C-Gate 架构,将语音信息映射至大语言模型原有文本词向量的凸包中,使模型能够充分发挥已有的知识储备与推理能力。在 VoiceBench 等多项基准测试中,ConvexLLM 取得了同量级开源模型中的领先表现,为语音与语言的统一建模提供了新的技术路径。



  • 论文标题:ConvexLLM: Scaling Convex-Hull Speech Interfaces to General-Purpose Audio Intelligence
  • 论文链接:https://arxiv.org/abs/2610.23539
  • 作者:Ming-Hao Hsu、Shujie Liu、Yuxuan Hu、Yuxiang Wang、Yingda Shen、Jinyu Li、Zhizheng Wu
  • 研究单位:香港中文大学(深圳)数据科学学院、微软 CoreAI、微软亚洲研究院

大模型已经学会了知识与推理。给它接上一对 “耳朵”,这些能力能不能一起接过来?

这是语音大模型绕不开的一道题:同一个问题,写出来能答,换成语音,表现却可能明显下降。声音已经被编码成向量,语言模型也足够强,两者之间还缺什么?

来自香港中文大学(深圳)与微软的研究团队,把目光放在了声音进入语言模型的接口上。ConvexLLM 把音频表示约束在语言模型原有文字词向量的凸包中,让声音以连续的文字向量组合进入大模型。



视频链接:https://mp.weixin.qq.com/s/pwsBRtN37rQzdXpObJG3dg

ConvexLLM Demo 演示

什么是 “凸包”?想象桌面上钉着一些钉子,用一根橡皮筋从外侧将它们围住并收紧。橡皮筋围出的区域,连同边界,就是这些点的凸包。把这些点按非负、总和为 100% 的比例做加权平均,得到的新点总会落在这个区域内。文字词向量也可以看作空间中的点,只是维度更高;ConvexLLM 就通过混合这些词向量来表示声音。

这个看起来增加了限制的设计,带来了亮眼的语音知识与推理表现。

在论文报告的同量级开源权重模型对比中,ConvexLLM 以 75.36 分取得 VoiceBench 11 项任务综合得分第一。OpenBookQA 达到 90.33%,BBH 达到 80.40%,后者领先表中最强基线 8.80 个百分点。

此项研究把一个值得整个多模态领域追问的问题推到了眼前:文字词向量组成的连续空间,到底能承载多丰富的声音信息?



  • 欢迎访问 ConvexLLM 论文网站: https://mhhsu1006.github.io/convexllm/

一、让声音用上语言模型熟悉的坐标

文本大模型在预训练中积累了大量知识、推理模式与指令遵循能力。做语音大模型,一个核心目标就是让用户直接开口说话,也能调用这些能力。

声音经过编码器后,需要通过接口转成语言模型的输入。常见的 MLP 或 Q-Former 可以在连续空间里自由映射。ConvexLLM 为这一步选定了明确的参照:语言模型自己的文字词向量。

它的核心接口 C-Gate,把每个音频位置表示成多个冻结词向量的加权组合。词向量提供稳定的坐标,声音决定如何组合。这个设计把语音适配的起点,放在了语言模型已经拥有的表示之上。

从这一视角看,对于表达相同内容的语音和文字,模态差异未必意味着语义本身不同,也可能体现为它们在共享表示空间中展开的轨迹(trajectory)不同。文字通过离散词元组织信息,语音则可以通过随时间变化的连续向量组合承载内容及声学细节。C-Gate 为这种探索提供了一个共同的坐标基础。

让声音用大模型熟悉的表示,调用它已经学会的智能。

二、固定的是词向量,自由的是组合方式

“把声音放进文字空间”,最有意思的地方在于连续组合。

可以把语言模型的词向量想象成一块调色盘。颜料已经固定,但改变配比,就能调出丰富的颜色。C-Gate 对声音做的事情与此类似:每个音频位置先形成查询,从词表中选出最匹配的 16 个词向量,再学习它们的混合权重。

这些权重非负、总和为 1,因此混合后的表示落在文字词向量的凸包内。随着声音变化,选中的向量和混合比例也随之改变,各个音频位置的表示依次构成文字词向量凸包内的一条时序轨迹。固定的是表示空间的参照,变化的是声音在其中展开的路径,以及这条路径承载的信息。



图 1|C-Gate 将选中的 Top-16 冻结词向量连续混合,让声音进入语言模型。

这里保留了一个关键的表达自由度:音频表示可以落在多个词向量之间,无须对应某一个离散词,也无须先形成一段可读转录。语言模型读入的,仍然是一串由声音决定的连续表示。

连续混合的重要性,在支持集大小实验中表现得尤为鲜明:在论文的 2B 配置下,每个位置只选择 1 个词向量时,VoiceBench 综合分为 22.30。扩展到 16 个词向量的连续组合后,综合分达到 60.35。组合的自由度,让这个固定的词向量空间变得更有表现力。

训练也围绕这个接口逐步展开:先训练接口,再加入编码器,最后联合适配编码器、接口与解码器模块。文字词向量表始终固定。主模型还通过文字教师蒸馏,让语音输入下的回答分布学习对应文字输入下的语言能力。

三、75.36 分,声音接上了更强的知识与推理

一个接口设计的价值,最终要看它把多少能力带到了语音端。

在覆盖语音交互、问答、指令遵循与推理等任务的 VoiceBench 上,ConvexLLM 的 11 项任务综合得分达到 75.36,高于 MiniCPM-o 4.5 的 73.04、Kimi-Audio 的 70.26 和 MiMo-Audio 的 67.01。



图 2|ConvexLLM 以 75.36 分领跑 VoiceBench 11 项任务综合得分。

最抓人的结果,集中在知识与推理。ConvexLLM 在 OpenBookQA、MMSU、SpeechMMLU 和 BBH 四项任务上,都取得了表中最高成绩。



图 3|四项知识与推理任务均超过各自最强基线,BBH 领先 8.80 个百分点。

其中,BBH 从最强基线的 71.60% 提升到 80.40%,OpenBookQA 从 83.70% 提升到 90.33%。这些任务要求模型听完问题后,继续调用知识、分析条件、完成推理。提升发生在我们最希望语音大模型获得的能力上:听懂之后,真正把问题想明白。

对语音助手、口语学习、知识问答和专业咨询等应用研究而言,这提供了一个很有吸引力的方向:让语音接口更好地连接语言模型已经具备的思考能力。

四、文字的凸包,也能承载环境声与音乐

ConvexLLM 进一步把同一套接口用于语音、环境声和音乐理解。

在 MMAU Test-mini 上,模型整体准确率为 62.50%,其中环境声为 65.77%、音乐为 60.78%、语音为 60.96%。它也完成了语音识别,在 LibriSpeech test-clean 上取得 2.39% 的词错误率。

这给了 “文字空间” 一个更有想象力的含义:原本服务于文字的词向量,可以被连续组合,用来承载多种声音任务需要的信息。词表是有限的,组合却为音频保留了丰富的变化空间。

基于已有的声学编码器与语言模型,ConvexLLM 在适配阶段的音频使用量上界为 27.1 万小时。一个结构清楚的接口,已经足以支撑从语音识别到知识推理、再到非语音音频理解的完整研究系统。

五、接口本身,就是一个值得认真研究的变量

如果你正在做 speech LLM,接下来最想知道的,应该是接口选择本身能带来多少变化。

研究团队在 Qwen3.5-2B 上,对比了规模都在 170 万参数左右的 MLP、Q-Former 与 C-Gate 接口。三者采用相同的编码器与解码器,并共享 Stage 3 的数据、训练目标和优化设置,完成 18,000 步 Stage 3 训练后进行评测。



图 4|同一 2B 骨干下,C-Gate 的语音综合分最高,与对应文字输入的差距也最小。

C-Gate 的语音综合分达到 60.35,高于 MLP 的 58.80 和 Q-Former 的 54.19。文字输入下的综合分为 63.20。语音与对应文字之间的综合分差距,在三种接口中也最小。

表示分析则给出了更直观的线索。在另一组 2B 诊断模型中,到第 7 个解码器模块,C-Gate 的语音与对应文字表示的中心化余弦相似度已达到 0.69,MLP 和 Q-Former 分别为 0.45 与 0.44。语音在模型较早的计算阶段,就开始沿着与文字更接近的表示路径前进。

这让接口研究有了很具体的抓手:声音进入语言模型时站在哪里,又如何影响后续的知识调用与推理?ConvexLLM 把这个问题变成了一套可以实现、比较和分析的实验设计。

六、下一篇研究,可以从这个接口开始

ConvexLLM 最值得继续挖掘的地方,是它提供了一个简洁、明确、容易形成研究问题的出发点。

做语音大模型,可以从更强的能力迁移开始

把 C-Gate 纳入 bridge 对照,在同一骨干上研究更强的语音指令遵循、复杂问答与推理。接口给声音一个稳定的文字参照,后续可以继续探索蒸馏信号、数据配方与训练阶段如何配合,把更多语言能力带到语音端。

做表示学习,可以直接追问文字空间能装下什么

内容、情绪、说话人、时间顺序和环境事件,可以沿着同一个接口逐项研究。改变混合词向量的数量、输入压缩程度或骨干模型,就能观察哪些信息进入了表示,哪些信息又真正被解码器用起来。有限的词向量,能组合出多丰富的声音世界?这是一个足够具体,也足够大的问题。

做多模态适配,可以把它作为 preliminary study

ConvexLLM 的接口思路为进一步探索提供了清楚的实验起点:固定词向量表,学习输入的组合方式,再比较不同编码器、固定或可训练解码器,以及新的模态与任务。它把 “现有语言智能能接住什么” 变成了可以逐步检验的设计选择。

对研究者来说,这种价值很直接:它有明确的结构、有可比较的结果,也留下了大量有意思的问题。你可以把它放进自己的实验,研究一个改动究竟让声音多带进了什么,又让大模型多用上了什么。

文字词向量原本是语言模型认识文字的入口。ConvexLLM 让我们看到,这个入口也能向声音打开。

从这个角度看,文字的边界,也可以成为探索声音智能的新起点。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
41岁C罗15分钟戴帽,生涯985球!沙特联赛却把钱从买人转向建球场

41岁C罗15分钟戴帽,生涯985球!沙特联赛却把钱从买人转向建球场

桑葚爱动画
2026-11-03 14:18:57
二十届五中全会释放用人新风:跳出年龄学历框,不再降格凑班子

二十届五中全会释放用人新风:跳出年龄学历框,不再降格凑班子

户外阿毽
2026-11-17 06:11:58
价格打穿底线!别克中型SUV下探到13万级,2.0T+30英寸大屏

价格打穿底线!别克中型SUV下探到13万级,2.0T+30英寸大屏

沙雕小琳琳
2026-11-19 11:13:42
我是副高五级,工龄38年9个月,25年5月份退休,养老金预发15600,年终发6500过节费

我是副高五级,工龄38年9个月,25年5月份退休,养老金预发15600,年终发6500过节费

伦纳德之家
2026-11-12 22:47:24
他们的刻赤大桥拆了!我们的图们江桥呢?

他们的刻赤大桥拆了!我们的图们江桥呢?

家传编辑部
2026-11-17 22:22:02
佩顿纪录告破!哈登你太狠,佩顿用17年创造的纪录,被你超越

佩顿纪录告破!哈登你太狠,佩顿用17年创造的纪录,被你超越

大西体育
2026-11-19 11:00:18
刚发布的苹果新系统,打不出苹果 Logo 了!

刚发布的苹果新系统,打不出苹果 Logo 了!

花果科技
2026-11-19 11:21:18
ATP总决赛第4日:阿卡两连胜提前晋级,蒂亚福梅总末轮争出线权

ATP总决赛第4日:阿卡两连胜提前晋级,蒂亚福梅总末轮争出线权

全景体育V
2026-11-19 05:51:28
1980年,落魄庄则栋食堂打饭,没想到却被掌勺师傅当众质问,结局看哭无数人,感慨万千......

1980年,落魄庄则栋食堂打饭,没想到却被掌勺师傅当众质问,结局看哭无数人,感慨万千......

回京历史梦
2026-11-17 14:23:17
WTT球星赛:11月19日赛程公布!国乒四战日本,对决欧洲强敌

WTT球星赛:11月19日赛程公布!国乒四战日本,对决欧洲强敌

全言作品
2026-11-19 03:54:26
斩首行动落地!以军锁定目标,深夜发起突袭,哈马斯指挥官已阵亡

斩首行动落地!以军锁定目标,深夜发起突袭,哈马斯指挥官已阵亡

巷北楠猫本尊
2026-11-16 16:00:00
炸了!中国影后与女导演澳洲领证结婚!刷上热搜!二人均未敢回应

炸了!中国影后与女导演澳洲领证结婚!刷上热搜!二人均未敢回应

澳洲红领巾
2026-11-17 11:17:20
16岁叛逆少女打骂奶奶,要争夺亡父百万遗产,竟不知自己是被捡来的!

16岁叛逆少女打骂奶奶,要争夺亡父百万遗产,竟不知自己是被捡来的!

大运河时空
2026-11-17 20:45:05
泰山教练组调整!唐田出任中方教练兼领队,卢基奇金镇圭成绯闻外援,功勋张弛追随李霄鹏执掌清华附中足球队

泰山教练组调整!唐田出任中方教练兼领队,卢基奇金镇圭成绯闻外援,功勋张弛追随李霄鹏执掌清华附中足球队

老周观体育
2026-11-19 00:18:48
一篇内参让领导人反思,中央由此取消副总理级专机,她究竟写了什么

一篇内参让领导人反思,中央由此取消副总理级专机,她究竟写了什么

瑾瑜聊情感
2025-08-23 09:43:36
高铁“三不带”全国统一执行!这3样东西出门前赶紧从包里拿出来

高铁“三不带”全国统一执行!这3样东西出门前赶紧从包里拿出来

牛锅巴小钒
2026-11-19 06:48:25
今天的我,比昨天更想你

今天的我,比昨天更想你

疾跑的小蜗牛
2026-11-18 21:01:04
82年中英香港谈判,铁娘子威胁武力,邓小平:毛主席早有预料!

82年中英香港谈判,铁娘子威胁武力,邓小平:毛主席早有预料!

香姨谈史
2026-11-19 07:25:07
破镜重圆复婚在即 张柏芝亲自证实 三个儿子都已经被谢霆锋接走

破镜重圆复婚在即 张柏芝亲自证实 三个儿子都已经被谢霆锋接走

星辰生肖馆
2025-03-22 05:10:03
他就是马斯克的父亲,与继女生下两个孩子,80岁现身上海悠闲搓麻

他就是马斯克的父亲,与继女生下两个孩子,80岁现身上海悠闲搓麻

落雪听梅a
2026-11-17 00:26:43
2026-11-19 12:03:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14510文章数 142761关注度
往期回顾 全部

科技要闻

OPPO Reno17:实况才是让我留下来的理由

头条要闻

美国白宫发布特朗普访华视频 中国仪仗队再次出圈

头条要闻

美国白宫发布特朗普访华视频 中国仪仗队再次出圈

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

稳坐春晚前排20年,黄晓明都巴结她

财经要闻

北京环球影城,亏损难题待解

汽车要闻

三排都不将就,还有云辇和智能四驱,方程豹钛9想通了什么?

态度原创

家居
亲子
本地
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

我要是在沈阳 我满世界逛商场准备偶遇这个萌面啊喂!

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版