网易首页 > 网易号 > 正文 申请入驻

能聊天能办事 千问发布Qwen-Audio-3.0-Realtime

0
分享至

今天,千问正式发布实时语音交互对话模型Qwen-Audio-3.0-Realtime——一个既要毫秒级响应、又不牺牲推理深度的实时语音模型。它在智商、Agent工具调用、共情对话、双工交互流畅度四条主线上同步升级,力求"又快又聪明"。模型提供推理更强的Plus版本与速度更快的Flash版本,适用于智能客服、教育培训、娱乐互动与情感陪伴等场景。

欢迎体验

阿里云百炼:

Qwen-Audio-3.0-Realtime-Plus:

https://bailian.console.aliyun.com/cn-beijing/?spm=a2c4g.11186623.0.0.4ab7695bvInrXr#/model-market/detail/qwen-audio-3.0-realtime-plus?serviceSite=asia-pacific-china

Qwen-Audio-3.0-Realtime-Flash:

https://bailian.console.aliyun.com/cn-beijing/?spm=a2c4g.11186623.0.0.4ab7695bvInrXr&tab=model#/model-market/detail/qwen-audio-3.0-realtime-flash?serviceSite=asia-pacific-china

又快又聪明:压时延不掉智商

实时语音模型往往为压低时延牺牲推理深度,智商衰减,但Qwen-Audio-3.0-Realtime针对日常对话、简单问答等对时延敏感的场景,能够直接生成回复,毫秒级响应。

在考验“AI会不会答”的语音问答基准VoiceBench 上,以书面化的标准prompt和口语化的prompt提问,Plus版本得分分别为92.5和90.5,仅下降2.0,这意味着模型能扛住真人说话的随意性。在更难的多轮音频对话挑战AudioMultiChallenge基准测试中,Flash版本标准和口语化prompt得分分别为43.6和38.1,仅下降5.5。

今年5月,Preview版本Fun-Realtime-Audiochat在"语音推理能力"指标上曾以97.6% 登顶Artificial Analysis。


能聊天更能办事:

无需明确指令,自行调用工具

文本大模型的Agent能力已相当成熟,但语音模型往往"能聊天不能办事":需要用户明显说出"帮我打开 XX"才能触发工具,并且切回闲聊后容易出现上下文断裂。Qwen-Audio-3.0-Realtime无需明确指令即可自行调用外部工具——调用结果还会自动融入对话记忆,一次调用的结果会被记住,后面几轮追问都能接着用。

例如用户先问"附近有什么川菜馆",再追问"评分4.5以上的哪家最近",模型会自动衔接地图工具上一次的返回结果继续检索。

模型基于FunctionCall标准协议,可以完成MCP、API、知识库的引入。

摆脱机械感:

随语境调整语气、节奏与情感

共情对话是本版本最能改变用户主观体验的部分。Qwen-Audio-3.0-Realtime摆脱了传统语音助手的机械感,可根据对话语境动态调整语气、节奏、音调与情感。在辩论场景中,模型能准确抓取对方论点并快速组织反驳,同时保持恰当的语气强度;在情感陪伴中,则通过语调、节奏与笑声、叹息、犹豫等副语言信号进行共情回应。

在专门考"AI说得像不像人"的S2S语音指令遵循公开基准VStyle上,模型取得SOTA成绩。


像真人一样对话:

边说边听,随时打断插话

双工交互流畅度,意味着模型能边说边听,像真人一样随时打断、插话,而非一问一答的对讲机模式。Qwen-Audio-3.0-Realtime内置"多模态感知的双工控制"子模型,通过分析音频信号、语义内容与说话人声纹特征,来判断如何交谈。

在餐厅、开放工区等嘈杂环境中,它不会被背景噪声误打断;在多人讨论中能锁定主对话对象、忽略旁听者交谈;在多说话人切换时,则能根据语义线索自然过渡。今年5月,Preview版本在对话流畅度指标上曾以97.8%登顶Artificial Analysis。此外,模型的API还预留了audio_prompt字段,用户可上传提前录制的音频样本,锁定声纹,聚焦特定的说话人。


On-Policy Distillation与多教师蒸馏

上述能力的提升,源于模型采用的On-Policy Distillation(在线策略蒸馏)框架——研究团队将文本大模型的完整推理能力蒸馏至语音模型:语音模型一边自己生成回答,一边由文本大模型实时纠正。

同时引入多教师蒸馏策略,确保模型在四条主线上均不偏科:口语多轮偏好教师保障口语化表达与指令遵循,通用教师负责基础问答与推理,Agentic教师锁定工具调用与复杂任务,音频理解教师处理副语言与音频语义信息。

从毫秒级响应到自行调用工具,从共情语气到边说边听,Qwen-Audio-3.0-Realtime想做的,是一个"又快又聪明"、聊起来更像真人的实时语音模型。我们期待看到大家基于它构建的下一代语音交互应用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
懂车帝事发次日在内部自称“存在不正当竞争行为”?懂车帝回应:将核实谣言来源,依法维权

懂车帝事发次日在内部自称“存在不正当竞争行为”?懂车帝回应:将核实谣言来源,依法维权

大风新闻
2026-10-09 18:07:05
做完手术人就废了,这5种手术不需要做,别让无知害了自己!

做完手术人就废了,这5种手术不需要做,别让无知害了自己!

健身狂人
2026-10-08 13:49:26
懂车帝整顿通知被指AI伪造,多处细节存疑

懂车帝整顿通知被指AI伪造,多处细节存疑

秒懂资讯
2026-10-09 18:04:26
局势彻底变天了!中日对峙一天天拖下去,越来越多国家终于意识到:中日若兵戎相见,不会像俄乌冲突那样给第三方牟利的机会,而是一场血战

局势彻底变天了!中日对峙一天天拖下去,越来越多国家终于意识到:中日若兵戎相见,不会像俄乌冲突那样给第三方牟利的机会,而是一场血战

林杰论事
2026-10-03 02:28:50
新华社消息|外交部:敦促美方与中方平等对话协商应对网络安全风险

新华社消息|外交部:敦促美方与中方平等对话协商应对网络安全风险

新华社
2026-10-09 17:17:17
“95后”女生买了3条“次抛衣”,总花费不到80元,国庆假期回程时直接舍弃;商家称核心购买群体为18至30岁的年轻女性;专家提醒

“95后”女生买了3条“次抛衣”,总花费不到80元,国庆假期回程时直接舍弃;商家称核心购买群体为18至30岁的年轻女性;专家提醒

扬子晚报
2026-10-07 13:59:16
詹姆斯首秀10+4+5!76人遭篮网逆转 恩比德8失误布朗18分

詹姆斯首秀10+4+5!76人遭篮网逆转 恩比德8失误布朗18分

醉卧浮生
2026-10-09 10:07:54
美国发现一个离谱真相:中国根本不是对手,而是打不动的底层系统

美国发现一个离谱真相:中国根本不是对手,而是打不动的底层系统

壹知眠羊
2026-10-09 07:09:42
同享福不共苦?张艺谋身体状况曝光,陈婷亲手取消张艺谋妻子认证

同享福不共苦?张艺谋身体状况曝光,陈婷亲手取消张艺谋妻子认证

阿废冷眼观察所
2026-10-09 15:15:09
真是把“贪”字刻脑门上了!男子花钱与陪酒的公主开房,一次不够要求再来一次,公主妥协答应后,男子又得寸进尺!

真是把“贪”字刻脑门上了!男子花钱与陪酒的公主开房,一次不够要求再来一次,公主妥协答应后,男子又得寸进尺!

王老师你还好吗
2026-10-09 03:12:24
2个蒙古女高中生被群嘲:跳完了赶紧去种树,种的越多越像韩国人

2个蒙古女高中生被群嘲:跳完了赶紧去种树,种的越多越像韩国人

番外行
2026-10-09 09:36:12
懂车帝回应内部整顿传闻:相关页面信息均为谣言

懂车帝回应内部整顿传闻:相关页面信息均为谣言

界面新闻
2026-10-09 17:41:31
毛主席问起一个副处长,全场鸦雀无声:25年前他背着我冲出刺刀阵

毛主席问起一个副处长,全场鸦雀无声:25年前他背着我冲出刺刀阵

纪史行者
2026-10-08 03:10:03
真相大白!郑钦文晋级中国网球公开赛4强原因曝光,夺冠迎3大利好

真相大白!郑钦文晋级中国网球公开赛4强原因曝光,夺冠迎3大利好

曹说体育
2026-10-09 17:22:16
俄"鼠疫"事件闹大了!第二例死亡案例出现后,蒙古和中亚四国开启紧急行动

俄"鼠疫"事件闹大了!第二例死亡案例出现后,蒙古和中亚四国开启紧急行动

子非鱼人
2026-10-09 00:29:59
菲海警在中国海警水炮拦截下,还是完成对仁爱礁破船医疗后送任务

菲海警在中国海警水炮拦截下,还是完成对仁爱礁破船医疗后送任务

三叔的装备空间
2026-10-08 21:33:53
报告称疑似位于广东的人员使用中国开发的AI工具,对韩国金融机构实行了网络攻击,中方:反对出于政治目的散布虚假信息

报告称疑似位于广东的人员使用中国开发的AI工具,对韩国金融机构实行了网络攻击,中方:反对出于政治目的散布虚假信息

政知新媒体
2026-10-08 16:02:51
俄罗斯被曝出现第二例不明肺炎!距离发源地2300公里

俄罗斯被曝出现第二例不明肺炎!距离发源地2300公里

项鹏飞
2026-10-08 20:02:28
余承东嘴里的“远超迈巴赫”,被懂车帝干趴下了

余承东嘴里的“远超迈巴赫”,被懂车帝干趴下了

大佬灼见
2026-10-08 17:23:51
滑稽表演艺术家方艳华逝世,享年87岁

滑稽表演艺术家方艳华逝世,享年87岁

澎湃新闻
2026-10-09 14:52:27
2026-10-09 20:07:00
阿里研究院 incentive-icons
阿里研究院
推动商业互联网化
1971文章数 2182关注度
往期回顾 全部

科技要闻

华为小米手机同日涨价,最高涨1000元

头条要闻

湖南一女局长被指出轨多人 当地成立调查组

头条要闻

湖南一女局长被指出轨多人 当地成立调查组

体育要闻

与C罗硬碰硬,一个72岁老人的倔强

娱乐要闻

吴奇隆宣布重要决定,走上谢霆锋老路

财经要闻

时隔12年,公募基金运作办法修订

汽车要闻

舒适体验全面升级/四驱版续航超700km 理想i6将于10月28日上市

态度原创

游戏
房产
时尚
教育
数码

PS5假手柄太严重!维修师警告:精英手柄配件也有高仿

房产要闻

475万人,猛增13.1%!国庆海南,又爆了?

从夜幕金辉到另类宇宙,巴黎更美了吗?

教育要闻

这有什么难的?瞬间无语了,不至于吧

数码要闻

全球第二!这对华人夫妻造了1/6电视芯片:小米海信全在用

无障碍浏览 进入关怀版