网易首页 > 网易号 > 正文 申请入驻

阿里发布Qwen3.5-Omni,多模态能力超越Gemini-3.1 Pro

0
分享至

3月30日,阿里发布千问新一代全模态大模型Qwen3.5-Omni,在音视频理解、识别、交互等215项任务中取得SOTA(性能最佳),超越Gemini-3.1 Pro,成为目前全球最强的全模态大模型之一。

新模型拥有极强的音视频理解与实时交互能力,能够对音视频内容生成详细且可控的结构化描述,可识别语言和方言数量多达113种,还惊喜地涌现出了音视频Vibe Coding能力,用户对着镜头阐述需求,就能让模型自主生成APP、网页、游戏等复杂产品代码。目前,阿里云百炼已上新Qwen3.5-Omni的Plus、Flash、Light三种API,可广泛应用于短视频/直播平台、游戏、自媒体等行业。

Qwen3.5-Omni采用混合注意力MoE架构,在海量文本、视觉以及超过1亿小时的音视频数据上进行了原生多模态预训练,可实现图片、视频、语音、文字等全模态内容的输入与输出。新模型在音视频理解、跨模态推理、Agent方面实现了性能飞跃,在音视频理解、语音识别、多语种翻译、对话等215项第三方性能测试任务中取得SOTA。

比如,在聚焦视听交互能力的DailyOmni、QualcommInteractive、Omni Cloze等测试中,Qwen3.5-Omni得分大幅领先Gemini-3.1 Pro;在检测嘈杂环境抗干扰能力的WenetSpeech测试中,Qwen3.5-Omni错误率远低于Gemini,识别准确率极高;在考察多语言语音生成质量的Multi-Lingual (30lang) 测试中,Qwen3.5-Omni同样显著优于Gemini-2.5-Pro-TTS。



Qwen3.5-Omni拥有极强的语言能力,支持113种语言及方言的语音识别和36种语言及方言的语音生成,就连使用人数不足一百万的毛利语和国内的海南方言,也能精准识别。新模型还大幅增强了实时交互体验,能高情商听懂用户对话意图,准确区分有效回应和随口附和,就像和真人聊天一样。

同时,模型还可以根据指令自由调节语音、语调,并基于创新的ARIA技术,使生成的语音更自然、更稳定。 在面对类似“今天的天气怎样”的实时提问时,模型还能自主判断并调用工具,确保回复内容准确且时效性强。

基于一系列技术创新,Qwen3.5-Omni将Vibe Coding推入下一阶段。与纯文本或图片驱动的Vibe Coding不同,千问可以实现音视频编程:打开摄像头,用户对着草图口述需求,哪怕是包括复杂产品逻辑的描述,模型也能直接生成带有复杂UI的产品原型界面,真正实现“动动嘴即可编程”。这一能力并非刻意设计,而是模型在原生多模态能力持续扩展过程中自然涌现出的结果。

Qwen3.5-Omni顶尖的全模态能力,还能为专业领域带来超级生产力。新模型可对画面主体、人物关系、对话逻辑、乃至人物情绪起伏进行极细的拆解,并自动完成视频章节切片与时间戳标注,支持超过10小时的音频输入,将繁琐的视频后期梳理工作缩短至秒级,大幅降低了企业的内容管理成本,在视频创作、内容审核等领域具有极高的落地价值。

目前,普通用户也可前往Qwen Chat免费体验,开发者和企业可通过阿里云百炼平台调用Qwen3.5-Omni模型,每百万Tokens输入不到0.8元,比Gemini-3.1 Pro的1/10还低。据了解,千问稳居中国企业级大模型调用市场第一,服务涵盖互联网、金融、消费电子及汽车等重点行业超100万家客户。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
梁晓声:人活到通透,不过四句分寸——对父母只尽孝,对伴侣只共存,对儿女只养育,对自己只求心安

梁晓声:人活到通透,不过四句分寸——对父母只尽孝,对伴侣只共存,对儿女只养育,对自己只求心安

杏花烟雨江南的碧园
2026-10-21 11:15:03
中美舰队再对峙!辽宁舰领衔,双电侦船出动,双055大驱组队压阵

中美舰队再对峙!辽宁舰领衔,双电侦船出动,双055大驱组队压阵

观锐器
2026-10-21 13:21:01
台当局禁赴大陆参加孙中山诞辰纪念活动,国台办回应

台当局禁赴大陆参加孙中山诞辰纪念活动,国台办回应

澎湃新闻
2026-10-21 10:54:26
手机市场搞笑一幕,国产手机涨价没人买,如今又降价千元促销

手机市场搞笑一幕,国产手机涨价没人买,如今又降价千元促销

柏铭锐谈
2026-10-19 06:52:51
女排世界杯抽签规则出炉!中国塞尔维亚同组,检验二号位拦防能力

女排世界杯抽签规则出炉!中国塞尔维亚同组,检验二号位拦防能力

排球黄金眼
2026-10-21 10:45:20
韩国股市,涨熔断了

韩国股市,涨熔断了

新浪财经
2026-10-21 10:24:23
一女子展示自己结婚时买的六金,不料,首饰掉地上四处蹦跶发出清脆声响,都说金不响银不跳,网友调侃:是从五金店置办的六金吗?

一女子展示自己结婚时买的六金,不料,首饰掉地上四处蹦跶发出清脆声响,都说金不响银不跳,网友调侃:是从五金店置办的六金吗?

LULU生活家
2026-10-21 20:06:58
纪委核查通讯记录的高明手段,很多人直到落马都不知道哪暴露了

纪委核查通讯记录的高明手段,很多人直到落马都不知道哪暴露了

职场资深秘书
2026-10-18 14:34:51
美国政坛彻底吵翻!谁敢掐断乌克兰星盾,直接严查、砍预算问责

美国政坛彻底吵翻!谁敢掐断乌克兰星盾,直接严查、砍预算问责

老马拉车莫少装
2026-10-19 21:54:33
《死或生7》开发照片疑曝光 加入至少五名新斗士

《死或生7》开发照片疑曝光 加入至少五名新斗士

3DM游戏
2026-10-20 14:13:05
重庆警方启动专项行动,严查客运车辆疲劳驾驶等违法行为

重庆警方启动专项行动,严查客运车辆疲劳驾驶等违法行为

上游新闻
2026-10-20 22:08:40
个人收入要开始严查?2026年起如果账户收入超过这个数,注意下准没坏处。

个人收入要开始严查?2026年起如果账户收入超过这个数,注意下准没坏处。

巢客HOME
2026-10-13 05:10:03
开盘涨停!600178,四连板!

开盘涨停!600178,四连板!

证券时报
2026-10-21 10:18:07
商务部副部长兼中华人民共和国国际贸易谈判副代表凌激会见法罗群岛副总理兼外交和渔业部长尼尔森

商务部副部长兼中华人民共和国国际贸易谈判副代表凌激会见法罗群岛副总理兼外交和渔业部长尼尔森

证券时报
2026-10-21 21:26:09
轰38分5断!乔治首秀刷新队史纪录,绿军交易不亏,但选错老大了

轰38分5断!乔治首秀刷新队史纪录,绿军交易不亏,但选错老大了

你的篮球频道
2026-10-21 07:12:47
又拉踩!库明加你没完没了了....

又拉踩!库明加你没完没了了....

柚子说球
2026-10-20 21:05:32
充电桩距家仅3米、夜间噪音扰民,四川3名住户起诉索赔,法院:无法确认腰椎间盘突出、痛风等系噪音引起,判赔睡眠障碍治疗费48.42元

充电桩距家仅3米、夜间噪音扰民,四川3名住户起诉索赔,法院:无法确认腰椎间盘突出、痛风等系噪音引起,判赔睡眠障碍治疗费48.42元

扬子晚报
2026-10-21 19:18:07
深圳宝安机场逼近8000万人次设计上限,第二机场的讨论在珠三角空域紧张下又热了

深圳宝安机场逼近8000万人次设计上限,第二机场的讨论在珠三角空域紧张下又热了

奇思妙想生活家
2026-10-21 00:53:47
“超级牛散”章建平大幅加仓,与葛卫东看中同一公司!答案就藏在AI算力里!

“超级牛散”章建平大幅加仓,与葛卫东看中同一公司!答案就藏在AI算力里!

证券市场周刊
2026-10-21 21:06:25
乱套了!4-2,4-3,欧冠疯狂进球夜:巴黎造惨案,积分榜出炉

乱套了!4-2,4-3,欧冠疯狂进球夜:巴黎造惨案,积分榜出炉

寒士之言本尊
2026-10-21 22:08:48
2026-10-21 22:28:49
白鲸实验室one incentive-icons
白鲸实验室one
记录 AI改变世界的瞬间
200文章数 19关注度
往期回顾 全部

科技要闻

SpaceX收入暴涨!马斯克:这事"不再不可能"

头条要闻

李昌钰博士将安葬于扬州 妻子:他求婚时曾说"我养你"

头条要闻

李昌钰博士将安葬于扬州 妻子:他求婚时曾说"我养你"

体育要闻

“我,对得起天津足球!”

娱乐要闻

张柏芝自曝五点陪伴儿子 谢霆锋尴尬了

财经要闻

昔日彩电一哥缘何在今天被挤下牌桌?

汽车要闻

智驾摩尔定律一年十倍跃升 2028迎来L4拐点

态度原创

本地
教育
手机
房产
公开课

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

教育要闻

非常简单的五年级几何题,全班准确率不到10%

手机要闻

华为畅享 100 Pro Max 8800mAh来袭!千元机天花板,长辈机新标杆?

房产要闻

J&P 集团亮相 2026 中国品牌出海博览会| 深耕跨境20载,品牌出海有J&P

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版