随手先关注,不错过每日AI热讯速递
①
9 月 18 日,通义千问上线新一代原生全模态模型(指模型原生支持文本、图像、音频、视频等多种模态的输入与理解)Qwen3.8-Omni-Flash,支持文本、图像、音频和视频输入,以及1M(100 万 token)长上下文[1]。
官方的定位不是“更会看懂音视频”,而是把全模态理解接进智能体流水线:推动全模态模型从“理解全模态内容”进一步走向“规划任务、调用工具并完成创作”[1]。
场景也随之铺开——视频剪辑、音乐视频创作、影视制作与解说、音视频转图文摘要、音视频对话,都属于它要处理的工作流[1][2]。
同一次发布里还有两个配套件,两者一并开源[1][3]。
一是面向agent harness(承载智能体运行的统一框架,负责工具调用、权限与执行环境)的多模态插件集Qwen-MM-Plugins;二是面向实时持续交互的Qwen-Live Harness[1][3]。
同系列还推出了实时版本Qwen3.8-Omni-Flash-Realtime,官方称其为首个支持“听声辨位”的全模态大模型[1]。
![]()
图来源:通义千问官方博客[1]
②
官方公布了完整的性能与成本口径:在累计29 项评测中,模型相比上一代Qwen3.5-Omni-Plus平均得分提升超过25%[1]。
API 价格同步下调——每小时音频输入价格降幅超过 98%每小时音视频输入价格降幅超过 93%[1][2]。
分项成绩上,音视频 agent、编码和长程任务方面,WildClawBench-MM 提升 36.5 分AgenticVBench 提升 22.3 分UniClawBench 取得 69.6 分[1]。
基础能力方面,LongAudioSpan 提升 8.3 分OmniVideoBench 提升 9.6 分[1]。
官方另有一组对比数据:在音视频 agentic 理解中,OmniVideoBench 准确率从63.4%提升至67.8%,token 消耗从145,736降至79,117,降幅约45.7%[2]。
与线性处理整段视频的传统方式不同,它先带着问题定位关键片段,再把算力集中到核心内容上[2]。
![]()
图来源:Qwen 官方开源仓库[3]
③
官方同时说明了这类应用长期存在的阻力:长音视频的存储、网络传输与多轮推理成本高昂[1]。
现有 agent harness 缺乏对音视频的原生支持,而从全模态理解到端到端任务执行的工作范式仍处早期[1]。
对应的解法就是本次的三件套——模型降价、插件补 harness 的多模态能力、实时 harness 支撑持续交互[1]。
接入方式也一并给出:插件以Skill 加可选 MCP server的形式安装[1][3]。
官方列出的兼容对象包括Codex、Claude Code、Qwen Code、Gemini CLI、Qoder、CodeBuddy 与 OpenClaw,也就是说,开发者不必换一套环境,挂到既有工具链上即可[1][3]。
实时能力被放在具体场景里展示:口音、元辅音替换与声调偏差都会让逐字转写偏离真实语义,Realtime 版本联合建模发音与语义,能理解受口音影响的非标准表达、将其对齐到正确词汇,并实时生成标准发音示范[1]。
![]()
图来源:MarkTechPost[2]
④
上述性能与价格数字全部为厂商自报口径,目前还没有可引用的第三方独立复现结果[1][2]。
本次开源的范围也值得留意一下:释出的是Qwen-MM-Plugins 与 Qwen-Live Harness,即工具与运行环境一侧;模型本身仍以 API 形式提供,并未开放权重[1][3]。
“首个支持听声辨位的全模态大模型”同样属于官方表述,缺少第三方横向对比[1]。
这次降幅针对的正是长期制约音视频应用的瓶颈:官方把长音视频的存储、传输与多轮推理成本列为落地首要障碍[1]。
你会愿意把一整段会议的原始音视频直接交给模型处理吗?欢迎在评论区聊聊。
参考来源:
[1] Qwen3.8-Omni-Flash:耳聪目明,办事得力(通义千问官方博客)https://qwen.ai/blog?id=qwen3.8-omni-flash
[2] Alibaba Qwen Releases Qwen3.8-Omni-Flash: A 1M-Context Omni-Modal Model Built Around Agentic Audio-Video Understanding and Tool Usehttps://www.marktechpost.com/2026/09/18/alibaba-qwen-releases-qwen3-8-omni-flash/
[3] QwenLM/Qwen-MM-Plugins(Qwen 官方开源插件仓库)https://github.com/QwenLM/Qwen-MM-Plugins
欢迎点赞、分享、推荐
一起拥抱AI
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.