网易首页 > 网易号 > 正文 申请入驻

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

0
分享至


智东西
作者 杨京丽
编辑 李水青

智东西11月18日报道,11月17日,蚂蚁技术研究院与杭州大模型公司西湖心辰发布并开源双向世界模型(Reciprocal World Model,RWM)Duo v1。它通过Intent(意图)和Realization(实现)两个紧密耦合的模块,将智能主体内化为世界的一部分。

Duo生成的场景中,虚拟主体能够持续接收用户的音视频输入,自主决定何时开口、何时倾听,并实时生成相应的声音和画面,与用户进行交互。例如,虚拟主体在运动后说自己口渴,用户递出冰水后,虚拟主体能够接过水瓶并饮用。


传统世界模型通常只模拟光影、材质、动态等物理场景。用户需要通过键盘、鼠标或文本输入指令。模型生成的世界虽然画面逼真,但内部缺少可主动回应的主体。

双向世界模型则同时覆盖物理现实和智能主体。在Duo v1的框架中,虚拟主体与世界共享同一交互时空:它持续接收用户的音频和视频输入,并生成与之一致的视听行为。在这种双向关系下,虚拟主体具备感知、推理和表达能力。


在30组真实交互的人类评估中,Duo v1通过了180项检查中的168项,总通过率为93.3%。其中,语言遵循性、语音可懂度和视觉身份稳定性三项指标的通过率均为100%,内容响应度为73.3%,内容响应度和长程一致性仍是当前版本的主要挑战。

目前,Duo v1的技术报告、训练代码和模型权重均已开放,开发者可以下载模型权重,在此基础上进一步拓展。


技术报告:

https://arxiv.org/abs/2611.15131

官网:

https://duo-v1.github.io/

代码:

https://github.com/inclusionAI/Duo

模型:

ModelScope:

https://www.modelscope.cn/collections/inclusionAI/Duo-v1

Hugging Face:

https://huggingface.co/collections/inclusionAI/duo-v1

一、每0.7秒决定开口或等待,意图和实现模块协同生成音视频

Duo包含Intent(意图)和Realization(实现)两个模块,分别承担交互决策和视听表达任务。

其中,Intent相当于虚拟主体的“大脑”,能够在统一时间线上进行连续交互推理决策。

在每个约0.7秒的时间块(chunk)内,Intent基于用户输入和交互历史,自主决策是选择开口说话或倾听等待,并同步生成对应的语言内容。

Intent传递的并非解码后的文本,而是模型内部的隐状态,用于直接指导Realization模块。

该团队称,这种设计让虚拟主体具备原生交互理性:它能够决定何时参与对话、何时保持沉默,以及被打断后如何回应。

Realization则是虚拟主体的“表达”,负责将决策转化为视听行为。它能够结合Intent的隐状态、用户输入和自身生成的历史内容,生成相匹配的音频和视频。

为保证流式交互中的因果正确性,Duo v1将用户输入、Intent决策和Realization生成严格对齐到统一时间线上,通过不同模块的注意力掩码限制信息访问范围,避免模型使用尚未发生的输入。此前生成的音视频则作为历史上下文,参与后续时间块的生成。

该团队称,这种因果同步由模型自身的推理节律来实现,每个时间块约0.7秒,Intent推理与Realization生成能够在统一管线中无缝衔接。


二、三阶段训练对齐意图理解和视听生成,蒸馏压缩至4步完成

Duo v1的训练分为三个阶段,分别为Intent训练、Realization训练和分布匹配蒸馏,逐步对齐“意图理解”与“视听生成”。

第一阶段训练Intent模块进行因果参与和文本预测。模型会在每个时间块预测开口或等待,以及对应的语言内容。由于多数时间块不包含新的角色发言,模型容易倾向于一直等待。团队通过动作感知重平衡(action-aware rebalancing),对不同类别的训练目标进行采样和加权,缓解“过度等待”的偏差。

同时,训练团队通过截断或重复历史文本,让模型学习如何从不完整或重复的上下文中恢复。


第二阶段训练Realization模块进行因果联合视听生成,Intent模块保持冻结。Realization基于 Intent提取的隐状态、录制媒体历史和用户输入,学习生成对应的音频和视频潜在表示。


这一阶段通过注意力掩码控制信息访问:带噪媒体表示只能访问参考图像、全局描述、历史干净媒体和当前Intent隐状态,不能访问自身对应的干净训练目标,也不能访问未来时间块。这种因果约束确保了训练和推理时的一致性。


第三阶段采用分布匹配蒸馏,将模型压缩为4步生成器。

这一阶段需要解决的关键问题是,训练时Realization使用录制的媒体历史,实际推理时却要依赖系统自身生成的历史,两者存在分布差异。

为此,团队加入Dual Rollout(双路展开)解决分布偏移:在每个训练窗口中,由冻结的Intent模块自回归生成角色文本,Realization则基于这些Intent特征及自身合成的视听历史继续生成。通过在自身生成的数据上训练,模型进一步适应实际交互时的输入分布。


三、60秒生成测试缓解画面退化,内容响应度仍是短板

Duo v1的训练数据包括合成数据和录制数据。

合成数据采用两阶段流程,先由大语言模型根据控制卡片生成结构化剧本,再通过视频生成模型逐块生成音视频。控制卡片涵盖时长、语言、人设和交互类型等维度,确保场景多样性。

视频合成面临的一项挑战是误差累积。如果每个区段仅使用前一区段的最后一帧作为参考,视觉误差可能逐步放大,导致画面质量持续退化。

Duo v1固定使用首个区段的开头视频作为质量参考,以缓解这一问题。在包含10个区段、总时长60秒的连续生成测试中,基线方法的亮度值从103.8降至69.6,下降34.2;采用该方法后,亮度值保持在约99,面部外观的一致性也得以维持。


生成完成后,团队通过首帧一致性、意外音频、镜头推近和大面积视觉变化四类自动质检,过滤低质量样本。

录制数据则包含六种类型,涵盖单人视频、同步双视角视频、异步双视角视频、直播互动、双工音频,以及筛选后的开源数据集。所有数据经过自动语音识别(ASR)、语音活动检测(VAD)、说话人分离和时间轴对齐处理,最终统一为因果交互格式。

性能方面,在30组真实交互、共180项检查的人类评估中,Duo v1通过168项,总通过率为93.3%。其中,语言遵循性、语音可懂度和视觉身份稳定性均为100%,视听情感一致性为96.7%,视听同步为90.0%,内容响应度为73.3%。

该团队称,内容响应度是最具挑战性的指标。模型需要在用户音视频仍持续输入时作出决策,对用户意图进行实时推断。复杂意图理解和长程一致性,将是后续版本重点优化的方向。

结语:世界模型中的虚拟主体开始自主参与交互

Duo v1尝试将交互决策与音视频生成放进同一模型框架,让虚拟角色在持续接收环境信息的同时,自主决定何时倾听、何时回应,并生成相应的视听行为。

当前版本在内容响应度和长时间会话稳定性方面仍有提升空间。随着训练代码和模型权重开放,这种将智能主体纳入世界模型内部的方案,也将接受更多场景下的检验。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
严重违纪违法,济南市历下区政协原党组书记、主席王勇被开除党籍和公职

严重违纪违法,济南市历下区政协原党组书记、主席王勇被开除党籍和公职

齐鲁壹点
2026-11-18 17:40:11
为什么这么多领导人在深圳找到快乐?

为什么这么多领导人在深圳找到快乐?

新民周刊
2026-11-19 07:20:10
11月17日凌晨,俄罗斯报复不隔夜,4枚高超炸北约弹药库,炸大桥

11月17日凌晨,俄罗斯报复不隔夜,4枚高超炸北约弹药库,炸大桥

共工之锚
2026-11-18 11:05:32
炸锅,最近银行低风险理财都亏麻了!

炸锅,最近银行低风险理财都亏麻了!

樱桃大房子
2026-11-19 00:19:27
我国出口的7吨出口大闸蟹被退运,检出 “世纪之毒”?啥情况?

我国出口的7吨出口大闸蟹被退运,检出 “世纪之毒”?啥情况?

狸猫之一的动物圈
2026-11-19 09:00:33
“安徽老人拆墙让路”引争议,最新消息:“女儿是记者,新买宝马X5”等传言不实

“安徽老人拆墙让路”引争议,最新消息:“女儿是记者,新买宝马X5”等传言不实

观察者网
2026-11-18 23:17:31
中国12个贵宾席坐满,菲方急坏了,马科斯欠1亿菲律宾人一个交代

中国12个贵宾席坐满,菲方急坏了,马科斯欠1亿菲律宾人一个交代

麓谷隐士
2026-11-19 00:05:04
英男不满被推销电话狂轰 将号码改成付费专线 每分钟爽赚7便士

英男不满被推销电话狂轰 将号码改成付费专线 每分钟爽赚7便士

环球趣闻分享
2026-11-18 14:57:47
又是湘雅二院?挂着5项科研基金的论文拿虾滑冒充肿瘤!国家科研经费拿去给AI充会员了?

又是湘雅二院?挂着5项科研基金的论文拿虾滑冒充肿瘤!国家科研经费拿去给AI充会员了?

聊斋新志
2026-11-18 16:53:43
《GTA6》10分满分都不够!外媒想打11分 无与伦比

《GTA6》10分满分都不够!外媒想打11分 无与伦比

游民星空
2026-11-18 21:19:21
我国规上工业发电量出现连续4个月负增长

我国规上工业发电量出现连续4个月负增长

投资者内参
2026-11-18 20:59:16
坐稳东部第一!76人逆转魔术迎4连胜,詹姆斯22分,恩比德26+6+7

坐稳东部第一!76人逆转魔术迎4连胜,詹姆斯22分,恩比德26+6+7

全景体育V
2026-11-19 10:37:40
网易号平台每日辟谣公告(十一月十八日)

网易号平台每日辟谣公告(十一月十八日)

网易号官方平台
2026-11-18 19:08:14
今天 11 月 19 日,全体退休人员注意:11 月养老金发放,必查三项!

今天 11 月 19 日,全体退休人员注意:11 月养老金发放,必查三项!

白昼说故事
2026-11-19 09:34:46
−4.5%,上海社零已连续7个月为负

−4.5%,上海社零已连续7个月为负

互联网大观
2026-11-18 21:08:50
印度大V又吹牛了!在X晒出深圳图片,却称是孟买,问:中国有这么美丽的城市吗?

印度大V又吹牛了!在X晒出深圳图片,却称是孟买,问:中国有这么美丽的城市吗?

小徐讲八卦
2026-11-18 09:28:45
用我34岁女儿失败的婚姻劝告大家:未来女婿没车没房不重要,但遇到“四无亲家”就不要让女儿嫁过去!

用我34岁女儿失败的婚姻劝告大家:未来女婿没车没房不重要,但遇到“四无亲家”就不要让女儿嫁过去!

脆皮先生
2026-11-18 22:26:46
事关台湾问题,特朗普与高市早苗都表态了,俄外长猛批西方一立场

事关台湾问题,特朗普与高市早苗都表态了,俄外长猛批西方一立场

辉辉历史记
2026-11-18 16:10:18
美国批评乌克兰袭击俄罗斯大桥事件,德国防长尖锐反驳:美国是“相当愚蠢”!

美国批评乌克兰袭击俄罗斯大桥事件,德国防长尖锐反驳:美国是“相当愚蠢”!

忧郁天空
2026-11-18 18:32:55
潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

背包旅行
2026-11-19 01:22:04
2026-11-19 10:56:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12969文章数 117195关注度
往期回顾 全部

科技要闻

OPPO Reno17:实况才是让我留下来的理由

头条要闻

美国白宫发布特朗普访华视频 中国仪仗队再次出圈

头条要闻

美国白宫发布特朗普访华视频 中国仪仗队再次出圈

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

稳坐春晚前排20年,黄晓明都巴结她

财经要闻

北京环球影城,亏损难题待解

汽车要闻

还在死磕纯电还是插混?越来越多人悄悄选 HEV 了

态度原创

教育
游戏
数码
家居
房产

教育要闻

让你的孩子学会感恩

《GTA6》港服正式解锁!杨奇:无心劳作 度秒如年

数码要闻

机械革命RTX Spark迷你主机大师之路X10实物亮相:1.25L体积,140W性能

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

周大生出手!海棠湾又一大商业体来了

无障碍浏览 进入关怀版