网易首页 > 网易号 > 正文 申请入驻

霸榜三大基准!优必选 Thinker-WM:多模态统一表征,单模型实现六大能力

0
分享至

三大基准全榜登顶Thinker-WM 斩获三项第一

日前,优必选 Thinker-WM在三大公认具身世界模型基准评测中全部拿下第一名,刷新行业成绩:

WorldOlympiad:

Thinker‑WM 取得综合得分 0.740 位列榜首。该基准基于大量真实机器人交互数据构建,覆盖十余种不同机器人本体与多类相机配置,重点考核模型跨机器人形态、跨视角的泛化能力。模型取得 3D 一致性 0.531、交互保真度 0.765,两项单项指标位居全部参评模型首位,体现模型对三维几何结构与机器人交互过程的精准建模能力。



EWMBench:

Thinker‑WM 取得综合总分4.66,超过 Qwen‑RobotWorld、Sora2 等主流模型。EWMBench 完整考核场景一致性、机器人末端运动正确性、指令语义对齐三大能力维度。得益于表征层面的多模态联合建模,Thinker‑WM 在反映机器人轨迹时空匹配的 nDTW(归一化动态时间规整)、表征运动速度与加速度合理性的 Dyn(动力学一致性)等机器人运动核心指标上实现领先。



WorldArena1.0 Track-1:

在仿真环境基准 WorldArena Track‑1,Thinker‑WM 在视觉画质、内容一致性、物理合理性、3D 几何精度、指令遵循等 12 项关键评价维度整体领先,兼顾仿真环境下视觉生成质量与物理交互可信度。

Thinker‑WM 以表征层统一的Unified Dynamic Transformer(UDT)为核心,将 RGB 图像、度量深度、机器人动作纳入同一套共享动态表征联合演化,实现视频‑动作联合生成、世界预测、策略推理、视频转动作、逆动力学等多项能力合一,为具身智能提供新一代基础世界模型底座。



Thinker-WM技术突破:表征层面实现视觉、几何、动作多模态统一

让机器人在真实世界落地干活,最难的不是识别眼前物体,而是预判环境下一步变化。这也是世界模型存在的价值与意义,而过往世界模型普遍采用 “拼接式” 方案:视频生成负责画面、策略网络负责动作、几何预测负责空间信息,模块独立计算,再通过接口拼接输出。

但这套技术模型的问题在于,动作改变环境、环境约束动作,几何结构同时影响两者,物理上紧密耦合的信号被拆分到不同模块,丢失其内在因果关联。

举个例子,“一个杯子被推下桌子”这件事情,在语言里是一句话描述,在动作里是一串关节命令,在视频里是一段穿越画面的物体运动,在深度里是一组连续变化的距离场。四种表述指向的是同一个事件,而不是四个不同的对象。所以,要求模型生成其中任何一种,本质上都是在追问同一个过程。

但这种重叠又是不完全的。动作既不携带外观,也不携带上下文,同样的关节命令,放在空桌子上和放在杂乱的桌子上,含义完全不同。语言也不携带时空细节,“杯子被推下桌子”这句话,既没有规定从哪一侧推、用多大力、以什么速度推,也没有规定手的具体轨迹、杯子翻转几圈、最终落在哪里。视频不携带显式几何和度量,其仅使用一系列像素表示,既不知道杯子的尺寸,也不知道杯子的距离。深度也不携带外观、命名语义和意图,它给出表面在哪里、如何遮挡、如何接触,却不告诉你那是杯子还是桌布,更不告诉你为什么要推它。

针对这个问题,优必选 Thinker 团队给出全新解法:不在接口处做简单合并,而是在表征层面实现多模态统一。Thinker-WM(Thinker World Model)作为优必选自研统一多模态世界模型,将 RGB 视频、深度和机器人动作编码至同一个中间表征空间,依靠一组共享参数联合演化。外观、几何、动作不再是三条独立流水线,而是同一个世界演化过程的三种表达形态。也就是说,Thinker-WM 的底层设计逻辑可以概括为:不同模态是同一过程的不同表述;模型将它们对齐到共享表征空间,并在这一共享表征上进行推理,而不是在模态接口上做条件组合。



Thinker-WM:视觉、几何与动作的统一建模框架

具体来看,RGB图像、深度信息、机器人动作分别通过各自的编码器映射到统一潜在空间,送入共享的统一动态Transformer(Unified Dynamics Transformer, UDT)进行联合时序建模,最终由各自的解码器还原输出视频、深度图、机器人可执行动作。这就意味着多模态的交互发生在Transformer内部,视觉token、几何token和动作token通过同一个注意力机制直接交换信息,而不是在输入或输出层做浅层拼接。

几何信息也不再只是辅助监督信号。Thinker-WM 把深度作为原生生成模态,与视频共享一致的潜在拓扑和时空组织。深度监督直接塑造共享表征,让物理空间结构成为世界模型的 “母语”,而非后期外挂补充模块,从而也能帮助人形机器人更准确地理解物理空间。统一建模的价值,也体现在机器人的实际执行效果上。在 RoboTwin 单任务消融实验中,引入深度模态后,操作成功率较无深度基线提升了 15 个百分点,说明空间几何信息不仅有助于模型理解场景,也能改善动作生成与任务执行。

3万小时异构数据让一个模型,解锁六种能力

依托多模态统一表征,所有模态共享同一组参数,Thinker-WM 可以通过灵活切换条件模态与生成模态,支持六大能力模式。



同一份权重,既能预判、想象未来画面,也能反向推演机器人执行轨迹,还能从视频中提取动作信息,这正是统一表征带来的核心技术红利。



3万小时异构数据撑起通用世界模型底座

统一表征能力的背后,是优必选规模丰富、类型多元的训练数据支撑。Thinker-WM 训练语料在具身智能领域具备可观体量:

· 约2万小时第一人称人类视频:覆盖家庭、商业零售、工业等场景,补足机器人遥操作难以低成本获取的任务、物体与场景多样性,同时配套约 1 千小时的对齐深度数据。

· 约1万小时真实机器人数据:来自多款不同形态机器人,提供视觉观测与可执行动作的配对监督,其中约 3 千小时配套对齐深度标注。

· 约1千小时仿真数据:提供高精度几何、物理监督信号

不同机器人动作空间、坐标系、控制协议差异巨大。Thinker-WM 的统一思想不仅应用于模型框架上,也应用于数据选择中。该模型统一使用末端位姿表示所有机器人动作,同时为不同机器人在token中嵌入专属标签。这样不同形态的机器人可以共享同一个生成空间,又能够保留精准的本体控制能力。

数据 Infra:让海量异构数据高效支撑统一模型训练

海量数据要转化为模型能力,离不开稳定、高效的数据基础设施。面对不同机器人、人类视频与仿真数据在格式、模态和标注上的差异,优必选 Thinker 团队构建了 Data Factory,将数据管理与训练采样解耦,让多源数据按模型需求灵活组合。



Data Factory:从多源异构数据到统一模型训练

Data Factory 围绕三个关键环节支撑训练:统一组织视频、状态、动作与语言信息,按需生成不同训练模式所需的样本;通过分层质检过滤异常片段,检查深度与视频对齐,确保训练信号可靠;通过异步预取与编码复用提前准备训练数据,减少等待与重复计算。

这套数据基础设施,让多源异构数据能够被可靠组织、灵活调用、高效供给,为 Thinker-WM 六种能力模式的联合训练与持续迭代提供工程支撑。

通过Motion Probe实验设计轻量化实验:验证跨模态表征真实耦合

表征层面统一多模态,听起来是架构设计上的创新,但有一个核心疑问:模型究竟是真的在共享空间学到视觉、几何、动作之间的耦合关联,还是只是并行处理多路信息,把不同模态简单放在一起?

为回答这个问题,优必选Thinker 团队设计了轻量级 Motion Probe(运动探针)验证实验。研究团队在冻结的UDT视觉表征上接一个极小的运动预测头,只训练这个头,看能否从纯视觉表征中恢复出末端执行器的位移。



Motion Probe示意图

实验结果证实猜想:探针预测误差很低。即使没有动作监督,视觉表征中也已经编码了与动作相关的运动信息。这一结果直接证明,表征层面的多模态统一真实生效,视觉感知和动作规划不是两条相互独立的链路,而是在共享潜在空间里实现深度耦合。

这意味着什么

这也进一步说明,Thinker-WM本次技术的突破的,价值远不止一次刷榜成果。它指明具身世界模型的底层新范式:

具身智能的世界模型不应该是 “视频生成器 + 策略头” 的简单组合,而是一套完整统一的生成过程——视觉观测、空间结构、动作规划,是同一个物理世界过程的不同表达。

当机器人能够在同一表征空间内同步推演画面变化、空间结构、动作轨迹,它对物理世界因果逻辑的理解便向前迈进一大步。这也是机器人从“可以执行任务干活”,迈向“能够理解真实世界”的关键跃迁。

Thinker-WM 现已完成在优必选机器人平台上部署验证,相关技术将持续赋能下一代具身智能系统。

来源:优必选科技

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
香港男星钱嘉乐大女儿蜕变成气质美女,昔日遭外貌抨击惹妈妈伤心

香港男星钱嘉乐大女儿蜕变成气质美女,昔日遭外貌抨击惹妈妈伤心

萧獻记录风土人情
2026-11-03 08:39:12
砸4.42亿美元支持共和党,结果民主党却大胜,马斯克回应一语双关

砸4.42亿美元支持共和党,结果民主党却大胜,马斯克回应一语双关

军机Nova
2026-11-05 00:36:19
哈里为何不受待见?智商情商都低,活到40多岁还像个巨婴只会抱怨

哈里为何不受待见?智商情商都低,活到40多岁还像个巨婴只会抱怨

照见古今
2026-09-24 14:22:48
日本网友让志田千阳“滚出日本、入籍中国”,结果她真的来了

日本网友让志田千阳“滚出日本、入籍中国”,结果她真的来了

叒女紫121
2026-10-15 17:59:37
陈毅开玩笑问算命先生:我能不能当皇帝?没想到竟让算命人送了命

陈毅开玩笑问算命先生:我能不能当皇帝?没想到竟让算命人送了命

磊子讲史
2026-08-27 17:13:31
河南南阳一校花太漂亮了 身高167 五官精致 美得让人移不开眼

河南南阳一校花太漂亮了 身高167 五官精致 美得让人移不开眼

小虎新车推荐员
2026-11-04 14:07:32
上海申花VS桑坦德竞技前瞻:申花没退路也没包袱,但手握3大利好

上海申花VS桑坦德竞技前瞻:申花没退路也没包袱,但手握3大利好

零度眼看球
2026-11-04 20:05:29
公安部多次提醒:卖掉旧手机,不只是丢自己隐私,孩子也会受牵连

公安部多次提醒:卖掉旧手机,不只是丢自己隐私,孩子也会受牵连

你在偷看谁
2026-10-08 19:57:01
美国选举出新国会,特朗普仍然在,乌克兰的处境会有哪些变化?

美国选举出新国会,特朗普仍然在,乌克兰的处境会有哪些变化?

走进乌克兰2022
2026-11-04 19:56:48
6翻了!浙江广电华智数媒出品电影《空枪》用6.66亿给足底气:这波真不烧心!

6翻了!浙江广电华智数媒出品电影《空枪》用6.66亿给足底气:这波真不烧心!

新浪财经
2026-11-04 11:16:18
“我考不成公了啊”“为什么第一次不抓我”,四川男子以“旗袍寄拍”诈骗多名女性十万余元,被抓时距国考仅剩37天,家中存放大量考公书籍

“我考不成公了啊”“为什么第一次不抓我”,四川男子以“旗袍寄拍”诈骗多名女性十万余元,被抓时距国考仅剩37天,家中存放大量考公书籍

洪观新闻
2026-11-04 17:49:13
发现一个无奈的现象:城市八九十岁老人活着,基本是在“养”保姆

发现一个无奈的现象:城市八九十岁老人活着,基本是在“养”保姆

千秋历史
2026-05-26 19:19:28
太荒唐了!女子和多个情夫发生关系,其中一个情夫让她和别人断绝关系,只跟自己交往,被拒绝后情夫说要还钱女子追悔莫及

太荒唐了!女子和多个情夫发生关系,其中一个情夫让她和别人断绝关系,只跟自己交往,被拒绝后情夫说要还钱女子追悔莫及

丫头舫
2026-10-28 15:27:45
1460亿!加拿大豪赌,狂送乌克兰3000辆装甲车

1460亿!加拿大豪赌,狂送乌克兰3000辆装甲车

老做体育解说
2026-11-02 19:34:02
为什么WTO很少被提起了?中国入世谈判花了15年,如今几乎被架空

为什么WTO很少被提起了?中国入世谈判花了15年,如今几乎被架空

午夜搭车a
2026-09-25 07:24:24
生育率往下掉不是吓唬人,再过两代,咱们的孩子要过什么样的日子

生育率往下掉不是吓唬人,再过两代,咱们的孩子要过什么样的日子

记录生活日常阿蜴
2026-11-02 19:24:09
一边海外巨亏3.3亿美元,一边国内拖欠25亿税款,潘石屹报应来了

一边海外巨亏3.3亿美元,一边国内拖欠25亿税款,潘石屹报应来了

李砍柴
2026-08-08 15:15:10
发生了什么?布伦特原油突然跳水暴跌10%

发生了什么?布伦特原油突然跳水暴跌10%

新浪财经
2026-11-05 02:05:53
副市长威逼利诱,漂亮女副总反水交出流水,一个副科长直面一张利益大网

副市长威逼利诱,漂亮女副总反水交出流水,一个副科长直面一张利益大网

金沙故事汇
2026-10-28 21:15:17
这4大岗位正在逐步被清出事业编队伍!

这4大岗位正在逐步被清出事业编队伍!

细说职场
2026-11-04 16:26:20
2026-11-05 03:23:00
松果财经 incentive-icons
松果财经
专注商业研究,挖掘新商业机会
5874文章数 4918关注度
往期回顾 全部

科技要闻

国行苹果AI上手实测:苦等两年,成色如何

头条要闻

共和党败选后 特朗普1小时狂发71条贴文还官宣"改行"

头条要闻

共和党败选后 特朗普1小时狂发71条贴文还官宣"改行"

体育要闻

老板豪言建队五年必夺冠 球员:保守了

娱乐要闻

甩掉周一围嫁富豪,童蕾今负债亿元,

财经要闻

苹果“躺赢”了英伟达

汽车要闻

省钱 它是认真的!银河星耀6EF每公里成本只要2毛

态度原创

游戏
亲子
本地
教育
时尚

老大,让国民偶像唱首歌真能拐到玩家来游戏里打枪吗?"/> 主站 商城 论坛 自运营 登录 注册 简体中文 简体中文 English 老大,让国民...

亲子要闻

花了8万元坐月子,产后两个月伤口还在流脓

本地新闻

乌兰察布:以前种土豆,现在种Token

教育要闻

359万件作业本被召回!快看你家的中招了吗→

秋天怎么穿衣才更有气质?用针织衫搭配连衣裙,高级显瘦又大方

无障碍浏览 进入关怀版