网易首页 > 网易号 > 正文 申请入驻

独家|刚刚,启元PrimeSim世界模型,登顶两大机器人权威榜单

0
分享至

来源:市场资讯

(来源:机器之心)

机器之心发布

训练机器人控制策略高度依赖仿真环境,但传统手工搭建的仿真器规模化落地门槛极高。

今日,启元具身研究中心正式发布 PrimeSim,一款面向机器人操纵任务的世界模型仿真器。它基于预训练视频生成模型,经由中训练、后训练两阶段改造,具备替代传统仿真器的交互推演能力。


在 EWMBench 基准上,PrimeSim 拿下 6.09 的综合得分,位列榜首;在 WorldSimProbe 的五项评测维度中,斩获三项第一。




PrimeSim generated demos

为什么机器人需要「从数据中学出来的仿真器」

理想的机器人仿真器,应当满足几个核心特质:能够并行调度上万条轨迹 rollout、支持场景精确重置且无硬件损耗、无需针对不同场景大量工程定制,同时尽可能缩小现实鸿沟(sim-to-real gap)。

但只用视频生成模型做这件事,「视觉逼真」远远不够。作为仿真底座,它必须同时守住三重约束:

严格服从策略输出的动作指令;

多相机视角之间保持几何、语义一致;

在远长于训练上下文窗口的长时间推演中维持状态连贯。

在团队看来,现有的通用世界模型大多只能满足其中一到两项,很难同时兼顾三者。


技术路径:先中训练,再后训练

PrimeSim 采用两阶段改造范式,将原生双向视频生成模型逐步转化为可交互、可自回归滚动的世界模型仿真器。

第一阶段:中训练|从视频生成模型到机器人世界模型

模型训练基于 30110 小时精选机器人演示数据,覆盖人形、双臂、单臂、手持 UMI 设备等 22 种异构机器人平台,混合真实采集数据与传统仿真数据;其中人形机器人样本占比 54.8%,真实世界数据占比 84%。核心设计包含三点:

  • 统一动作表征:将头部、躯干、腰部、末端执行器、夹爪、底盘的控制信号编码至同一动作向量,实现跨本体兼容;

  • 帧对齐双路径条件注入:结合时序对齐注意力机制与直接动作注入,强绑定控制指令与生成运动;

  • 视角感知交错注意力:引入显式相机标识完成跨视角信息交互,保证多视图一致性,避免不同视角画面互相坍缩。

第二阶段:后训练|高速生成 + 长时序记忆

自回归仿真的难点在于,模型需要基于自身上一步不完全精确的预测继续推演,而原生视频生成模型仅在固定长度真值上下文上训练。团队针对性设计三项机制:

  • 高速生成链路:分块因果适配 + 四步一致性蒸馏,支撑长序列连续仿真;

  • 自条件稳定性:以冻结双向教师模型作为参照,开展 Self-Rollout 的世界模型仿真器训练与非对称分布匹配,缓解误差累积;

  • 分层时序记忆:在有界 KV Cache 内分层存储初始场景、稀疏长程历史、稠密近期运动,支撑超长推演。

这套方案最终把双向生成模型改造为因果、Self-Rollout 的世界模型仿真器:超过固定的训练上下文窗口后依旧可以稳定推演,最长支持两分钟以上连续 rollout。

在 RoboTwin 2.0 留出集、单张 A100 环境下,50 步去噪的因果自回归扩散基线速度仅 1.12 FPS,PSNR 26.15;CD 将去噪步数压缩至 4 步,速度提升至 10.04 FPS,PSNR 回落至 24.40;叠加 DMD 后,保持 4 步去噪,PSNR 回升至 24.87,LPIPS 由 0.193 优化至 0.176,相较 50 步教师模型整体提速约 9 倍。

实验结果

EWMBench:综合得分第一

PrimeSim 在 EWMBench 拿到 6.09 综合分,高于 GE-Sim(LTX,5.82)、GE-Sim(COSMOS2,5.79),同时领先 Thinker-WM、EnerVerse-FT、Qwen-RobotWorld、Sora2。分项上,HSD(1.000)、nDTW(1.000)、BLEU(0.570)、CLIP(0.954)、Logics(1.000)均取得第一名。

WorldSimProbe:五项指标三冠

WorldSimProbe 基于 LIBERO 设计五套评测套件,刻意剥离视觉观感、任务成功率的干扰,聚焦仿真器本身的动态保真度。PrimeSim 在全局轨迹覆盖(T2,67.9)、动作来源行为保持(T3,72.3)、交互动态(T5,37.1)三项登顶。

作为策略仿真底座:和传统仿真器高度对齐

实验选取 8 个 OpenVLA-OFT 策略,基线仿真器成功率区间 29.3%–85.0%,在 300 个共享初始状态的设定下,PrimeSim 与 LIBERO 原生仿真器的策略成功率相关系数 r = 0.99,MMRV = 0.000,平均绝对误差 |Δ| = 2.8。作为对照,Wan2.2-FT 对应指标为 r = 0.91、MMRV = 0.041、|Δ| = 8.3。

团队更进一步,直接在 PrimeSim 内部对 OpenVLA-OFT 做 GRPO 强化学习,每轮采样 512 条 episode,共计 200 轮更新。策略在原生仿真器上的成功率提升了 11.5%,在 PrimeSim 内的评估指标上涨了 11.8%。这证明:在该神经仿真器中得到的策略增益,可以有效迁移到传统物理仿真环境。


counterfactual action following demos

少样本本体迁移:新本体仅需 100–200 步微调

中训练赋予模型很强的跨本体迁移能力。适配 xArm 7、ViperX 300、UMI 夹爪分别只需要 200、100、200 步梯度更新;而仅经过通用预训练的模型,在 2000 步更新后仍无法产出可用效果。在 AgileX Piper 的 XVLA 场景中,布料、相机位姿、场景均未出现在训练集内:零样本推演时密集接触的布料形变会快速漂移;在单卡 A100,仅需不到 3 分钟,200 步微调后,布料形变跟随动作指令,多视角状态保持一致。


PrimeSim unseen embodiment few-shot demos. Left side is PrimeSim, right side is Wan2.2 5B


unseen camera and environment zero-shot demos

推理性能:单卡 A100 可达 10.12 FPS

单张 A100-80GB,三视角、单图分辨率 288×384、一次预测 32 帧未来画面、4 步去噪配置下,PrimeSim 实现 10.12 TempFPS、30.35 ViewFPS;吞吐能力约为 GE-Sim 2.0 的 4.5 倍、Ctrl-World 的 11.6 倍。

消融实验:各模块设计均带来明确收益

多视角机制消融显示:仅做帧拼接时 PSNR 仅 16.30;加入视角 token 条件后提升至 23.78;叠加视角内交错注意力后达到 24.56,LPIPS 由 0.58 降至 0.15。

工作小结

团队基于实验得出四点核心结论:

这是一套可复现的工程配方,而非单点模型:「中训练 + 后训练」渐进式流水线,能够把通用视频生成模型改造为可交互机器人世界模型仿真器;

动作保真度可以通过数据规模习得:统一动作表征搭配双路径条件注入,在 22 种异构本体上实现控制信号与运动生成的强绑定;

世界模型具备替代传统仿真器的潜力:和原生仿真策略成功率相关性高达 0.99,在模型内部做强化学习的收益可迁移;

兼顾精度与工程实用性:10.1 FPS 推理速度、超两分钟长时序推演、新本体仅需百级步数微调。

据机器之心了解,PrimeSim 的权重、推理代码、训练代码即将开源。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
涉嫌严重违纪违法,葛大维被查

涉嫌严重违纪违法,葛大维被查

中国基金报
2026-10-31 00:21:48
3场8分6000分!湖人后悔了吗

3场8分6000分!湖人后悔了吗

柚子说球
2026-10-31 21:13:53
美国慌了,日本急了,印度懵了,因为他们察觉,歼-20还不是最顶尖的,中国的实力远不止明面上的这点实力

美国慌了,日本急了,印度懵了,因为他们察觉,歼-20还不是最顶尖的,中国的实力远不止明面上的这点实力

林杰论事
2026-10-29 12:49:47
10月29日深夜,人民日报发声,公布养老金的三个真相,以正视听

10月29日深夜,人民日报发声,公布养老金的三个真相,以正视听

社保小达人
2026-10-31 10:46:42
71年前,毛主席曾大胆预测:中国最晚将会在2030年之前赶超美国

71年前,毛主席曾大胆预测:中国最晚将会在2030年之前赶超美国

无情有思ss
2026-10-31 17:11:43
台北市长辩论,沈伯洋露怯了,蒋万安完胜,民进党大势已去?

台北市长辩论,沈伯洋露怯了,蒋万安完胜,民进党大势已去?

DS北风
2026-10-31 13:42:02
力挺姆巴佩,西班牙媒体:对中国的言论只是在展现风趣幽默

力挺姆巴佩,西班牙媒体:对中国的言论只是在展现风趣幽默

尘语者
2026-10-31 20:53:58
开除军籍、取消3万退休金?敛财骗色?蒋大为身上标签哪个是真的

开除军籍、取消3万退休金?敛财骗色?蒋大为身上标签哪个是真的

卷史
2026-10-31 06:23:27
公路车骑行服,熟女骑行穿搭,利落面料勾勒饱满曲线

公路车骑行服,熟女骑行穿搭,利落面料勾勒饱满曲线

只要高兴就好
2026-09-24 11:58:50
销量暴涨超80%!深圳华强北多个档口营收翻番,有人专程从外地赶来给家人买;网友:捡漏成功

销量暴涨超80%!深圳华强北多个档口营收翻番,有人专程从外地赶来给家人买;网友:捡漏成功

南方都市报
2026-10-31 10:35:48
对姆巴佩的冒犯,我们为何更敢表达“零容忍”?

对姆巴佩的冒犯,我们为何更敢表达“零容忍”?

码头青年
2026-10-31 12:37:25
全世界还没有特效药,这种病毒即将进入高发期!钟南山最新提醒

全世界还没有特效药,这种病毒即将进入高发期!钟南山最新提醒

21世纪经济报道
2026-10-31 00:26:05
绝非简单会面!王毅不去,拉夫罗夫绕飞20小时单刀赴G20外长会

绝非简单会面!王毅不去,拉夫罗夫绕飞20小时单刀赴G20外长会

李遝手工制作
2026-10-31 04:55:00
中甲积分榜:直接升降级球队均已确定;三队力求逃离保级附加赛

中甲积分榜:直接升降级球队均已确定;三队力求逃离保级附加赛

懂球帝
2026-10-31 17:44:02
个人收入要开始严查?2026年起如果账户收入超过这个数,注意下准没坏处。

个人收入要开始严查?2026年起如果账户收入超过这个数,注意下准没坏处。

巢客HOME
2026-10-13 05:10:03
村霸霸占我的鱼塘泡澡,我没跟他吵,悄悄往水里倒了十多斤蜂蜜,第二天天刚亮,全村老少都围在鱼塘边看热闹

村霸霸占我的鱼塘泡澡,我没跟他吵,悄悄往水里倒了十多斤蜂蜜,第二天天刚亮,全村老少都围在鱼塘边看热闹

晓艾故事汇
2026-10-30 08:31:02
中国车主的油费痛感是美国人的6.6倍,油车彻底崩了

中国车主的油费痛感是美国人的6.6倍,油车彻底崩了

虎嗅APP
2026-10-31 02:48:08
印度美人鱼水下表演走红,网友称像恐怖片

印度美人鱼水下表演走红,网友称像恐怖片

峡谷一级保护废物
2026-10-30 15:19:14
陈宇昕哭着恳求大家放过他的父母,说他的父母没有过错

陈宇昕哭着恳求大家放过他的父母,说他的父母没有过错

叒女紫121
2026-10-29 17:54:56
24岁医学女博士曾瑜萱火了:不会看片子,成绩常年倒数,手术方结靠现学

24岁医学女博士曾瑜萱火了:不会看片子,成绩常年倒数,手术方结靠现学

妍妍教育日记
2026-10-30 18:27:53
2026-10-31 22:23:01
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5291401文章数 9890关注度
往期回顾 全部

科技要闻

苦等两年!国行苹果AI下周开测,12月推出

头条要闻

13岁女孩遭胁迫卖淫 涉案5人最大18岁最小15岁均获刑

头条要闻

13岁女孩遭胁迫卖淫 涉案5人最大18岁最小15岁均获刑

体育要闻

决胜时刻三连击!勒布朗绝命补篮价值千金

娱乐要闻

41岁吾恩胃癌七年去世,伴侣也确诊癌

财经要闻

Meta、谷歌、英特尔增发认购者集体浮亏

汽车要闻

钛7上市一年销量突破30万 海外半年销量2.7万

态度原创

教育
游戏
旅游
亲子
艺术

教育要闻

完全糊涂了,绕蒙圈啦

国产二游大逃杀!多款新作密集上线 谁能成为黑马?

旅游要闻

大V“渝”见一江碧水|“开往春天的列车”驶过,一条“会呼吸的飘带”绣上山城

亲子要闻

龙岗妇幼罗利君:守护万千新生,却留下自己的遗憾

艺术要闻

颜文樑 画了幅南湖旭日,2783万!

无障碍浏览 进入关怀版