英伟达机器人开源撞上Fable 5.2发布！Jim Fan：不是寒冬是夏天

henry 发自 凹非寺
量子位 | 公众号 QbitAI

全体起立！时隔一年半，英伟达的新一代机器人基础模型终于来了！

刚刚，在今年奥斯汀举行的CoRL大会上，英伟达GEAR领导朱玉可和Jim Fan，搬出了新一代世界动作模型——

GR00T 2。

在时长1分半的官方demo中，GR00T 2可以拿剪刀裁标签、安装显卡、擦火柴、切香蕉做早餐、擦咖啡、收桌子、卖爆米花。

看下来，几乎是样样全能。从双手精细操作到全身移动，模型的任务范围几乎覆盖了机器人能力的各个方向。

而且，据朱玉可透露，GR00T2的模型、数据、仿真环境和数据采集硬件也将陆续开源。

目前，10万小时的人类数据已经率先开放。

咱一人来一句英伟达nb，不过分吧？

GR00T 2：扩展机器人基础模型的泛化、灵巧性与适应能力

作为一款世界动作模型，GR00T2能够同时预测未来画面与机器人动作。训练时，它把“世界将如何变化”和“机器人应当如何行动”放在一起学习。

发布会上，Jim Fan将其定位为一个反应够快、能够本地运行，同时既容易通过示范教会，也容易被推理模型引导的System 1（快系统）物理技能模型。

而放回GR00T 2内部，这就是朱玉可在推特上说的Xadapt跨本体适配。

简单来说，过去要教会一台机器人完成新任务，往往需要针对它的身体形态和控制方式，重新采集一批机器人示范数据。

X-Adapt则试图打破这层限制，人类或手持设备示范过的技能，可以直接迁移给没有练过这项任务的机器人。

具体来看，英伟达展示了三条路径。

1、从人类示范迁移到机器人。

研究人员佩戴动捕设备，示范如何放置、润湿滤纸。随后，双五指手Dexter就能完成同一任务。

整个过程中，没有采集该任务的机器人遥操作示范。仅凭人类示范，Dexter在20次试验中的成功率就达到65%。

2、从手持夹爪迁移到机械臂。

研究人员使用手持UMI夹爪，示范如何组装玩具自卸卡车。模型学习后，再将这项技能迁移到YAM机械臂上。

尽管UMI与YAM的夹爪形态不同，YAM仍能端到端完成最长约四分钟的组装任务，成功率达到60%。

同样的迁移路径，还被用于传送带分拣与抛掷、操作板拆解等任务。

3、从可穿戴外骨骼迁移到机器人灵巧手。

研究人员戴上DexUMI手部外骨骼，示范制作香蕉酸奶、舀取麦片。

模型利用这些数据微调后，机器人就能接手完成早餐任务，同样不需要额外采集这项任务的机器人遥操作示范。

总结来看，这三条路径指向同一个变化：同一项技能，不必总是在每一种机器人上重新示范一遍。

当然，跨本体迁移并不意味着完全不需要机器人数据。

在人类动捕和UMI路径中，目标机器人仍会提供与具体任务无关的数据，让模型熟悉自身的身体结构、运动方式和控制空间。新任务的示范，则可以来自更容易采集的人类操作。

这也是GR00T2技术报告所强调的方向，扩展机器人基础模型的泛化、灵巧性与适应能力。

迁移之外，GR00T 2也展示了通过少量机器人示范提高执行精度的能力。

在另一组Dexter-50评测中，模型的零样本平均成功率为40%；每项任务提供一次示范后，成功率提高到71%；提供五次示范后，则达到95%。

更关键的是，这五次示范合计不足三分钟。随后，只需要在单张RTX5090上进行约30分钟的LoRA微调，就能得到适配对应任务的模型。

在实际调用方面，英伟达也紧跟潮流，开放了WAM API。

通过API，推理模型可以负责拆解任务、检查执行进度，再将具体的物理技能交给GR00T2执行。

换句话说，GR00T2不仅可以自己完成技能，还能成为上层智能体调用的物理执行模块。

那么，问题来了：英伟达，你咋这么nb？

40 万小时人类视频，怎么变成机器人的动手能力？

咱一个一个来说。X-Adapt背后，首先是一座数据金字塔。GR00T2的预训练混合了三类数据：

402,730小时人类第一视角视频；

10,184小时手持UMI演示，覆盖2,897项任务；

23,500小时机器人遥操作数据。

不难看出，人类视频的规模远大于另外两类。这意味着，机器人的学习材料不再局限于人工遥操作采集的动作轨迹，而是进一步扩展到大量真实的人类活动：

人怎样拿起工具、移动物体、完成装配，以及一次动作之后，周围场景会发生怎样的变化。

UMI和可穿戴设备负责补充更直接的操作轨迹，机器人遥操作数据则帮助模型学习不同身体对应的运动与控制方式。

为了验证人类视频究竟能不能帮助机器人干活？团队还专门做了一组规模实验。

他们分别使用不含人类视频、1%、10%和全部人类视频的数据训练模型，再在72项Dexter任务上评估。

结果显示，随着人类视频数据增加，真实机器人上的平均任务进度从50%提高到70%。

这组实验给出了一个相当直接的答案：大规模人类经验，不只是丰富模型的视觉知识，也能转化成机器人在真实任务中的执行进展。

为了吃下这些数据，在模型方面，GR00T2则接收语言指令、多视角相机画面和机器人状态，通过同一个扩散Transformer，联合预测未来视频与动作序列。

最后，围绕GR00T2，英伟达还在把数据采集、处理、训练、仿真验证和实际部署接成一套完整工具链。

采集端，是UMI、DexUMI等设备。它们让研究人员直接记录人类操作，尤其是那些传统遥操作很难自然完成的灵巧动作。

数据端，包括Human-1M与Flora。前者提供人类第一视角视频，首批10万小时子集已经公开；后者支持数据整理、描述性标注和自动评估。

仿真端，则有SimFoundry。它可以从真实场景重建任务环境，用于策略测试、数据生成和技能开发。

执行端，则由不同模型和组件分工完成。

ASPIRE将机器人模型与代码技能组织起来，支持任务执行和错误恢复。面向人形机器人，Turbo使用更轻量的网络和更紧凑的视频表示，降低预测开销。

在G1的机载Jetson Thor上，Turbo单次预测耗时为124毫秒；SONIC则运行在另一块Jetson Orin上，以50Hz进行全身控制。

前者生成运动计划，后者把计划转化为持续的身体动作，让机器人在伸手、弯腰和搬运时维持协调。

这样一来，开发者拿到GR00T2后，不仅能调用模型本身，还能沿着配套工具链采集自己的数据、适配自己的任务、在仿真中验证技能，最后将其部署到真实机器人上。

这也是英伟达此次发布更值得关注的地方：它开放的已经不只是一款机器人模型，而是从数据采集、模型训练到技能调用和实际执行的一整套开发体系。

One more thing

在CoRL的现场演讲里，Jim Fan说：

“Astra没有打碎我们的梦想，它打破的是我们的围墙。”

“这不是寒冬，这是机器人的夏天。”

虽然话是这么说不错，但今天发布的Claude Fable 5.2，在RoboDojo上的表现也着实有点，来给机器人学上课的意思。

在Anthropic公布的RoboDojo Sim仿真双臂测试中，采用相同运行框架、各模型最高可用推理强度，Fable 5.2得分 64.9%，GPT-6 Astra为29.8%。

要不，下次「后会友期」，大模型队和具身模型队也来报个名？

参考链接
[1]https://research.nvidia.com/labs/gear/gr00t-2/
[2]https://research.nvidia.com/labs/gear/gr00t-2/assets/gr00t2_whitepaper.pdf