英伟达发布机器人基模GR00T 2，12月开源，Jim Fan：机器人要有自己的System 1 | CoRL 2026

GR00T 2及其Turbo版本的模型权重，将在12月开放。

作者丨张 驰

编辑丨岑 峰

一台机器人正在英伟达的实验室里，更换GB300服务器的内存模块。它用灵巧手取出旧模块，再将新的模块插入对应位置，完成了一系列精细操作。

英伟达GEAR 团队联合负责人Jim Fan开玩笑说，GR00T 已经开始维护用来训练自己的数据中心了。

“现在大家管这叫递归式自我改进（RSI）。”

在美国时间11月9日，在美国奥斯汀举行的机器人学习大会CoRL 2026上，Jim Fan发表了主题演讲，正式介绍英伟达新一代机器人基础模型GR00T 2及其配套技术。

在演讲中，Jim Fan展示了一系列机器人自主执行任务的案例：更换服务器部件、处理快递包裹、完成化学实验、组装玩具、清理实验室、擦燃火柴。

英伟达试图解决的是一个更根本的问题：如何让机器人既具备快速、灵活的物理执行能力，又能借助大模型进行复杂推理、规划与纠错。

与此同时，Jim Fan还公布了覆盖机器人模型、仿真环境、智能体框架、数据集乃至硬件设计的开源计划。其中，GR00T 2及其Turbo版本的模型权重预计将在今年12月开放。

配合这次发布，GEAR团队另一位联合负责人，也是CoRL 2026大会主席的朱玉可（Yuke Zhu）也在 X 上发了一组推广。他说到，GR00T 2的代码计划12月发布。

01

机器人不只要执行动作，

还要学会预测未来

演讲一开始，Jim Fan谈到了一个正在机器人领域引发讨论的问题：随着前沿推理模型的能力不断增强，机器人还需要专门的System 1模型吗？

在这一划分中，System 1主要负责快速、连续的感知和动作执行；System 2则承担复杂推理、任务规划与决策。

Jim Fan认为，机器人对System 1的需求并没有消失。相比语言任务，现实世界中的机器人往往需要更快的反应、更低的延迟，以及不依赖远程连接的本地执行能力。

因此，问题应该是，“什么才是一项好的机器人技能”。

他提出了两个标准：一是能否通过示范轻松教会机器人，二是能否通过推理，灵活引导和调整机器人的动作。

GR00T 2正是围绕这两个目标设计的。

与主要根据视觉和语言输入，直接预测机器人动作的传统视觉-语言-动作模型（VLA）不同，GR00T 2被定位为世界动作模型（World Action Model，WAM）。

这一模型不仅预测机器人下一步应该采取什么动作，还会同时预测动作执行后，周围环境将发生什么变化。

其输入包括语言指令、多视角摄像头画面和机器人自身状态。模型通过扩散架构，在同一次生成过程中，联合预测未来视频帧和机器人动作。

换句话说，机器人会先在模型内部“想象”接下来可能发生的物理变化，再据此执行动作。

Jim Fan展示了一段模型生成的视频，是模型对机器人接下来所见画面的预测。

这种设计使得模型能够在学习动作的同时，建立对物理世界变化的预测能力。

为了满足机器人端侧部署的需求，英伟达还开发了GR00T 2 Turbo。该版本采用约20亿参数的联合视频与动作模型，并通过更高效的视频编码减少计算开销。

演讲中，Jim Fan特别强调了机器人长时程操作面临的困难。

例如，化学实验中的溶解、过滤以及整理实验台，可能包含20多个连续步骤，整个流程持续3分钟甚至5分钟以上。

每一步都有可能产生误差，而误差又会影响后续操作。

因此，机器人不只要能完成某个动作，还需要在较长时间内维持任务的连贯性和执行精度。

英伟达同步公布的研究资料显示，在50项目标机器人未接受过专门训练的任务中，GR00T 2有40项至少成功执行过一次。按全部测试计算，模型的零样本平均成功率为40%；每项任务增加一次示范后提升至71%，增加五次示范后则达到95%。

这些结果表明，GR00T 2的一个重要方向，是减少机器人学习新任务所需的专用训练数据。

02

只看人类示范，机器人就能学会新技能

除了动作预测，GR00T 2的另一项重点能力，是X-Adapt，即跨形态技能迁移。

其基本思路是，在更容易采集数据的环境中学习操作技能，再将其迁移到真实机器人身上，不一定需要目标机器人亲自演示同一任务。

Jim Fan展示了多种不同的数据采集方式。

第一种是直接使用人类操作数据。

在化学实验案例中，研究人员通过佩戴传感设备和摄像头，记录人类完成实验操作的过程。随后，模型仅使用人类示范数据进行相关任务的学习，再将技能迁移到具有不同手部结构的机器人上。

演示中，机器人能够完成放置滤纸、润湿滤纸等精细操作。

第二种方式是使用UMI等手持式数据采集设备。

研究人员通过这些设备演示组装、抓取和投掷等动作，模型再将技能迁移到真实机械臂上。

即使数据采集装置和目标机器人的夹爪结构不同，机器人也能在没有该任务专用示范的情况下执行相应操作。

第三种方式则进一步面向灵巧手。

英伟达设计了名为DexUMI的可穿戴外骨骼设备，使其机械结构与机器人手部关节形成对应关系。研究人员佩戴设备进行操作时，能够直接采集更细致的手指运动数据。

Jim Fan展示了机器人处理香蕉、准备食物等任务。由于采集设备与机器人手部动作具有较好的对应关系，模型得以学习较为细腻的抓取、扭转和双手协同动作。

除了人类演示，仿真环境也是X-Adapt的重要数据来源。

英伟达使用Isaac Lab等工具，在仿真中通过强化学习生成操作轨迹，再使用这些轨迹训练GR00T 2，并将相关技能迁移到真实机器人。

这一思路试图降低机器人训练对昂贵真机数据的依赖。

对机器人基础模型而言，数据采集长期是制约模型规模化的重要因素。与互联网中的文本和图片不同，机器人操作数据往往需要实际硬件、人工示范和专门的采集环境。

如果人类视频、手持设备数据和仿真数据能够被同一个机器人模型有效利用，机器人训练的数据来源就有望进一步扩大。

03

System 1与System 2结合，

让机器人学会自我纠错

在演讲的后半部分，Jim Fan进一步展示了GR00T 2与前沿推理模型结合的工作方式。

他将这一方向称为“统一认知”（Unified Cognition）。

在这套架构下，System 1负责完成具体的物理动作，System 2则负责理解任务、进行规划、监控执行过程，并在必要时介入。

两者通过不同接口进行协作。

第一种方式是视觉引导（Visual Steering）。

例如，当机器人被要求将桌面上的物品按照可回收垃圾和厨余垃圾分类时，推理模型首先分析场景，识别各类物品，再将操作指引直接标注到摄像头画面上。

GR00T 2通过WAM API接收这些视觉指引，完成相应的抓取和放置动作。

这实际上将复杂的语义推理与底层物理执行进行了分工。

机器人不需要依靠一个动作模型同时完成所有复杂推理任务，而可以让更强的推理模型负责理解任务和确定目标。

第二种方式是执行过程中的实时干预。

Jim Fan展示了一个化学实验案例：机器人需要对样品进行规定次数的操作，随后使用显微镜进行观察。

在自主执行过程中，System 1模型有时可能在重复动作中丢失计数信息。

此时，推理模型Astra能够根据摄像头画面和机器人本体状态，对操作进行监控，并在达到规定次数后及时介入，阻止机器人继续重复动作。

随后，Astra还连接到显微镜画面，指导机器人调整显微镜的旋钮，使观察对象达到清晰状态。

在这个过程中，GR00T 2仍然承担大部分动作执行工作，推理模型只在必要时提供修正。

第三种方式，是通过智能体框架管理和调用不同技能。

英伟达展示了名为ASPIRE的框架。它能够通过与仿真环境交互，学习和积累可复用的机器人操作程序，并在执行任务失败时调用相应的恢复策略。

在一个玩具飞机组装案例中，GR00T 2最初将机翼装反。ASPIRE随后调用恢复技能，调整错误的装配状态，再将控制权交回GR00T 2，让其继续完成任务、

这种机制的意义在于，机器人不必因为中间出现一次错误就重新开始整个任务。

据英伟达发布的实验结果，在结合智能体进行执行监控和错误恢复后，机器人对三类玩具进行了共300次连续组装测试，其中292次成功。

Jim Fan认为，单独依靠推理模型或者动作模型，都很难实现这样的任务表现、

在他看来，未来机器人系统的重要方向，并非简单地让System 2取代System 1，而是让推理和执行形成紧密配合。

04

让人形机器人在本地运行模型

System 1模型的另一项关键要求，是能够在机器人本地运行。

Jim Fan在演讲中展示了GR00T 2 Turbo与SONIC全身控制器结合的效果。

这套系统被部署在宇树G1人形机器人上，用于执行需要手部操作和身体移动相配合的任务。

演示中，机器人能够处理实验室地面的清洁工作，也可以在咖啡馆场景中端取物品、清理桌面。

在技术实现上，GR00T 2 Turbo负责预测动作并生成全身运动指令，SONIC则负责将这些指令转换为实际的关节控制。

两者分别承担高层运动规划和底层全身控制，使机器人能够在移动身体的同时完成操作任务。

根据英伟达的技术资料，GR00T 2 Turbo能够在Jetson Thor上运行，单次预测延迟约124毫秒；SONIC全身控制器则以50Hz的频率执行动作控制。

不过，这并不意味着所有复杂推理均在机器人端侧完成。英伟达目前采取的是分层方案，将高速动作执行保留在本地，而复杂任务推理仍可交由外部模型处理。

这种分工既能利用前沿大模型的推理能力，也能满足机器人对实时性的要求。

05

从模型到硬件，一整套机器人开源计划

在演讲中，Jim Fan说到，前沿推理模型的进步没有让机器人研究失去意义，反而降低了机器人开发的门槛，并提高了机器人系统能够达到的能力上限。

“机器人研究不再是一项精英运动。”

随后，他集中介绍了英伟达正在开放的一系列机器人技术。

首先是GR00T 2和GR00T 2 Turbo。

Jim Fan宣布，两个模型的权重以及X-Adapt相关技术方案，计划于2026年12月开源，使研究者能够拥有可自行部署的机器人System 1模型。

其次是仿真工具SimFoundry。

该工具旨在通过真实视频、三维重建和物理验证，将现实场景转换为可用于机器人训练的仿真环境。

Jim Fan表示，SimFoundry支持粒子物理、关节物体等复杂场景，可与推理模型结合，以提高仿真环境的构建效率。按照演讲公布的计划，其1.0版本现已开放，2.0版本预计将在2027年初推出。

第三项是智能体框架ASPIRE。

它能够通过反复探索、程序生成和错误修复，形成不断扩展的机器人技能库。

与依靠梯度下降持续更新模型权重的方式不同，ASPIRE可以通过积累和改进程序化技能，实现另一种形式的持续学习。

第四项是数据标注模型套件Flora。

Flora面向大规模机器人训练数据的处理，能够生成视频描述、任务进度信息及奖励信号，为机器人基础模型训练和强化学习提供数据支持。

Jim Fan称，如果在本地部署Flora，其相关数据处理成本可以比使用Astra低约125倍。

第五项是Human-1M数据计划。

Jim Fan宣布，英伟达开放了其中首批10万小时高质量第一视角人类视频数据，希望借此扩大机器人训练可以利用的数据规模。

最后，英伟达还开放了部分机器人数据采集硬件的设计方案，包括UMI、DexUMI等设备。

研究人员不仅可以获取模型和数据，还能够利用公开的设计资料自行制作部分数据采集设备。

从模型、数据、仿真到硬件设计，英伟达正试图将机器人开发过程中的多个环节整合为一套相对开放的技术体系。

06

从“机器人寒冬”到“夏天即将到来”

演讲最后，Jim Fan播放了一段机器人自主完成精细操作的视频。

画面中，机器人用手指擦燃一根火柴，并利用火焰点燃实验装置中的灯。Jim Fan特别强调，这段演示采用真实机器人，以正常速度、不剪辑的方式自主完成。

他将火焰称为“希望之火”。

他在开场时，调侃机器人研究者面对前沿大模型时的焦虑，称“Winter is coming”（凛冬将至），但在结束时认为，“Summer is coming”（夏天即将到来）。

国际机器人顶会 CoRL 2026 即将召开，欢迎参会的研究者、学生，以及关注 AI 前沿进展的读者加入我们的交流群。

在这里，你可以认识同行、交流研究，分享招生信息、科研合作、约饭、投稿、组队参会等，寻找潜在的合作伙伴。

大会期间，我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。

会场见，也在群里见。

进群传送门：扫码进群或添加微信szhsn610，备注：CoRL+单位/学校+姓名+方向。

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。