朱玉可 ECCV 2026 演讲：大模型走过的三级跳，机器人正在重演 | ECCV 2026

为什么预训练之后，必须靠强化学习？

作者丨吴思梦

编辑丨岑峰 幸丽娟

“九”是一个奇特的数字。

但丁用它筑起九重天，通信工程师用它衡量交换机的可靠，航空与核电用它一层层划出安全的边界。九是极限，也是门槛；是圆满，也是最后一道窄门。

到了九月的马尔默，朱玉可把机器人也推进了这套语言：march of nines，向九个 9 进军。

会动的机器人很多，可靠的很少。

一个模型如果在每个任务上只能做到 50%、60%，听起来已经相当聪明。但放进真实世界，它和 0% 其实没有太大区别，因为二者都无法交付。

9 月 9 日，瑞典马尔默。ECCV 2026 的 workshop 日，Malmömässan 与 Malmö Arena 两座场馆，被切成几十个并行的房间。

在其中一间，德克萨斯大学奥斯汀分校的朱玉可（Yuke Zhu）站上讲台。同一天，同城的另一场 workshop 上，斯坦福的吴佳俊也在讲机器人。两个人关心的是同一件事的两端：怎么让机器看懂这个世界，以及看懂之后，怎么让它真正做事。朱玉可要讲的，是后半程里最难的那一段。

如果把朱玉可这些年的研究摊开来看，会发现他一直在跟同一个东西较劲：数据。

在机器人领域，这是个比算法更基本的问题。语言模型可以靠互联网上的海量文本长大，机器人没有这样的运气，毕竟你没办法从网上下载“如何抓稳一个杯子”教程。

四年前，朱玉可提出“数据金字塔”：底层是互联网上取之不尽、却没有动作标签的人类视频；中间是可以无限生成、却始终隔着一道 sim-to-real 鸿沟的仿真数据；顶层是质量最高、也最昂贵的真实机器人数据。

这个框架后来被这个领域反复引用，几乎成了一种共识。

它传达出一个判断：单靠任何一个数据源，都撑不起一个通用的机器人基础模型。

沿着这条线往下走，是他和 NVIDIA 团队一起训练的机器人基础模型 GR00T；是让模型同时预测未来状态与动作的世界动作模型 DreamZero；是用人类动作捕捉数据训练人形机器人全身控制器的 SONIC；是从第一人称人类视频里学习操作的 EgoScale。数据、模型、动作……他的研究像一条不断向下游走的河。

他现在的身份有两个。一个是 UT Austin 计算机科学副教授，机器人感知与学习（RPL）实验室主任；另一个是 NVIDIA 研究总监，GEAR（Generalist Embodied Agent Research）团队的联合负责人。一头在学术，一头在工业，而两边他都把赌注押在同一件事上：机器人能不能真的用起来。

所以这一次，他讲的是数据金字塔再往上的一层：预训练之后，怎么办？

一个模型把数据都吃完了，能做到什么程度？他的回答是：如果每个任务都只能做到 50%、60%，那它和一个什么都做不到的模型，价值是一样的。

机器人真正要跨过去的，不是从“不会”到“会”，而是从“偶尔做对”，走到“几乎不会做错”。

从“能演示”到“能部署”，中间隔着一道极窄的关口：99.999% 的可靠性。他把这个过程叫作“march of nines”，向九个 9 进军。而通往那里的路，他给出的答案只有一个——强化学习。

以下是朱玉可在 ECCV 2026 EMR Workshop 发表的演讲精编稿。AI 科技评论基于现场英文演讲进行了编辑，在不改变原意的基础上，对口语表达和技术术语进行了重新梳理。

▎RL for Robot Foundation Models in Three Worlds

主讲人：朱玉可，德克萨斯大学奥斯汀分校 / NVIDIA

01

大模型走过的三级跳，机器人要再走一遍

大家好，很高兴来到这里。今天我要讲的是机器人基础模型的强化学习，我打算分三层来讲。

这个 workshop 的主题是推理。大家可能都知道，强化学习（RL）是引出大语言模型推理能力的关键技术。但今天我想看看，当我们把它用在具身智能、用在机器人的物理模型上，会发生什么。

我想解决两件事。一是系统性泛化（systematic generalization）：让模型能在开放世界里完成广泛的任务，而不是只精通某一个。二是专业化（specialization）：给它一个任务，把它的表现推向另一个水平。

先说一个类比。今天的大语言模型走到现在的能力，其实来自三次关键创新。

GPT-3 在 2020 年前后，人们想明白了一个好的预训练目标——预测下一个词。于是模型可以消费互联网上的海量文本，把知识积累起来。InstructGPT 在 2022 年，它告诉我们怎么把一个只会预测下一个词的强大模型，变成真正有用的东西，方法是用一小批人类对话去做微调。而 2024 年，RL 带来了重大突破，比如 OpenAI 的 o1——用强化学习、用 RLHF 去对齐模型，还有思维链推理，把一个复杂问题拆成更小的碎片，从而分而治之。

这三件事，其实对应三个层面。理解，大量知识积累发生在预训练阶段；表达，监督微调把积累的知识表达出来，对应"执行任务"；而 RL，它让你能够超越预训练集，从经验数据里学习——也就是试错，从而去推理新的情境。

造一个机器人基础模型，可以画出非常平行的一条线。

预训练阶段，我们需要一个好的目标，能从物理世界里积累知识。我们的研究，以及社区的很多工作，都聚焦在世界模型（world modeling）上——根据动作条件，去预测这个世界接下来会怎么演化。这样模型就能学到物理，获得操作这个世界所需要的物理常识。然后，你需要把这种物理知识转化成一条可执行的策略，这就是动作微调（action fine-tuning）。

但最后，光有预训练和监督微调是不够的。我们需要 RL，来弥合那道部署的差距（deployment gap）。

02

模仿学习的尽头，和那座"数据金字塔"

为什么一定要 RL？

因为今天大量的动作预测，都聚焦在模仿学习（imitation learning）这个目标上。而模仿学习本质上做的事，是分布匹配（distribution matching）：你有一批人类动作的数据，训练模型去模仿这些动作，但模型并不知道"为什么"。当然，如果你在足够广泛的行为上训练，它也许能通过压缩蒸馏出一些知识。

但 RL 追求的是另一件事：最大化长期奖励。为了达到这个目标，模型必须真正理解自己行动的因果性——到底哪个动作，才能带来更高的价值、更高的奖励。这也让模型得以捕捉行动效果背后的因果结构。

大概四年前，我提出过一个概念，叫“数据金字塔”（data pyramid）。到今天它依然相当实用。

机器人为什么和大语言模型不一样？因为我们没有互联网语料那样的奢侈。你没办法从网上下载机器人的控制数据，所以得更有创造力地去找数据源，再按规模把它们组织成一座金字塔。

最底层是人类视频。第一人称视角的视频，数量最庞大，但没有动作标签，好在 YouTube、TikTok 上取之不尽。

中间一层是合成仿真数据。来自物理引擎和图形渲染器，理论上算力足够就能无限生成，但始终存在内容创作上的挑战，而且我们确实看到了一道真实的鸿沟。

最上面一层是真实机器人数据——没有 domain gap，也没有 embodiment gap，训练完可以直接部署；但每台机器人一天只有 24 小时，能采的数据就那么多，而且极其耗时、极其昂贵。

这就是我们用来开发基础模型的预训练数据金字塔。我的实验室在 UT Austin，我们也在 NVIDIA，用它预训练过一个大规模、可泛化的机器人基础模型，叫 GR00T。

但今天我想重点讲的，是预训练之后。

把一个模型的数据喂完，最好的结果是它能完成广泛的行为，成功率还不错。但请你停下来想一想——一个在每个任务上都能做到 50%、60% 成功率的模型，和一个在所有任务上都是 0% 的模型，其实一样没用。因为两者都没法真的派上用场。

要在真实世界里创造价值，它必须开始"向九个 9 进军"（march of nines），把成功率和可靠性推到 99.999%。而RL，才是真正填补这道差距的方式。

这里我不会向你推销某个"一招制胜"的魔法算法——我不认为会存在这样一个圣杯。但我想给你一个系统性的视角，尤其是工业界在规模化时常见的做法：把金字塔各层的工具组合起来，走三步。

第一层，用一组新的奖励模型（reward models）去做 RL 技能，扩展模型能完成的任务范围；第二层，用物理仿真继续提升专项任务，把成功率推到 90%、95%，这样就能在模型还不完美的时候开始部署——当然，你仍然需要人类监督；第三层，在真实设备上跑真实世界的 RL，弥合最后的差距。

这就是今天这场演讲的结构。

03

第一层：把视频生成模型，

变成机器人的神经模拟器

这项研究的起点，是过去几年视频生成模型令人惊叹的进步。

半开玩笑地说，这个社区一直在用"Will Smith 吃意大利面"的测试，给视频生成器的质量做一次气味检查。2023 年最好的模型几乎认不出画面里的人，Will Smith 在用手吃面；到了 2025 年，模型已经能同时生成音频和像素，多模态，效果好得多；而到了 2026 年，一些最新的视频模型质量还要更高。

这类模型，真的已经捕捉到了大量的物理。有些东西传统上极难模拟——比如演化中的液体、可变形物体，往往需要求解纳维—斯托克斯方程的一个耗时近似版本。而现在，我们可以用这类视频世界模型把它们"模拟"得相当好。

但它往往并不了解足够的机器人动力学和运动学。所以我们用一些域内的机器人数据去微调它，告诉它机器人应该长什么样、应该在三维空间里怎么动。一台通用的视频生成器，就这样变成了一台机器人的神经模拟器（robotic neural simulator）。

而我们最终想要的，是一条策略。做法是再加一个扩散（diffusion）分支：这样模型就不只是在扩散未来的画面，而是同时扩散未来的动作——它同时预测未来的状态和动作。我们把这族模型叫作世界动作模型（World Action Model，简称 WAM），因为它同时做世界建模和动作输出。

我们开发的第一个版本叫DreamZero，用医院、厨房、仓库、咖啡店等多样场景里的大量遥操作数据训练。这批数据有个特别之处：任务通常是长程的，一段 episode 要花四五分钟，这反过来鼓励模型去学习语言跟随和推理能力。就在两天前我准备这个报告的时候，我看了一眼榜单，DreamZero 仍然排在第一。

它身上有两个让我们很受鼓舞的性质。一是空间泛化——因为预训练的目标是世界建模而不是语言建模，它对三维结构、对物理常识有更好的理解，当需要泛化到不同的物体位置和几何时，明显强于传统的 VLA 模型。二是数据效率。学一个新任务要快得多，数据效率高大约 10 倍。它还带有一点零样本能力：我们试着让模型"解鞋带"，训练集里从没见过这个任务，但它可能在通用视频的预训练数据里见过这个动词，结果可以直接部署到机器人上，零样本完成，不需要任何训练。

如果你看世界模型最近的进展，我认为存在两个阵营。一边是通用模型，比如 Google 的 Genie，消费海量、多样的数据，但通常工作在低维动作空间里（上下左右），主要用在电脑操作上；另一边是非常专门的模型，为某个特定领域开发，比如机器人推物、线缆操作，在自己领域很强，但泛化到广泛场景的能力很差。

我们想把两者的优点结合起来。而这里的魔法在于：找到一个规模足够大的数据源。我们的结论是：人类经验和人类数据，是唯一能够规模化的方式。因为你能从互联网上获得如此海量、如此丰富的数据——我们用人类视频，把遥操作数据集扩展了近 200 倍。

所以这套动作条件的世界模型，分三步走。

第一步，先在人类视频上预训练。挑战在于：人类视频虽然海量，却没有动作标签，我们得想办法把动作"揭示"出来。过去两三年有一个越来越流行的做法，叫潜在动作预训练（latent action pretraining）：取连续的两帧，把它们编码成一个"动作 token"，去解释到底是哪个动作把第一帧变成了第二帧，你可以把它理解成一个逆动力学模型；然后再学一个前向模型，从潜在动作加上前一帧，重建出第二帧。

两者一起训练，中间那个信息瓶颈就会被逼着形成一片潜在流形，也就是一本潜在动作码本（latent action codebook）。在我们这项工作里发现，一种连续的版本效果更好，能更好地捕捉真实机器人那种连续、高频的控制。

动作学到之后，我们把它和文本嵌入拼在一起，在模型的每一层做密集融合。这么做是为了逼模型去关注动作输入——因为动作的维度比图像输入低得多，不这样强调，很容易被忽略。

第二步，后训练。当我们有了真实的机器人环境，就学一个很轻的投影器（projector），把机器人的动作重新投影到同一个潜在动作空间里。这样一来，机器人就能利用整个主干网络去模拟未来的动力学，而且能跨不同的机器人本体（embodiments）泛化。

第三步，蒸馏。从预训练出来的模型是一个参数量很大的双向扩散模型，几乎不可能实时运行。我们要把它蒸馏成一个极快的、因果的自回归模型，做到 10 到 20 FPS，这样你才能真正做到实时的闭环控制。

有了这台快速的模型，它可以用来评估策略——把它当成仿真器，看每个策略有多好；可以做基于模型的规划；还可以接上一个基础奖励模型，变成一个类似 gym 的接口，这样你就能在仿真里直接做强化学习，完全不需要真实机器人数据。

04

第二层：

把真实世界，搬进一台仿真器

但我不认为光靠神经模拟器的 RL，就能把成功率做到 100%。

原因有两点：它还是有点慢，要在 10 FPS 上跑起来，需要相当可观的算力；而且它仍然有偏差，并不能忠实还原真实世界里的所有接触物理。所以我们还需要一个后续的精细化阶段——物理仿真。

这里有一项代表性的工作，叫SimFoundry。它的想法是：为真实世界的环境，造一份数字副本。

具体来说，它把真实世界的视频，变成所谓的数字孪生（Digital Twins）。一份看起来像真实世界的数字表示，而且不只有三维网格，还标注了物理属性。这样你就可以把它"倒进"仿真里，让正确的物理跑起来。

它还能进一步做增强，生成数字表亲（Digital Cousins）。表亲是什么意思？就是它们长得像孪生，但并不完全一样。它本质上是在用一点精度，换更多的多样性。用这些"表亲"来训练，可以提升策略的鲁棒性，也能泛化到不同的关节物体，比如邮箱、垃圾桶。

SimFoundry 有两个应用。

第一个，是 real-to-sim 评估。我们把同一个策略在真实世界里跑一遍、在仿真里跑一遍，看两者对不对得上。理想情况下，所有点都该落在对角线上——仿真里 72% 的成功率，就意味着真实世界里也是 72%。这当然好得不太真实，但我们看到，不同的模型都呈现出很强的相关性：这里的皮尔逊相关系数超过 90%。这意味着，仿真能够相当可靠地预测真实世界的表现。

第二个，是用仿真生成训练数据，也就是金字塔的中间那一层。流程是四步：先用 SimFoundry 拿到数字孪生；再做数据增强，生成"表亲"；接着用一条数据生成管线——这是我们几年前做的一项工作，它在仿真里用物理和算力，把少量示例放大成成千上万条合成轨迹；最后用这些数据训练模型。

这个模型完全在仿真里训练，然后零样本搬到真实世界，不做任何额外训练。这件事意义很大：当仿真变得足够真实，它就有可能真正弥合 sim-to-real 的那道鸿沟。

你还可以做协同训练（co-training）：把仿真数据和真实数据混在一起训练，因为真实数据比仿真数据小得多，需要做一些采样上的负载均衡。我们展示了，协同训练能带来更强的泛化能力。再往外一步，还能扩展到多任务设定——不仅是训练过的任务变好，有时候连没训练过的任务，性能也会提升，知识确实在从后训练过的任务迁移到没训练过的任务上。

顺便说一句，现在大模型进步太快了，有人上传一张图或一段视频，就能直接生成三维相机轨迹。社交媒体上有人说"学术界现在完蛋了"，但我不这么看。我们终于可以让仿真再次伟大了（make simulation great again），因为重建真实场景变得容易多了。我简直等不及把这些新模型插进我们的管线里，做出更好的重建，然后去啃机器人真正的硬骨头，让仿真变得更有用。

05

第三层：真实世界，

是最后一公里的配方

接下来是第三个词：真实世界的奖励。

在机器人领域，如果你真的想认真做这件事，就必须去碰真实的硬件，这没有捷径。因为只有真正碰过，你才会理解仿真和神经世界模型里那些没有被建模的挑战与限制——比如延迟约束，比如硬件。所以，真实世界的经验和真实世界的学习是必须的，它才能最终弥合那道差距。

我之前说的“向九个 9 进军”，意思其实是：你每往这个量级上加一个 9，难度都是指数级上升的。而加一个 9 所需要的工作量，等于此前所有工作量的总和。

说真的，当我还只是个做学术的人时，我并没有真正想象过这一点。但当你看到机器人基础模型在真实世界里部署，你会发现这非常真实。真实世界，才是最后那味真正把一切推向“最后一公里可靠性”的配料。

那么具体需要什么？我们想要高成功率，同时也想把人工投入压到最低，让这套配方能够更好地规模化。解决方案就是通过真实世界 RL，让模型实现某种自我改进。

先看一个例子：一个 GPU 插入任务。这里展示的，是一次不停歇、连续 24 次试验的过程。它的成功率在 99% 以上。

背后的配方有三件事。第一，先用残差 RL（residual RL）学一个专门模型——它非常数据高效，目标是把单一行为、单一技能推高到 90 多甚至 99。第二，用它来生成恢复数据（recovery data）：先把基础策略跑起来，让这个不完美的策略跑偏一点，然后运行那个专门策略，把策略拉回正轨，恢复并完成任务——这样你就得到了一个更大、更多样、覆盖范围更广的数据集。第三，用这个数据集训练一个 VLA 模型，让它跨任务泛化。

结果是，我们能把一组任务的性能推进到 90 多，甚至 99。而且，后训练一个参数量很大的基础模型，还有一个额外的好处：你可以在不损失模型泛化范围的前提下，提升它解决特定任务的性能。也就是说，模型在后训练之后依然是泛化的，它依然能完成预训练阶段学到的广泛任务。而且通过后训练，你不仅提升了后训练过的那条路径上的性能，连从未后训练过的路径上的性能，也跟着提升了。

这是一个相当不错的经验观察。

06

下一步：让 agent 接管整个流程

最后，我想稍微往前看一眼。

我讲的这三层，现在基本上还是手工的：需要人来编排——分配算力，决定什么时候从一个阶段推进到下一个阶段。而我认为，下一步是让 agent 来做这件事：用 agent 把所有这些工具包起来，配上一套 harness，从而自动化整个"机器人自我改进"的工作流。

这里有一个最近的工作，来自我们团队，将在今年的 CoRL 上发表。它做的事情，是一个完全自主的机器人实验室。

人只需要做一件事：去教机器人一次，比如把插销插进孔里。然后，它就会建立一个自动研究循环（auto research loop）——用 Codex agent，自主地学习、自主地调整、训练策略、评估不同的方案，并通过分析结果来不断改进。

agent 会自己写代码，去构建 RL 环境，以及不需要人工重置（reset-free）的环境。它学会了如何自己把环境复位，从而能够持续地跑重复试验，完全不需要人类监控。另一方面，另一个 agent 在阅读文献——它会去 arXiv 上读那些最新的 RL 论文，把知识蒸馏出来，然后提出策略：怎么改变 RL 的做法，怎么设计一个更好的算法变体，从而提升性能。分析完结果之后，继续循环。

它在8 个机器人工作站上连续跑了好几天。最终产出的，是一套可以部署到复杂任务上的配方。论文已经放在arXiv 上了。

07

Q&A

（受时间限制，现场只提问了一个问题。）

▎Q：把动作策略条件化在密集的视频帧上，和条件化在某种关键帧上——比如某个 π 系列模型的做法——这两者有什么区别？

这取决于你想从中学到什么。他们把它叫作prompt physics，有时候也叫physics prompt。它可以是视频，也可以是一个关键帧，甚至可以抽象成语言。

你给的规格越高层，你做的就越像是"任务规格说明"（task specification）——你在告诉机器人要做什么，但没有告诉它怎么做。而如果你给的提示更密集，比如视频、比如一个任务的演示，那就有可能通过“展示怎么做”，去教机器人一项新的技能。谢谢大家。

为了方便大家抱团交流、互通会议消息，我们专门建了ECCV 2026参会交流群！进群你会解锁这些「福利」

• 会议情报站：投稿 DDL、格式规范、评审进度……关键节点第一时间送达，再也不怕错过 deadline，投稿准备稳稳的。

• 同行茶话会：天南海北的同行都在群里，聊心得、碰思路、攒人脉，科研路上我们同行。

• 前沿补给站：最新研究成果、热点方向实时同步，结合会议主题帮你捋清投稿脉络，给论文灵感加满油。

• 现场后援团：（会议期间专属开启）：到了会场也不用慌——

  路线导航：场馆分布、报告厅怎么走，群里随时问；

  议题共读：热门 session、Keynote 现场探讨，错过也能追；

  Poster 汇编：现场海报精华整理，一键收藏不遗漏；

  约局广场：约饭局、采访局、交流局……想唠嗑、想合作、想面基，群里发起就成。

进群传送门：扫码进群或添加微信Qvv0909777，备注：ECCV + 单位/学校+姓名+方向。

搞科研/搞技术，信息差很重要。

来，一起快人一步！

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。