对话MIT叶葳蕤：在螺旋上升的具身智能浪潮中，寻找更本质的解法

在麻省理工学院（MIT）青年学者叶葳蕤的观察里，AI 研究从不是一条直线，它往往要经历无数次螺旋上升，从理论走向应用，撞到瓶颈后回到理论，再从新的高度出发。没有哪种方法永远最优，关键是“在合适的时候做更重要的事”。

2021 年，还在清华大学交叉信息研究院读博的叶葳蕤主导提出强化学习算法 EfficientZero，智能体只用走 10 万步、花费两小时，就可在同一基准上接近人类平均水平，几乎重写了业界对样本效率上限的认知。

此后他继续迭代：V2 版本把这套方法从虚拟世界的游戏推广至真实机器人操作；再往后，他开始探索如何把不带动作标签的普通视频直接转化为机器人可用的训练数据，希望机器人可以学得和人一样快。

从清华毕业后，叶葳蕤加入 MIT 学习与智能系统组（LIS Group），成为该组目前唯一的博士后研究员。2026 年 7 月，他入选红杉中国联合《麻省理工科技评论》中国发布的 25 位 25 岁以下 AI 创新青年先锋名单。

从提交报名材料到今天，他关心的问题正在悄然发生转变。

过去，叶葳蕤会在具体场景里训一个简单的模型，在其上反复推理几十次乃至上百次。而现在他想做的，是探索一种更通用的生成式世界模型。不过，在他看来，背后的本质问题始终是一致的：“这些工作实质上都在做推理和规划……我非常相信，推理是一种潜力巨大的基础能力。”

在这次将近两小时的访谈中，我们准备的提纲几乎没有派上用场。叶葳蕤更愿意从第一性原理出发，站在一个刚从算法研究转向具身智能落地、又开始重新回到底层算法的研究者视角，讲述强化学习如何变成“后训练工具”、为什么单纯 scaling 专家数据的路线注定会撞墙。在他看来，世界模型的下一步是从“看起来真”走向“真的能用”，唯有如此，才能提供机器人真正需要的结构性泛化和推理能力。

叶葳蕤判断，具身智能正在进入新一轮“螺旋上升”的节点：VLA（视觉-语言-动作模型）路线逐渐见顶，行业必须重新回到更底层、更根本的算法探索。“如果堆数据就能解决，那自然不需要重新定义问题。但现在解决不了了。”他告诉 DeepTech，我们或许应该“退回去，重新定义问题本身”。

以下是 DeepTech 与叶葳蕤的对话实录，经编辑整理。

一个被 AlphaGo 改变的选择

DeepTech：你本科在清华软件学院，博士阶段在交叉信息研究院跟高阳教授做强化学习。是什么契机选了这个方向？

叶葳蕤：我了解 AI 其实是从 AlphaGo 开始的，我觉得周围很多同学也是。当时最火的方向是计算机视觉，图像分类、分割、检测……但你会发现，这些工作本质上是在复现人类的一些基础能力。而强化学习展现出来的东西完全不一样，无论是下棋还是打游戏，它是一种“超人”的能力。

当时正好了解到高阳老师要回国，到交叉信息研究院做教授。我跟他聊了一次，觉得非常契合，他做的东西就是我想做的。虽然当时强化学习相比视觉是一个小众方向，但我觉得它或许代表了一种全新的可能性。

DeepTech：当时强化学习领域的整体现状是怎样的？

叶葳蕤：那个时候做强化学习，最早其实是想在机器人上用，但一直不太行，所以大家都在仿真环境里做。主流就两类：一类是在非常简单的仿真任务上，比如经典的倒立摆，两根棍子连在一起，让它转起来不掉下来；或者用几根棍子搭成的猎豹让它跑；另一类就是游戏，Atari、围棋这些。

当年做强化学习的思路更多是在一个具体的领域内，从零开始让智能体慢慢变强。但后来大家逐渐发现：这种方法虽然能达到很好的效果，但需要的数据量太大了。因此，建立在过去三四年的大量试错经验上，现在做强化学习的思路已经变了，通常会从一个还不错的基础出发，通过后训练提升上限。

DeepTech：所以强化学习现在更多是用在后训练？

叶葳蕤：取决于你要做什么。如果你的场景允许大量采集数据，比如纯仿真环境，用 Isaac Lab 这类工具，十个小时就能搞到十亿条数据，那从零开始用强化学习训练，再做 sim-to-real，现在还是很多人在做的。

但如果你要在真实世界中用强化学习学东西，没有人会尝试从零开始，因为你不可能在真实环境中采集到十亿量级的数据。同样，做大语言模型的后训练也不可能从一个随机的起点出发。所以核心是你要做什么任务。

现在具身智能比较主流的思路是：先通过 scaling 做模仿学习，然后用强化学习做后训练。

DeepTech：强化学习在某些场景下还是不可替代的？

叶葳蕤：对。用在后训练是一个方向，另一个是在仿真中训一些底层的控制策略——你仍然能采集到大量数据，尤其是高维控制场景，比如灵巧手和人形机器人。一旦涉及非常高维的控制，强化学习在完成任务上还是非常强的。有些任务用模仿学习去学的话，需要采集非常多的专家数据，成本很高。强化学习的优势在于它是一个自我改进的过程，不需要人类示范。

我个人认为，广义的强化学习更像是一种试错式的在线学习，通过跟环境交互，不断提升对环境的理解和完成任务的能力。现在大语言模型领域讲的自我进化、递归改进，本质上也是从离线学习慢慢转向在线改进。因为在线学习中，你每次接触到的数据可能是未预料到的，它更能暴露你的真实能力边界。

从 Atari 到真实机器人：一段被“应用潮”淹没的算法时代

DeepTech：你之前一直在 Atari 这类仿真环境里打磨算法，后来去加州大学伯克利分校（UC Berkeley）才接触真实机器人。那段经历是不是一个转折点？

叶葳蕤：影响很大。但先说一个背景：2019 到 2022 年那段时间，做纯算法研究的人还是很多的，因为你很难找到能在真实场景中跑通的方法。那时候在真机上做强化学习，泛化性非常差，sim-to-real gap 非常大，所以大家也不会刻意强调这件事。当时的重心是怎么设计更好的奖励函数、怎么提升样本效率、怎么设计更好的算法。只要你在公认的基准任务上达到很好的效果，社区的认可度就会很高。

就像 PPO（近端策略优化），一开始也没做很多任务，大家也没想到它能在大语言模型上发挥作用。这些算法之所以能泛化，恰恰是因为强化学习环境本身的不确定性很强，模拟器给你的反馈很多时候是不确定的，初始状态也有非常多的变化。如果你的算法能在这种环境下表现优异，它一般具备比较强的泛化性。

后来随着 scaling 变得越来越重要，大家发现用大规模专家数据做模仿学习，在真实世界上展现出来的泛化性能做到以前强化学习做不到的事。这时候重心就转移了：既然真实世界的一些任务有了解决的曙光，大家就开始尝试把各种算法部署到真实环境中。

DeepTech：从做算法到做应用，你个人感受到的转变是什么？

叶葳蕤：做应用和做算法的区别在于：做算法你要把问题的定义搞清楚，你的形式化框架定义清楚；做应用你要把你要做的事情定义清楚：你需要什么样的感知，在什么场景上做。

大概 2023 到 2024 年，无论是在高阳老师组里还是在伯克利，可能七八成的人都转向了纯粹的机器人学习，不再去碰偏理论的算法。

DeepTech：但到 2026 年，我们发现可能又在回到算法？

叶葳蕤：对。大家发现做 VLA、做世界-动作模型（world-action model)，scaling 似乎碰到了一些瓶颈，主要问题还是数据，你无法再更上一层楼了。这或许意味着需要一些更加贴近真实场景的、更底层的算法，无论是强化学习、深度研究（Research）还是别的。尤其在学术界，我觉得又回到了某种程度上的百花齐放。

我觉得整个领域的研究就是螺旋上升的。现在刚过去两年，VLA 有一些局限，一批人又去搞 world-action model；可能过不了一年，大家又发现它也有自己的问题。没有哪一种永远更好，关键是在合适的时候做更重要的事。

世界模型能弥合多少？

DeepTech：做 sim-to-real 的时候，可能会出现与物理规律相背离的失真情况，你们是怎么解决的？

叶葳蕤：这个问题很重要。我们研究 sim-to-real，是想探索有没有更好的算法，但做到之后，发现它存在物理感知不准等问题。

所以现在大家可能更关注的是，怎么让世界模型具备更强大的物理理解能力、让它的预测更加真实、在真实世界中做后训练等。

现在有很多人在尝试不同的方法，比如纯视觉的 sim-to-real gap 比较大，那就通过三维方法让模型更好地预测场景；也有人尝试通过一些隐空间的方法，像 JEPA（联合嵌入预测架构）那样，不学纯粹的像素预测，而是学更底层的因素；包括现在用视频生成到操作任务再到真实部署，整体也是类似的思路。

DeepTech：这些方法是终极方案，还是短暂缓解？

叶葳蕤：我觉得可能都只是短暂的缓解。真正的解决可能还得回到理论、架构和数据三者缺一不可。我感觉现在大家对算法的重要性在过去两年是非常低估的，以前甚至有很多人觉得，数据上来了，什么算法都不重要了。

初期可能确实是这样，因为堆数据带来了质的飞跃。但对具身智能而言，数据增长的上限远远低于大语言模型，至少低两个数量级。在边际效益急剧下降的时候，可能需要一些更底层的东西。

DeepTech：世界模型现在是具身智能的热门方向，但它有没有硬伤？

叶葳蕤：目前有两个核心问题。

第一个是视觉逼真不等于任务能力。现在的视频生成模型能生成看起来非常拟真的画面，但它生成的东西不具备解决任务的能力。我打一个类比：2022 年大家做大语言模型的时候，研究的是通用问题，聊天、问天气、情感分析。但到 2024 年之后，大家不怎么提 AGI 了，重心转向了推理、编程、数学。一个很大的原因就是，后者是可验证的场景：有清晰的对错信号，可以做后训练，可以做评估，可以做比较。但如果总是问模型“你怎么看待这个观点”，它并不是一个解决实际任务的情形。

世界模型也面临同样的转变。可能从今年开始，关注点需要从视觉质量转向物理可行性。比如，你可能生成了一张很真实的图，但手穿墙了，视觉上看起来还行，但物理上不合理。未来的方向是让世界模型从视觉质量转向物理可行性，在这个基础上做后训练和推理时的规划。这个转变在未来一两年都会非常重要。

第二个问题是速度。很多人诟病世界模型太慢了，尤其是基于扩散模型的，你还要做去噪，生成一秒的可执行方案可能就要花十分钟，这就不太令人满意了。

DeepTech：速度是不是硬瓶颈？

叶葳蕤：我觉得这个问题会被逐渐缓解甚至解决。回想 2022 年，大语言模型的推理速度也非常慢，你很难想象一个 70 亿参数的模型能像现在这样跑这么快。原因在于，有大量的基础设施团队不断在加速上下功夫。同样，如果世界模型真的展现出超强的泛化性，做到一些少样本甚至零样本的事情，自然会有越来越多人想办法提升它的效率，社区的力量是非常强大的。

DeepTech：听起来，世界模型正在从“玩具”变成“工具”。那你为什么觉得纯 scaling 专家数据的 VLA 路线有局限？

叶葳蕤：这里有一个很本质的区别，很多人可能没有注意到。

大语言模型的训练数据不全是专家数据，其中很多文本是“错的”：两个人在争吵、一个人写解题过程写到一半发现错了又回头重推，它从中学到的是最基本的词与词之间的概率关系。

但现在大家做具身智能的大模型，用的全是专家数据，全部是直接完成任务的行为轨迹。很多时候机器人操作到一半发现不对了又回去纠正，这种数据你很难放进训练集，因为它会让数据分布出问题，这就导致两个很大的差异。

第一，数据的多样性和分布跟大语言模型出现了根本性的差距。大语言模型里有大量纠错、争论的过程，但具身这边用的全是干净的、直接完成任务的数据。这就导致训出来的模型不具备真正的鲁棒性，它只代表“这个行为离完成任务有多近”，却不能告诉你“我错了该怎么走”，也没有推理和规划的能力。

第二，为什么我觉得世界模型很重要，因为它可以基于当前的行为预测未来会发生什么，这是一个纯自监督的学习信号，跟数据干净与否没有关系。所以它的数据多样性和可扩展性都会比专家数据方案高很多。有了基于动作条件的预测能力之后，就具备了反事实推理的能力，模型就可以去想“如果做了另一个动作会怎样”，进而发展出推理和规划。

三大支柱的分工：模仿学习、强化学习、世界模型

DeepTech：有一个说法是，具身智能的三大支柱是模仿学习、强化学习和世界模型。你怎么看它们各自的位置？

叶葳蕤：我觉得模仿学习是最底层、最基础的先验提供者：小孩拿到积木就会玩、拿到吸管就会吸，这些自然行为是人类通过进化留在基因里的能力。但机器人是硅基生物，所有东西都得从头学。模仿学习就是要让它具备行为层面的先验，比如看到桌上有个带把手的水杯，它一开始不会拿，后来看到人类这么做了，下次就知道该怎么拿。

世界模型则是一种更高级的东西。小孩可能不知道刀很危险，但成年人经过大量经验，碰到危险场景就知道要避开。世界模型可以帮助具身智能不断增加对世界的感知和预测能力。而且它本身也会不断进化。

强化学习做的是精通化。模仿学习让你从零到 80%，强化学习让你从 80% 到 99%。它更像是一种聚焦具体任务上的专精。

DeepTech：所以你觉得世界模型在这三者里最独特的价值在哪？

叶葳蕤：我觉得世界模型最独特的价值在于泛化性和推理能力。举个例子：你想拿冰箱最上层的盒子，模仿学习告诉你应该伸手去拿；强化学习让你不断尝试，踮脚甚至跳起来。但世界模型能做的是，你看到旁边有把椅子，想象一下，如果搬过来踩上去会发生什么？你甚至可以想到：椅子还不够高，那用竹竿去够呢？搬过来之后发现也不行，换个更长的呢？

这种灵光一现的能力，只有当对世界有足够的理解才能做到。

而且世界模型的泛化是结构化的：一台电脑不管放在桌上还是地上，它都是电脑，但在拿它的动作可能完全不同。所以世界模型提供的是对世界理解的泛化，而不是具体动作序列的泛化。后者受初始位置、环境等因素影响太大，不确定性很高；但你对世界的认识是一种结构化的认识，迁移性远远更强。

因此，模仿学习提供的是“怎么拿竹竿”这种行为先验；世界模型给出“我应该去拿竹竿”的想象，而强化学习会让机器人在具体操作中做得更精准。

（来源：arXiv）

DeepTech：你此前提出过一个具身智能的金字塔架构，底层是世界模型，中层是强化学习，顶层是终身学习，目前最难实现的是哪一层？

叶葳蕤：取决于最终目标。

如果目标是比现在的 VLA 或模仿学习的基础策略做得更好，底层的世界模型其实不是最难的。现在的世界模型已经训得相当不错了，比如 Cosmos 3 就展现了很强的能力。有大量数据的时候，训一个世界模型的难度跟训一个机器人基础模型差不多，甚至更容易，因为它的学习信号更丰富。

但在顶层，终身学习这件事上，整个社区是停滞的。最近五年几乎没有新的算法。以前大家做终身学习更多是从一个概念出发，提出一些基于经验重放或正则化的方法。但现在大家发现这些方法都不太管用，甚至很多已有的定义都没有理清楚，导致在怎么去做终身学习这件事上还没有一条很清晰的路。

如果我们真的要让机器人在世界中不断交互、学习、进化，终身学习会是一个很难的事。大语言模型那边也想做，很多人在做持续学习、上下文学习、测试时学习，本质上都是同一个问题：当模型在新场景上无法直接解决问题的时候，它能不能让自己不断进化？

但另一个角度是，如果我们追求的是一个“全知全能”的机器人，那最难的反而是底层的世界模型。相当于终身学习的需求消失了，因为它之前就已经学完了。为什么要终身学习？是因为模型不够强，碰到不懂的东西需要在交互中去学。也许如果模型真的足够强，它什么都知道，只是不确定当前环境怎么更好地解决。

不过我个人不太相信机器人能做到 AGI，所以我觉得还是需要这个金字塔：世界模型打基础，强化学习让你精通具体任务，然后通过终身学习把精通的经验写回模型本身，让它下次成功率从 80% 自动到 90%。我期待的是这样一个飞轮。

DeepTech：灾难性遗忘是目前终身学习最大的障碍吗？

叶葳蕤：灾难性遗忘只是终身学习要解决的问题之一。至少有三个重要因素：一是灾难性遗忘，学了 A 忘了 B 怎么避免；二是正向迁移，做了 A 之后能不能帮助我做 B；三是组合性的泛化，我在自己家会做饭，到陌生环境能不能很快就会做饭。

我觉得一个关键认知是，灾难性遗忘可能不应该在策略层面去解决。因为策略本身就充满冲突，有时候把杯子往左移，有时候往右移，你非让一个模型同时学会两个方向，梯度都是反的，天然就会冲突。所以终身学习的关注点可能不应该放在策略本身，而是在别的地方。这也是我们最近在探索的方向。

Scaling 的局限：涌现解决不了组合爆炸

DeepTech：你觉得单一策略解决上面这些问题是可行的吗？

叶葳蕤：人的大脑有不同的区域记不同的东西，行为不是端到端的。至少在我看来，我还是更相信模块化的、基于推理和规划的思路，才能做到更强大的泛化性。

这一点在大语言模型也有体现：即使是超人水平的基础模型，也不能保证一个单一模型在所有具体场景都最优。为什么要单独对编程、对数学训一个模型？为什么一个智能体下面要挂几十个子智能体？说明即使数据过滤得很好、结构化很好、已经达到超人水平的基础模型，都不能保证自己在具体场景上表现更好。凭什么机器人就能一个策略解决所有事情呢？

DeepTech：有人觉得规模足够大就能涌现出泛化能力，你怎么看涌现和你说的泛化之间的关系？

叶葳蕤：涌现肯定是没有问题的，但它对于泛化的定义比较模糊。泛化性其实有很多不同类型。

第一种是涌现主要覆盖的场景：我不用在具体任务上训练，就能零样本知道怎么做。这是一种先验层面的泛化，模型见过足够多的数据之后，能大概知道当前任务处在什么状态，怎么去解决。

但还有一种泛化是组合性的。比如我在环境 A 用工具 B，在环境 C 用工具 D，现在让我回到环境 A 用工具 D。而组合泛化是指数级的：两个场景两个任务是 2 的平方，100 个场景 100 个任务，数据量就是 100 的 100 次方。你不可能每个组合都采集数据。

涌现在解决单个任务时可能管用：见过一万个不同的任务，现在给一个新任务，它大概率是以前某个任务的插值。但当任务变成长时间跨度的、组合性的：先解决 A，再解决 B，B 依赖 A 的结果，C 依赖 B 的结果，D 依赖 C 的结果。你可能在解决 A 的时候涌现管用了，但到解决 D 的时候，你依赖的是之前 ABC 的所有结果。这些中间结果你需要存到某种记忆里，再做某种上下文学习，这些都不是涌现能做的，需要额外的手段。

而这些手段其实就是一种轻量的模块化，通过人为定义一个记忆、一个更长的上下文窗口去把它解决得更好。没有这些，它解决问题的能力就会很差。

DeepTech：所以在你看来，泛化是分层的？

叶葳蕤：对。泛化性有很多不同级别：先有最基本的涌现的先验泛化，然后到短时间跨度的组合性泛化，再到更高层次的跨本体、跨模态泛化。

把所有能力都归因于数据量，是一种比较理想化的想法。当你谈论“无限的数据”的时候，无限本身就是一个假设。学过高等数学都知道，无穷除以无穷、乘以无穷，结果是什么你完全不知道。建立在这样的假设上，我觉得是不太负责任的。

从具体的模型到通用的推理

DeepTech：你的研究方向似乎在扩展，除了强化学习，还涉及扩散模型、世界模型、多智能体系统。你怎么看这些工作之间的关系？

叶葳蕤：在我看来，这些工作本质上都是在做推理和规划。无论是以前做基于模型的高效强化学习，还是现在做世界模型、做扩散模型，我们也希望它通过推理的方法做得更好。

我个人的主线是：我觉得人解决任务，无论是抽象任务还是具体任务，都需要深度思考的能力。这种能力也在极大程度上改变了整个世界：AlphaGo 通过蒙特卡洛树搜索做推理，GPT o1 也是在大语言模型上加入了推理机制。根据这些经验，我非常相信推理是一种潜力巨大的基础能力。

这样，问题就变成，怎样让具身智能具备强大的推理能力？我的答案是，现在能扮演这个角色的就是生成式世界模型。

所以本质上，我的问题并没有变，只是以前这个模型是一个从固定场景、具体任务上学出来的简单前向动力学模型，它速度很快，你可以在上面反复推理几十次上百次，往前看几十步都没问题。但现在要做生成式模型，在这个基础上做推理、做规划，跟以前完全不一样。

这是一个从具体场景到通用场景的转变。在通用场景里会遇到更底层的问题，我们目前在探索的就是这件事。

也许未来我们真的能具备把世界简化成一个棋谱的能力，就像 AlphaGo 那种超级强大的算法。

（来源：arXiv）

DeepTech：当研究的复杂性走向不可控的时候，你觉得什么时候应该回到理论层面重新定义问题？

叶葳蕤：这是一个很主观的问题。有些人嗅觉灵敏，在领域快要到头的半年前就果断撤退，有些人可能在一个已经研究得差不多的领域里 All in。

我觉得从长远来看，当你觉得继续做当前方向给你或社区带来的新东西越来越局限时，可能就要考虑是不是有一些更本质的问题被忽略了，或者可能被以前的偏见困住了。这时候需要跳出来看一看。

但反过来，如果你在某个地方发现，有很多本质的问题大家都没注意到，人们还在一些“低垂的果实”（low-hanging fruit）上卷，那也许这个时候更应该坚持自己做的事。

DeepTech：跳出去之后还会回来吗？

叶葳蕤：跳出来是为了更好的回去（笑）。就像基于模型的强化学习，我跳出来可能有两年了，但现在又会逐渐回去。因为当你找到一些更加强大的、更通用的模型的时候，你就会开始想以前大家做的那些东西，它不一定是以前的形态，但内核还是一样的，学一个模型比学各种复杂的策略集合更容易，在这个模型上做推理可能就会更好。这是我们以前的经验。

大家今年为什么这么看重世界模型？我觉得也是一个轮回，大家觉得纯粹一个 VLA 或单一的先验，确实有局限性，那可能学一个更通用的模型是一条更好的路。

跳出来之后到合适的时机又可以回到以前很熟悉的事上，但这时候，你有了更强大的技能，也许能找到更合理的解法。

DeepTech：谷歌 DeepMind 前段时间刚发布了 Gemini Robotics 2，号称实现了全身控制和跨形态迁移。你怎么看？

叶葳蕤：他们在不同形态的机器人上都做出了效果，这一点确实出人意料。但让我觉得比较强的地方主要还是跨形态这块，因为我个人觉得跨形态这件事可能很关键，我甚至有时候在怀疑它是不是一个能被清楚定义的问题。

现在大家做跨形态迁移，更像是做多形态训练，预先定义好几种机器人形态，训练时全部放进去，使用时选择其中一种。但如果我加一个从未见过的形态，这个模型就不可能工作了。那这到底算跨形态，还是只是多形态？

而且还有很多现实问题：如果我这个机械臂的一只手指突然坏了，动作空间就变了，是不是要重训整个模型？或者突然给你加了一只手？这些东西都没有想得很清楚。

大语言模型号称能做跨语言，是因为所有文本都在同一个空间里。但你让它处理一种从来没见过的新语言，它也解决不了。所以到底需不需要具备这样的能力，可能也没有定得很清楚，更多的时候是大家从 scaling 和泛化的角度出发的一个猜想。

DeepTech：一个很有趣的细节是，它在灵巧手上的表现明显不如夹爪。

叶葳蕤：我觉得最重要的原因还是数据不平衡。灵巧手数据的获取跟夹爪数据的获取不是一个难度级别的，灵巧手完成任务和夹爪完成任务也不是一个难度级别的。虽然他们做了一些数据平衡，但灵巧手完成一个任务可能需要一万条数据，夹爪可能只需要一千条。

另外，他们的人形机器人的很多任务其实可能一个轮式底座加夹爪就能做。但研究人形机器人，更应该做一些全身运动操作，这些才是必须依赖人形体态才能完成的事。

DeepTech：那你觉得跨形态这条路正确的走法是什么？

叶葳蕤：我个人更倾向于一个不同的方向：视觉本身就是一种跨模态、跨本体的统一接口。不管你是什么形态，看到的画面都是一样的。所以也许动作可以用视觉的形式来表达，用图像作为一种统一的动作表征，然后每个具体的机器人再用自己的映射把视觉信号转成自己的动作空间。这样就不存在跨形态的问题了。而这又跟世界模型和视频生成模型有关。

学术界的独特意义

DeepTech：学术界会不会因为算力和资金的限制落后于工业界？还是说资源的限制反而会催生更高效的探索？

叶葳蕤：我觉得这也是一个结果论的问题，如果学术界真的因为资源受限而找到了一条更高效的路，那情况就完全不一样了。但目前并没有找到，所以受到质疑是合理的，而且是应该的，毕竟不能过于自娱自乐。

过去一段时间，学术界确实在整体上滞后于工业界，一个很大的原因是 scaling 的重要性体现出来之后，资源在整个研究中占的比例可能从以前的 30% 提到了 80%。

但我观察到一个趋势，尤其在美国，学界和工业界的合作越来越成熟。工业界提供资源，学术界出人和想法。对工业界来说，做研究的瓶颈更多在于人。比如谷歌可能全力在做 Gemini，抽不出核心人员去探索新方向。但他们可能有闲置的算力，找学术界来探索一些新东西，成本低得多。这样的合作形式可能未来会越来越普遍也越来越重要。

DeepTech：所以学术界的独特价值究竟在哪？

叶葳蕤：工业界更多的使命是把已经验证成功的、大概率能成功的事情 scale 起来，让整个世界更早享受到成果。但它的问题是路径依赖：当你习惯了用资源解决一切，资源到了瓶颈的时候，你再往上堆成本很大，要撤成本也很大。VLA 就是一个典型的路径依赖，这是一条很好的路，但不能指望它解决所有问题。

这种时候学术界能跳出来提出新方向，哪怕只是初步的洞察，也可能帮助整个领域跳出局部最优。所以学术界的价值不在于跟工业界比拼规模，而是找到问题的定义，找到更重要的问题。如果堆数据就能解决，那不需要重新定义问题。但现在堆数据解决不了了，也许很多东西一开始的定义就有问题，或者有一些很本质的现象根本没有被定义好。

DeepTech：从 EfficientZero 到后面的工作，开源是你一直在坚持做的事。你怎么看开源的价值？

叶葳蕤：开源是让整个社区往前推进的加速器，越开源的东西大家持续推进就会越快。我都会尽量去开源，但坦率说很多时候维护做得不够好，维护一个开源项目要花很多精力，很多时候我可能只会短暂维护一段时间。

但从个人角度看，开源不仅能得到大家的认可，还可能有其他方面的反馈和机会，甚至把它发展成一个更庞大的项目。现在很多创业项目就是从开源社区开始的。

从组织的角度看，开源其实是一种通用的验证器。比如英伟达开源很多东西，一方面是让大家都用它的工具链；另一方面，社区本身就是一个验证器，就像大语言模型可以用编译器做后训练一样，社区的使用和反馈本身就在帮你“后训练”产品。

如果我有足够的精力，我应该会把开源做得更好。

DeepTech：博后结束之后有什么打算？

叶葳蕤：目前肯定会计划回国。国内的基础其实比美国好很多，唯一的制约是算力，但只要你不是训巨大的模型，其实够用了，而且国内对具身智能的重视程度以及商业化的空间都非常大。

在硬件方面，中国的优势非常明显。做人形机器人，宇树几乎占了大部分市场；做双臂操作，大家也不再花大价钱买进口方案。当这些硬件形成优势之后，全球的研究机构，包括美国也是在中国的产品上做算法研发。这是一个正向循环。

在大模型领域，中国跟海外的差距大概三到六个月。在具身智能这边差距更小，甚至在很多方向上，比如触觉感知、灵巧手，国内的发展远远领先。越来越多的人愿意回去建设，我觉得这是非常好的信号。

参考内容：

https://arxiv.org/html/2310.02635v5

https://arxiv.org/abs/2607.15065

排版：杨梦

注：封面/首图由 AI 辅助生成