对话穆尧：世界模型越做越大，机器人动作如何跟上节奏

具身智能不能只堆模型，架构效率同样关键。

新眸原创·作者 | 桑明强

今年GTC大会上，黄仁勋将物理AI推到了产业舞台中央，也为AI行业划定了新的增长边界：当生成式AI完成了对数字世界的渗透与重构，下一代AI的核心命题，是走向实体、走进物理世界。

作为物理AI最核心的落地载体，具身智能本质上是对AI运行逻辑的一次重构。数字世界的大模型可以用秒级延迟换取生成质量，推理慢一点无伤大雅；但物理世界的机器人交互有刚性的实时性约束，感知、决策、动作的闭环差出几十毫秒，任务就可能直接失败。

这恰恰是当前行业普遍忽略的底层矛盾。眼下聊具身智能，话题总绕不开参数规模和数据量级，好像只要模型足够大、数据足够多，通用机器人就是水到渠成的事。但很少有人会追问一句：等模型真的大到那个程度，机器人的动作还能跟得上吗？

最近和上海交通大学ScaleLab团队负责人、助理教授穆尧聊了一个多小时，围绕他们刚发布的全新机器人操控模型AHA-WAM（异步视野自适应世界-动作模型），从技术细节聊到行业走向，聊完最直观的感受是：具身智能这趟车开了这么久，终于有人开始低头看路，盯着真正的落地死磕了。

这套由上海交通大学ScaleLab团队、上海人工智能实验室联合百度智能云共同推出的方案，最核心的动作只有一个：把机器人的场景思考和动作执行，拆成了两套不同节奏的系统异步运行。听起来算不上什么石破天惊的创举，却实实在在打破了WAM（世界-动作模型）沿用至今的同步绑定逻辑。

先说核心性能层面：无需依赖大规模机器人真实数据做预训练，就在权威仿真基准平台RoboTwin 2.0取得92.8%的平均任务成功率，超越业内主流模型。其中，真机多任务综合成功率78.3%，闭环控制频率从同类模型的5.26Hz拉到24.17Hz，提速近5倍；轻量化的AHA-WAM-Flash版本更是摸到了56.95Hz，相较传统基线提速超10倍。

简单翻译一下，就是提速不“翻车”，还更省算力。过去，具身智能行业长期存在一个两难：世界模型的推演能力越强，参数量级越高，单步推理的耗时就越长，可机器人的实时控制恰恰对闭环频率有极高要求。两者的差距拉大到一定程度，再强的模型能力也无法转化为流畅稳定的真机表现。

从这个角度，AHA-WAM打破了这个固有规律。

在穆尧看来，这些数字只是当下的结果。真正值得关注的是这套架构面向未来的延展性。当具身智能进入下半场，模型规模还会持续攀升，今天验证的异步逻辑，本质是给百亿级世界模型的商用落地，提前搭好了一副骨架。

01

从第一性原理出发

拆分快慢系统

传统WAM模型的运行逻辑，说起来也符合直觉。机器人每输出一个动作，都要先基于当前画面做一次完整的场景推演，预判接下来的物理变化，再据此生成控制指令。思考和行动严格绑定在同一个时间步里，想一步，动一步。

这套逻辑在模型体量不大的时候，问题还不突出。可一旦往通用化方向走，世界模型的参数规模上去了，单步推理的耗时会被快速拉长。机器人的实时控制对闭环频率又有刚性要求，落到真机上，低于10赫兹的动作就能看出明显卡顿，再叠加机械臂本身的重复定位误差，任务失败率会被抬得很高。

这是个很现实的矛盾：要更强的泛化能力，就得要更大的模型；更大的模型，就意味着更慢的反应。行业里的应对方式大多集中在模型压缩上，剪枝、量化、蒸馏，想尽办法把大模型塞进实时控制的时间窗口里。

穆尧团队从一开始就没选这条路。

他们的判断基于一个更长期的技术趋势：面向未来的强通用世界模型，体量增长是必然的。现在5B参数的视频生成模型，只是当前算力约束下的折中选择，往后还会不断迈上新的量级。压缩技术能带来的收益总有边界，没法从根源上消解这个矛盾。

既然靠压缩追不上模型增长的速度，那就换个思路：把不同性质的计算拆开，用各自合适的节奏运行。世界推演计算量大、不需要每帧都更新，那就低频运行，算完的结果缓存起来反复用；动作生成要求低延迟、高频率，那就高频输出，直接调用缓存好的场景信息。

快慢系统的拆分思路，就这么顺着两类计算的天然特性推导了出来。

思路本身不复杂，真正的门槛藏在细节里。两套系统不同步，就必然存在时间差——慢模块用旧观测算出的推演结果，等快模块执行几步动作之后，就和真实环境产生了错位。直接用旧信息指导新动作，一定会拉低成功率。

这种精度下滑的方向，团队在研究初期就从原理上预判到了。旧的观测和实时状态错配，成功率下降是必然的，只是具体降多少，最终消融实验显示，纯异步架构（不加记忆和 OVCR）会让任务成功率下降近3个百分点。

整个项目从立项到拿到稳定可复现的结果，前后走了半年时间。其中真正跑实验、测数据的阶段只占三分之一，大部分精力都花在了前期的方案探索和可行性验证上。所有最终对外公布的性能数据，每个任务都经过了 50 次以上的独立重复实验，取平均值作为最终结果。

02

快慢之间的补丁

和校企协同的真实样本

找到了问题，就要补窟窿。快慢模块之间的信息同步与修正机制，是整套方案最核心的技术关卡。

团队给修正机制定了一条红线：绝对不能抵消异步架构带来的速度收益。如果为了补精度把修正模块做得很重，那还不如回到同步的老路上。

最终承担这个桥接功能的是OVCR模块。它没有选择重新计算完整的视觉特征，而是用少量可学习的query token，从当前实时观测里提取和任务强相关的关键信息，再通过残差更新的方式，给慢速模块输出的旧KV cache打补丁。

打个不太严谨的比方，就像你提前写好了一份行动方案，执行过程中环境有了小变化，你不用重写整份方案，只在对应的地方改几行关键内容就行。改动量很小，但足够适配当前的真实状态。

整个修正过程只涉及少量token的交互，计算开销极低。训练阶段，团队还会随机模拟快慢系统之间不同程度的时间差，让模型自主学习不同错位程度下的修补策略，适应各种级别的时间偏差。最终的效果是，几乎不损失推理速度，就抹平了异步带来的精度损耗。

算法原型跑通，只是走完了第一步。要把纸面的性能落到真实的运行环境里，还得靠工程层面的深度打磨，这也是百度智能云的百度百舸团队在项目里承担的核心角色。

高校做前沿算法研究有天然的优势，对问题的判断、对架构的创新，往往能走在产业前面。但落到算力调度、异构硬件协同、系统级推理优化这些环节，高校团队的积累通常不如产业界深厚。很多很有想法的算法原型，最后就卡在 AI Infra 工程化这一步，始终达不到工业级的性能标准。

和百度智能云的合作，刚好补上了这块短板。

百度百舸AI计算平台为项目搭建了统一的算力池，里面同时包含训练卡和渲染测试卡，不同硬件之间可以高效调度、数据共享，训练阶段保证算力利用率，测试阶段满足渲染和推理需求。同时，百度百舸团队针对AHA-WAM模型推理的全程做了系统级 AI Infra 工程优化，硬生生把单步动作推理的延迟从415毫秒压到了41毫秒。

接近10倍的延迟压缩，单靠算法调优是做不出来的，必须依赖系统层面的工程打磨。用穆尧的话说，高校出算法创新的原型，企业做 AI Infra 优化，提供工程落地的支撑，这种能力上的互补，才是校企合作最该有的样子。

在 AI Infra 工程优化的基础上，团队又通过蒸馏技术，把视频生成模型的去噪步数从10步压缩到2步，推出了轻量化的Flash版本。其中，Flash版本的闭环推理频率能跑到56.95Hz，在任务边界清晰的场景里，动作流畅度已经能摸到传统工业机器人的水平。

有意思的是，异步架构带来的速度提升，并没有伴随算力消耗的上涨。实际执行任务的时候，它的算力开销和现有主流世界模型基本持平，所有的收益都来自架构和工程层面的效率改进，而不是简单的算力堆砌。

03

具身智能下半场

走得远比跑得快重要

很多人聊起 AHA-WAM，都会把它定义成一次模型提速优化。但放在物理AI的长期产业坐标系里看，它的意义其实远不止于此。

它解决的不是某一款模型的性能问题，而是物理AI规模化落地的一类共性架构难题。

剪枝、量化这类提速方案，本质都是在想办法把大模型塞进边端硬件里，天花板是清晰可见的。等模型规模走到百亿参数级别，就算做极致的量化压缩，也很难在单张消费级显卡上完整部署，更别说满足实时控制的频率要求。

到了那个阶段，云端做推演、边端做执行会成为必然的部署形态。云端和边端之间，天然就存在异步状态，这种状态没法靠压缩技术消弭。

AHA-WAM解决的，恰恰是这种被迫异步场景下的核心问题：怎么让慢节奏的云端推演结果，持续稳定地指导快节奏的边端动作执行。这套机制不依赖模型的具体体量，模型越大、端云拆分越彻底，它的价值就越突出。今天在5B模型上验证过的逻辑，未来可以直接平移到更大规模的模型上。所有成熟的压缩技术也都可以和异步架构叠加使用，进一步释放性能空间。

从这个角度看，它提供的不只是一个提速方案，更是WAM路线面向规模化落地的一种新范式。

异步架构的通用性还不止于桌面机械臂场景。移动操作机器人对世界模型的需求更强，目标物体可能不在当前视野内，需要依赖长期记忆完成导航与操作，推理时延的挑战也更大，异步方案可以天然适配这类场景。

多机器人协作同样如此，中央大脑负责全局调度与规划，端侧机器人负责实时动作调整，本身就是快慢系统的另一种形态，底层的异步协同逻辑完全共通。即使是JEPA式的隐状态动力学模型，随着模型体量增长，同样会面临推演与执行的节奏差问题，只是具体的修正机制会随模态不同而调整。

当下的具身智能赛道，关于架构创新与数据预训练的路线讨论从未停止。穆尧的判断是，两者是互补关系，其中海量数据预训练的权重更高。当下很多所谓的架构创新，只是在 Transformer基础上做局部的结构调整，带来的增益远不如精细化的数据处理与对齐。

当然这不等于架构创新没有价值。真正有价值的架构改动，应该从物理规律和数据特性的第一性原理出发。比如机器人的交互发生在三维空间，单目视觉有天然的局限，基于双目、多视角做模型设计，就比单纯调网络层结构更有底层意义。再比如推理效率的优化，模型训练一次的成本越来越高，更快的迭代速度本身就是核心竞争力，异步架构就是在这个维度上提供了长期价值。

关于数据规模，行业里也有不少认知偏差。很多团队投入几百小时的机器人数据，就期待看到性能的质变，实际上这个量级远远不够。公开资料里有个可参考的节点，数据规模达到27万小时级别，世界模型才会出现明显的能力跃迁。几百小时的数据增量，只有在训测场景高度相似的时候才会体现出效果，对通用泛化能力的提升非常有限。

这也是现在行业普遍选择基于通用视频基座做领域微调的原因。经过海量互联网视频预训练的基座，已经具备了基础的物理规律认知和视觉理解能力，补充百小时级的机器人操作数据，就能在具体任务上拿到不错的效果。如果从零开始只用机器人数据训练，几千小时也未必能达到同等的泛化水平。现在全行业都在加速采集第一视角的人类操作数据，本质都是在为更大规模的世界模型预训练攒家底。

仿真数据也是同理。模型越大，需要的仿真数据量级就越高。现在行业的仿真数据规模还远没到饱和的阶段，高质量仿真数据的生产和利用，会是个长期的课题。

聊到最后，穆尧提到了和百度智能云接下来的三个合作方向：更大规模的基础世界模型，依托云厂商的算力突破小体量模型的能力上限；人形机器人运动控制基础模型，用仿真合成数据解决真机采集成本高的问题；还有具身智能的自我进化，在仿真环境里做大规模强化学习，让模型通过自主探索实现能力迭代。

关于具身智能的“ChatGPT 时刻”，行业里已经讨论了很多年。穆尧认可的判断是，当基础模型在大多数通用任务上都能达到70分左右的水平，就算摸到了这个节点。在那之前，数据积累、架构创新、工程化落地会长期并行，没有哪条路线能单独支撑产业的跃迁。

其实聊完整场，最强烈的感受是，具身智能已经过了靠概念造势的阶段。走到下半场，没人能靠单点突破一劳永逸。AHA-WAM不是什么颠覆性的技术革命，它只是在正确的方向上，提前解决了未来一定会遇到的问题。

行业里永远不缺追热点的人，大家都盯着当下的性能榜单，争着刷新的成功率数字。但真正能走到最后的，往往是那些愿意为三年后的问题布局，愿意把每一个落地细节做扎实的团队。毕竟对技术这条路来说，走得远，从来都比跑得快更重要。

本文系新眸原创，申请转载授权、商务合作请联系微信：ycj841642330，添加好友请备注公司和职位。

更多内容，点击下方关注