研究员|邱慧
世界模型不算新概念,但这一赛道内持续在涌现新提法。
据第四波不完全统计,9月以来,包括交互、因果、视觉自回归等方向,至少有9家公司抛出了世界模型相关的新概念。
概念背后承载的叙事、技术路线不同,但最终都要回答市场的是,这些模型能否真正帮助智能体理解物理世界,并改善实际任务表现?
而就在世界模型技术路线尚存争议之际,研究者们发现,OpenAI 9月初推出的GPT-6 Astra展现出直接生成机器人操作指令的能力。这引发了行业对通用大模型与专用具身模型之间关系的重新思考。
一时间,困扰具身行业已久的“大脑”难题似乎有了解法。但在学者吕尧看来,通用模型带来的进步可以借力,但具身企业的核心工作,仍是动作生成。
![]()
吕尧现为清华大学车辆与运载学院助理研究员、水木学者,同时担任光象实验室首席科学家。
2025年4月,由清华大学车辆与运载学院和人工智能学院联合孵化的具身智能公司光象科技成立。次年6月,该公司发布工业级自进化具身智能机器人Phi-Bot X1,已官宣进入部分豪华车企的产线。
近期,光象科技联合清华大学李升波教授课题组发布了第一代物理原生世界模型Phi-WM 1.0 ActEffect。该模型利用动作后果预测,在训练阶段为动作生成策略提供反馈优化信号,以实现机器人在部署时无需反复调用状态转移模块,即可直接生成动作。
10月下旬,我们和吕尧聊了聊世界模型领域的新概念、通用大模型给行业带来的变化,以及科研创新与产业落地的关系。
访谈当日,宇树科技创始人王兴兴罕见地公开大谈AI,称随着GPT-6的发布,物理AI已经看到被“击穿”的苗头。他预言明年GPT-7出来,“可能直接把具身智能问题打穿”。
吕尧则认为,通用大模型作为“大脑”的表现很强,但在执行特定的短程任务时,直接输出的控制动作质量仍不理想。
以下为吕尧和第四波的对话。
01
机器人该学会什么?
第四波:GPT-6-Astra这类通用大模型在具身领域的表现引发了不少讨论。你们尝试之后,最直接的感受是什么?
吕尧:我们尝试把GPT-6 Astra作为上层的任务理解和决策模型,由它生成机器人动作指令,再通过下层控制器驱动机器人执行。
结果是,它的通用理解、规划和决策能力确实很强,但落到控制环节存在明显问题。不只是反应慢,输出的控制动作质量也不稳定。它在某些测试中得到高分,很大部分来自思考、失败恢复这些通用能力。整体来说,作为大脑,它很强;但具体到特定短程操作任务,直接使用它生成的动作指令执行,成功率仍然偏低,尤其是在需要精细定位和物理接触的环节。
所以,通用模型距离高频、精确、稳定地完成真实物理交互,还有明显距离。至少在现阶段,它还难以完全替代专门训练的动作模型。
第四波:这样的情况下,具身公司训练基模的意义在哪儿,岂不是意味着目前市场上至少一半以上的公司在做重复劳动?
吕尧:也不是。在大语言模型还没有表现出这些能力的时候,前期探索肯定是有效的。现在可以减少在通用语义理解和高层任务规划方面的重复开发,但之前在任务分解、执行管理和上下层模型协同方面积累的经验,仍然非常重要。
我们需要知道,上层模块应该表现出什么职能,能向下层动作模型传递什么信号。这是搭建整套系统时需要考虑的。
现阶段还很难依靠单一模型同时完成复杂任务理解、长程规划和高精度动作执行。尤其是长程任务,需要不断感知环境变化、判断执行结果,再决定下一步行动。所以,分层协同仍然是更现实的系统方案。
当前的数据、架构、算法和基础设施,还支撑不了这样一套理想化的东西落地,仍然要分阶段推进。
第四波:大语言模型公司继续进入具身领域,未来两者的分工会有什么变化?语言模型负责拆解任务,具身公司负责执行?
吕尧:具身公司的核心技术壁垒仍然在于通用动作生成模型的开发能力,以及让模型在真实场景中持续学习、迭代和形成业务闭环的能力。
对于最上层的语义理解、任务规划和流程管理,具身公司可以充分复用现有通用模型的能力,没有必要所有模块都从零开始开发。但与具体任务、物理状态和执行反馈相关的能力,仍然需要针对性开发。
如果一家公司的定位是商业化交付,却长期只有上层模型和技术概念,没有真实场景验证,也缺乏动作执行和系统落地能力,商业化风险比较大。
02
失败的数据,价值在哪儿?
第四波:光象在8月发布Phi-WM 1.0 ActEffect物理原生世界模型,最近也有不少创企提到了原生的概念,你们的“物理原生”指什么?为什么都开始强调“原生”概念?
吕尧:从技术层面看,具身智能和传统信息智能有一个根本区别,智能体需要通过动作与物理环境发生交互,并承担动作带来的真实后果。我们强调的“物理原生”就是从物理交互的本质出发设计世界模型、数据结构和训练算法,而不仅仅是把已有大模型应用到机器人上。
物理原生要求体现物理交互的时序因果关系与动力学规律,它强调的是一整套面向物理世界的智能开发范式,就不是像现在各家的“原生”主要体现在单纯的数据来源或模型输出形式上。
![]()
光象科技推出的Phi-Bot X1。
第四波:你从自动驾驶转向机器人领域的研发,哪些经验不能直接迁移?
吕尧:主要是数据来源和使用方式。自动驾驶已经形成了比较成熟的数据闭环,可以依托大规模量产车队持续采集真实驾驶数据,并结合影子模式发现问题、积累有价值的场景,再用于模型训练和迭代。机器人没有汽车这么大的保有量,也很难在运作过程中,通过人的操作持续回采大量数据。
光象想通过高保真物理仿真构建可交互、可探索的训练环境,让模型通过大量动作尝试和状态反馈,学习动作与环境变化之间的底层动力学规律,同时利用少量真实数据完成适配和验证。
第四波:这对仿真的要求是什么?必须把现实复刻得足够逼真吗?
吕尧:不需要百分之百复刻真实世界的所有细节,但仿真环境至少需要具备物理一致性,并在任务相关的关键动力学上足够准确。机器人施加不同动作后,环境应当按照合理的物理规律产生相应变化。
我们希望在仿真里学到的是规律,而不只是精确的映射关系。当然,仿真到现实肯定存在差距。最后进入真实工位,还需要采集一定的真机数据,弥补时延、摩擦等难以完全建模的差异。
面对不同的真实工业产线,模型通常也需要进行一定程度的现场适配或微调。就像工人换到一个新工位,也需要熟悉具体的设备、流程和操作要求。
第四波:行业越来越强调高质量真机数据以及数据体量,为什么你觉得只靠这类数据不够?
吕尧:不能只看数据数量,还要看数据职能。我们不排斥真机数据,有的数据该用还是要用。但如果机器人学一项任务,就要定向采集一批对应数据,单纯靠扩充数据集来提升智能上限,这本身在逻辑上就是有问题的。
另一个问题是,现在大家说高质量数据,往往强调任务完成得好。这类数据可以让模型学会模仿成功动作,但一旦环境发生变化,或者动作受到扰动,模型对未来状态以及动作结果的预测就可能出现问题。
如果过度依赖这类成功示范数据,模型可能主要学会从观测到动作的映射,缺乏对状态变化和动作后果的充分理解。在未见过的场景或扰动条件下,它的泛化能力容易受到限制。这不是我们认为的智能模型的终局。
真机数据里也需要失败、扰动,以及真实工业场景下的数据,不能全部依赖数采工厂里干净环境下的成功动作。
第四波:你说的“理解规律”,与模仿成功动作有什么区别?
吕尧:状态转移模块和策略模块的核心职能不同。状态转移模块主要学习状态如何随着动作而变化,不论一个动作最终是否有利于完成任务,都应该尽可能准确地预测其后果;策略模块则需要结合任务目标,选择更合适的动作。
只有引入任务目标以后,策略模块才能判断这个结果好不好、是否应该调整动作。所以,失败数据对我们整个世界模型也有价值。它要学的是环境如何变化,不能只学任务成功时环境如何变化。
第四波:很多世界模型的思路,是教机器人预测“下一个物理状态”,ActEffect也是关注状态转移预测,你们与现有方法的核心区别是什么?
吕尧:现在很多世界模型也是学习“当前状态—动作—下一步状态”的转移关系,但我们研究发现,如果训练数据中的动作变化过于有限,模型容易依赖统计相关性,难以充分学习不同动作干预造成的状态变化规律,从而影响对扰动情况的预测与泛化能力。
很多世界模型的目标是视频预测,希望提高像素空间的保真度。但保真度高了之后,一旦状态或动作受到扰动,模型能否理解偏差带来的结果变化?这是核心评价。
我们希望模型真正学会状态转移规律,理解不同动作会带来怎样的结果差异。ActEffect的做法是,在相同状态下生成多个不同的候选动作,通过受控转移模块分别预测其后果,再利用后果差异对动作提案进行比较和优化。这样,动作生成模型就能在训练过程中获得关于动作后果的反馈。
第四波:你们把预测动作后果放在训练阶段,对部署有什么影响?
吕尧:核心是把状态转移模块的预测与评价作用尽量前移到训练阶段,在提升策略性能的同时,降低部署阶段的额外推理开销。
训练时,状态转移模块预测不同候选动作可能造成的状态变化,并以此反馈和优化动作生成策略;部署时,可以只保留策略模块,直接根据观测生成动作,不必每次都通过实时Rollout来校正。
能力上限怎么提升,更多还是训练阶段模型设计的问题;部署阶段,我们希望用更少的板载计算资源,把能力落下去。
03
世界模型价值如何评判?
第四波:最近我们听到不少“世界模型变冷”的论调,你的感受是什么?
吕尧:热度确实有回落。一方面,世界模型概念没有统一定义,大家都说自己做世界模型,但外界不知道你到底做什么。反复强调同一个词,会让人失去兴趣。还有就是一些前期很热的项目,后期没有产生符合预期的效果,没有转化成相应的生产力。
技术仍在持续发展,但世界模型距离大规模解决实际问题、稳定创造产业价值确实还有一定距离。市场热度适当回归理性是好事,但不应该因此低估它的长期技术价值。总体来说我认为降温是合理的,但应该保持温度。
第四波:既然没有统一的定义和评测标准,且大家技术路线各有不同,怎么判断世界模型是否真创造了可观的价值?
吕尧:先看它的定位和用途,再对照目标看落地效果。偏表征的模型,要看这些表征有没有帮助下游理解场景、生成动作。对于直接生成动作的世界动作模型,就应该重点评价其在机器人任务中的成功率、泛化能力、执行效率和稳定性,还要看能否支持真实场景部署。
我理解的世界模型,核心是状态转移预测,尤其是动作驱动的状态转移预测的保真度。不只是对一个数据集的保真度,也包括状态和动作受到各种扰动后的预测保真度。视频预测、空间生成和动作生成等任务,都可以建立在世界模型所学习的状态表示与演化规律之上。
不过,我更关心的是,模型是否真正具备对状态演化,尤其是动作干预后状态变化的预测能力,而不是只看生成结果是否逼真。不同方向现在已经有不同测评榜单。想要搭建一套完整、覆盖全维度的评测矩阵,前提是要让概念收敛。我觉得未来两三年,行业应该会形成概念共识,但技术路路线未必。
第四波:学者进创业公司,怎么避免研究只朝着论文走,落不到真实场景?
吕尧:研究人员就是要做一些看上去“不切实际”的事情。敢想,做一些“从0到1”的探索,才可能突破边界。如果科研工作完全围绕现有工程需求展开,虽然可能较快产生实际价值,但也容易受到现有技术路线和产品目标的限制。真正的前沿研究,仍然需要允许一些短期内看不到明确应用价值的探索,才有机会突破现有能力边界。
但团队内部要有分工:有人做前沿研究,也有人负责成果转化,完成“从1到100”,把前沿研究成果真正应用到真实任务里落地。
第四波:相比工业场景,你怎么看家用机器人?
吕尧:我个人对家庭场景没有那么乐观。工业场景里,我们可以先聚焦把一个任务做好。但家庭要考虑的事情太多,对象高度非结构化,还有柔性体、流体等复杂操作难题,现阶段技术上很难保证成功率。
家庭场景还必须与人交互,安全性就变得非常重要。不能造成人身和财产损伤,这不只是数据和模型的问题,算法和理论层面也有大量工作要做。在技术、商业、伦理和法律上,机器人进家庭这件事也还有很多卡点。
第四波:到今年年底,你预计行业还会有哪些变化?
吕尧:到现在还没有看到范式级突破,大概率延续今年的研发节奏。大家未必再扎堆强调世界模型,可能更多讨论Harness,也就是怎样组织不同能力形成一套协同系统。但底层动作生成和实时执行环节,还是目前具身行业需要攻破的点。
编辑|王晓
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.