网易首页 > 网易号 > 正文 申请入驻

波峰对话|光象实验室首席科学家吕尧:通用大模型越强,具身公司越危险吗?

0
分享至

研究员|邱慧

世界模型不算新概念,但这一赛道内持续在涌现新提法。

据第四波不完全统计,9月以来,包括交互、因果、视觉自回归等方向,至少有9家公司抛出了世界模型相关的新概念。

概念背后承载的叙事、技术路线不同,但最终都要回答市场的是,这些模型能否真正帮助智能体理解物理世界,并改善实际任务表现?

而就在世界模型技术路线尚存争议之际,研究者们发现,OpenAI 9月初推出的GPT-6 Astra展现出直接生成机器人操作指令的能力。这引发了行业对通用大模型与专用具身模型之间关系的重新思考。

一时间,困扰具身行业已久的“大脑”难题似乎有了解法。但在学者吕尧看来,通用模型带来的进步可以借力,但具身企业的核心工作,仍是动作生成。



吕尧现为清华大学车辆与运载学院助理研究员、水木学者,同时担任光象实验室首席科学家。

2025年4月,由清华大学车辆与运载学院和人工智能学院联合孵化的具身智能公司光象科技成立。次年6月,该公司发布工业级自进化具身智能机器人Phi-Bot X1,已官宣进入部分豪华车企的产线。

近期,光象科技联合清华大学李升波教授课题组发布了第一代物理原生世界模型Phi-WM 1.0 ActEffect。该模型利用动作后果预测,在训练阶段为动作生成策略提供反馈优化信号,以实现机器人在部署时无需反复调用状态转移模块,即可直接生成动作。

10月下旬,我们和吕尧聊了聊世界模型领域的新概念、通用大模型给行业带来的变化,以及科研创新与产业落地的关系。

访谈当日,宇树科技创始人王兴兴罕见地公开大谈AI,称随着GPT-6的发布,物理AI已经看到被“击穿”的苗头。他预言明年GPT-7出来,“可能直接把具身智能问题打穿”。

吕尧则认为,通用大模型作为“大脑”的表现很强,但在执行特定的短程任务时,直接输出的控制动作质量仍不理想。

以下为吕尧和第四波的对话。

01

机器人该学会什么?

第四波:GPT-6-Astra这类通用大模型在具身领域的表现引发了不少讨论。你们尝试之后,最直接的感受是什么?

吕尧:我们尝试把GPT-6 Astra作为上层的任务理解和决策模型,由它生成机器人动作指令,再通过下层控制器驱动机器人执行。

结果是,它的通用理解、规划和决策能力确实很强,但落到控制环节存在明显问题。不只是反应慢,输出的控制动作质量也不稳定。它在某些测试中得到高分,很大部分来自思考、失败恢复这些通用能力。整体来说,作为大脑,它很强;但具体到特定短程操作任务,直接使用它生成的动作指令执行,成功率仍然偏低,尤其是在需要精细定位和物理接触的环节。

所以,通用模型距离高频、精确、稳定地完成真实物理交互,还有明显距离。至少在现阶段,它还难以完全替代专门训练的动作模型。

第四波:这样的情况下,具身公司训练基模的意义在哪儿,岂不是意味着目前市场上至少一半以上的公司在做重复劳动?

吕尧:也不是。在大语言模型还没有表现出这些能力的时候,前期探索肯定是有效的。现在可以减少在通用语义理解和高层任务规划方面的重复开发,但之前在任务分解、执行管理和上下层模型协同方面积累的经验,仍然非常重要。

我们需要知道,上层模块应该表现出什么职能,能向下层动作模型传递什么信号。这是搭建整套系统时需要考虑的。

现阶段还很难依靠单一模型同时完成复杂任务理解、长程规划和高精度动作执行。尤其是长程任务,需要不断感知环境变化、判断执行结果,再决定下一步行动。所以,分层协同仍然是更现实的系统方案。

当前的数据、架构、算法和基础设施,还支撑不了这样一套理想化的东西落地,仍然要分阶段推进。

第四波:大语言模型公司继续进入具身领域,未来两者的分工会有什么变化?语言模型负责拆解任务,具身公司负责执行?

吕尧:具身公司的核心技术壁垒仍然在于通用动作生成模型的开发能力,以及让模型在真实场景中持续学习、迭代和形成业务闭环的能力。

对于最上层的语义理解、任务规划和流程管理,具身公司可以充分复用现有通用模型的能力,没有必要所有模块都从零开始开发。但与具体任务、物理状态和执行反馈相关的能力,仍然需要针对性开发。

如果一家公司的定位是商业化交付,却长期只有上层模型和技术概念,没有真实场景验证,也缺乏动作执行和系统落地能力,商业化风险比较大。

02

失败的数据,价值在哪儿?

第四波:光象在8月发布Phi-WM 1.0 ActEffect物理原生世界模型,最近也有不少创企提到了原生的概念,你们的“物理原生”指什么?为什么都开始强调“原生”概念?

吕尧:从技术层面看,具身智能和传统信息智能有一个根本区别,智能体需要通过动作与物理环境发生交互,并承担动作带来的真实后果。我们强调的“物理原生”就是从物理交互的本质出发设计世界模型、数据结构和训练算法,而不仅仅是把已有大模型应用到机器人上。

物理原生要求体现物理交互的时序因果关系与动力学规律,它强调的是一整套面向物理世界的智能开发范式,就不是像现在各家的“原生”主要体现在单纯的数据来源或模型输出形式上。



光象科技推出的Phi-Bot X1。

第四波:你从自动驾驶转向机器人领域的研发,哪些经验不能直接迁移?

吕尧:主要是数据来源和使用方式。自动驾驶已经形成了比较成熟的数据闭环,可以依托大规模量产车队持续采集真实驾驶数据,并结合影子模式发现问题、积累有价值的场景,再用于模型训练和迭代。机器人没有汽车这么大的保有量,也很难在运作过程中,通过人的操作持续回采大量数据。

光象想通过高保真物理仿真构建可交互、可探索的训练环境,让模型通过大量动作尝试和状态反馈,学习动作与环境变化之间的底层动力学规律,同时利用少量真实数据完成适配和验证。

第四波:这对仿真的要求是什么?必须把现实复刻得足够逼真吗?

吕尧:不需要百分之百复刻真实世界的所有细节,但仿真环境至少需要具备物理一致性,并在任务相关的关键动力学上足够准确。机器人施加不同动作后,环境应当按照合理的物理规律产生相应变化。

我们希望在仿真里学到的是规律,而不只是精确的映射关系。当然,仿真到现实肯定存在差距。最后进入真实工位,还需要采集一定的真机数据,弥补时延、摩擦等难以完全建模的差异。

面对不同的真实工业产线,模型通常也需要进行一定程度的现场适配或微调。就像工人换到一个新工位,也需要熟悉具体的设备、流程和操作要求。

第四波:行业越来越强调高质量真机数据以及数据体量,为什么你觉得只靠这类数据不够?

吕尧:不能只看数据数量,还要看数据职能。我们不排斥真机数据,有的数据该用还是要用。但如果机器人学一项任务,就要定向采集一批对应数据,单纯靠扩充数据集来提升智能上限,这本身在逻辑上就是有问题的。

另一个问题是,现在大家说高质量数据,往往强调任务完成得好。这类数据可以让模型学会模仿成功动作,但一旦环境发生变化,或者动作受到扰动,模型对未来状态以及动作结果的预测就可能出现问题。

如果过度依赖这类成功示范数据,模型可能主要学会从观测到动作的映射,缺乏对状态变化和动作后果的充分理解。在未见过的场景或扰动条件下,它的泛化能力容易受到限制。这不是我们认为的智能模型的终局。

真机数据里也需要失败、扰动,以及真实工业场景下的数据,不能全部依赖数采工厂里干净环境下的成功动作。

第四波:你说的“理解规律”,与模仿成功动作有什么区别?

吕尧:状态转移模块和策略模块的核心职能不同。状态转移模块主要学习状态如何随着动作而变化,不论一个动作最终是否有利于完成任务,都应该尽可能准确地预测其后果;策略模块则需要结合任务目标,选择更合适的动作。

只有引入任务目标以后,策略模块才能判断这个结果好不好、是否应该调整动作。所以,失败数据对我们整个世界模型也有价值。它要学的是环境如何变化,不能只学任务成功时环境如何变化。

第四波:很多世界模型的思路,是教机器人预测“下一个物理状态”,ActEffect也是关注状态转移预测,你们与现有方法的核心区别是什么?

吕尧:现在很多世界模型也是学习“当前状态—动作—下一步状态”的转移关系,但我们研究发现,如果训练数据中的动作变化过于有限,模型容易依赖统计相关性,难以充分学习不同动作干预造成的状态变化规律,从而影响对扰动情况的预测与泛化能力。

很多世界模型的目标是视频预测,希望提高像素空间的保真度。但保真度高了之后,一旦状态或动作受到扰动,模型能否理解偏差带来的结果变化?这是核心评价。

我们希望模型真正学会状态转移规律,理解不同动作会带来怎样的结果差异。ActEffect的做法是,在相同状态下生成多个不同的候选动作,通过受控转移模块分别预测其后果,再利用后果差异对动作提案进行比较和优化。这样,动作生成模型就能在训练过程中获得关于动作后果的反馈。

第四波:你们把预测动作后果放在训练阶段,对部署有什么影响?

吕尧:核心是把状态转移模块的预测与评价作用尽量前移到训练阶段,在提升策略性能的同时,降低部署阶段的额外推理开销。

训练时,状态转移模块预测不同候选动作可能造成的状态变化,并以此反馈和优化动作生成策略;部署时,可以只保留策略模块,直接根据观测生成动作,不必每次都通过实时Rollout来校正。

能力上限怎么提升,更多还是训练阶段模型设计的问题;部署阶段,我们希望用更少的板载计算资源,把能力落下去。

03

世界模型价值如何评判?

第四波:最近我们听到不少“世界模型变冷”的论调,你的感受是什么?

吕尧:热度确实有回落。一方面,世界模型概念没有统一定义,大家都说自己做世界模型,但外界不知道你到底做什么。反复强调同一个词,会让人失去兴趣。还有就是一些前期很热的项目,后期没有产生符合预期的效果,没有转化成相应的生产力。

技术仍在持续发展,但世界模型距离大规模解决实际问题、稳定创造产业价值确实还有一定距离。市场热度适当回归理性是好事,但不应该因此低估它的长期技术价值。总体来说我认为降温是合理的,但应该保持温度。

第四波:既然没有统一的定义和评测标准,且大家技术路线各有不同,怎么判断世界模型是否真创造了可观的价值?

吕尧:先看它的定位和用途,再对照目标看落地效果。偏表征的模型,要看这些表征有没有帮助下游理解场景、生成动作。对于直接生成动作的世界动作模型,就应该重点评价其在机器人任务中的成功率、泛化能力、执行效率和稳定性,还要看能否支持真实场景部署。

我理解的世界模型,核心是状态转移预测,尤其是动作驱动的状态转移预测的保真度。不只是对一个数据集的保真度,也包括状态和动作受到各种扰动后的预测保真度。视频预测、空间生成和动作生成等任务,都可以建立在世界模型所学习的状态表示与演化规律之上。

不过,我更关心的是,模型是否真正具备对状态演化,尤其是动作干预后状态变化的预测能力,而不是只看生成结果是否逼真。不同方向现在已经有不同测评榜单。想要搭建一套完整、覆盖全维度的评测矩阵,前提是要让概念收敛。我觉得未来两三年,行业应该会形成概念共识,但技术路路线未必。

第四波:学者进创业公司,怎么避免研究只朝着论文走,落不到真实场景?

吕尧:研究人员就是要做一些看上去“不切实际”的事情。敢想,做一些“从0到1”的探索,才可能突破边界。如果科研工作完全围绕现有工程需求展开,虽然可能较快产生实际价值,但也容易受到现有技术路线和产品目标的限制。真正的前沿研究,仍然需要允许一些短期内看不到明确应用价值的探索,才有机会突破现有能力边界。

但团队内部要有分工:有人做前沿研究,也有人负责成果转化,完成“从1到100”,把前沿研究成果真正应用到真实任务里落地。

第四波:相比工业场景,你怎么看家用机器人?

吕尧:我个人对家庭场景没有那么乐观。工业场景里,我们可以先聚焦把一个任务做好。但家庭要考虑的事情太多,对象高度非结构化,还有柔性体、流体等复杂操作难题,现阶段技术上很难保证成功率。

家庭场景还必须与人交互,安全性就变得非常重要。不能造成人身和财产损伤,这不只是数据和模型的问题,算法和理论层面也有大量工作要做。在技术、商业、伦理和法律上,机器人进家庭这件事也还有很多卡点。

第四波:到今年年底,你预计行业还会有哪些变化?

吕尧:到现在还没有看到范式级突破,大概率延续今年的研发节奏。大家未必再扎堆强调世界模型,可能更多讨论Harness,也就是怎样组织不同能力形成一套协同系统。但底层动作生成和实时执行环节,还是目前具身行业需要攻破的点。

编辑|王晓

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国宣布悬赏1000万美元征集缅甸电诈园区洗钱线索,承诺将严格保密举报人身份!

美国宣布悬赏1000万美元征集缅甸电诈园区洗钱线索,承诺将严格保密举报人身份!

每日经济新闻
2026-11-19 20:34:03
民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

阿尔卑斯瞭望
2026-11-19 18:51:50
毛宁现身这场APEC重要发布会 笑着挥手打招呼

毛宁现身这场APEC重要发布会 笑着挥手打招呼

看看新闻Knews
2026-11-19 22:41:13
谭维维:我这辈子最正确的决定,就是嫁了一个退居幕后带孩子的人

谭维维:我这辈子最正确的决定,就是嫁了一个退居幕后带孩子的人

一娱三分地
2026-11-19 12:38:41
国际金银价格大幅下跌,现货黄金收跌2.7%

国际金银价格大幅下跌,现货黄金收跌2.7%

每日经济新闻
2026-11-20 06:12:06
难以置信!上海网友分享闺蜜每周六独自开钟点房休息做手工,还鼓励丈夫独自“开钟点房”,引发热议

难以置信!上海网友分享闺蜜每周六独自开钟点房休息做手工,还鼓励丈夫独自“开钟点房”,引发热议

火山詩话
2026-11-19 06:50:50
72岁的台湾老兵左智超回江苏探亲,酒后失声痛哭:“其实我是共产党员。”在女儿追问下,他说出了隐藏多年的秘密

72岁的台湾老兵左智超回江苏探亲,酒后失声痛哭:“其实我是共产党员。”在女儿追问下,他说出了隐藏多年的秘密

人生录
2026-10-28 00:40:06
美发产品爆雷,甲醇超标238倍,喷进肺里可致失明,却只罚款23万

美发产品爆雷,甲醇超标238倍,喷进肺里可致失明,却只罚款23万

青眼财经
2026-11-19 21:56:30
善恶终有报?袁茵却用事实证明,她背叛侯耀文之后,活得并不差!

善恶终有报?袁茵却用事实证明,她背叛侯耀文之后,活得并不差!

可乐谈情感
2026-11-20 09:46:20
8连败刚终结,奇才5胜11负又要碰刚赢30分的公牛

8连败刚终结,奇才5胜11负又要碰刚赢30分的公牛

林间小温柔
2026-11-20 11:24:27
北京电影学院马克思主义学院成立

北京电影学院马克思主义学院成立

澎湃新闻
2026-11-19 20:09:07
一路走好!香港著名音乐导师离世,容祖儿、邓紫棋和古天乐都曾是她学生

一路走好!香港著名音乐导师离世,容祖儿、邓紫棋和古天乐都曾是她学生

粤睇先生
2026-11-20 00:15:36
战绩同为13胜3负,为什么说76人的比赛含金量要比湖人高得多?

战绩同为13胜3负,为什么说76人的比赛含金量要比湖人高得多?

篮球小布丁
2026-11-20 03:49:01
告别“长枪短炮”,外媒记者纷纷点赞:想要一台

告别“长枪短炮”,外媒记者纷纷点赞:想要一台

极目新闻
2026-11-19 17:03:52
三叔当领导从未帮过我们,如今快退休了,突然要回老家住,我爸看着他,扭头就回了屋

三叔当领导从未帮过我们,如今快退休了,突然要回老家住,我爸看着他,扭头就回了屋

晓艾故事汇
2026-11-19 17:08:14
毛主席怒批田家英:你不想干就打报告,我再找人!田喝闷酒发牢骚

毛主席怒批田家英:你不想干就打报告,我再找人!田喝闷酒发牢骚

大运河时空
2026-11-19 10:15:05
烤全羊1600元剥不出1两肉,店家耍无赖,官方出手,社死仅开胃菜

烤全羊1600元剥不出1两肉,店家耍无赖,官方出手,社死仅开胃菜

琴琴有氧运动
2026-11-19 21:10:29
碾压姆巴佩!皇马隐藏真核才是世界第一!穆里尼奥捡到宝

碾压姆巴佩!皇马隐藏真核才是世界第一!穆里尼奥捡到宝

澜归序
2026-11-20 09:37:45
释永信怎么也想不到,当年举报自己的徒弟释延鲁,如今年收入过亿

释永信怎么也想不到,当年举报自己的徒弟释延鲁,如今年收入过亿

往史过眼云烟
2026-11-20 10:04:15
黄珊珊最终出手挺沈伯洋,准备转投民进党,还是与柯文哲唱双簧?

黄珊珊最终出手挺沈伯洋,准备转投民进党,还是与柯文哲唱双簧?

揽星戈
2026-11-20 00:08:40
2026-11-20 11:39:00
第四波
第四波
深度科技资讯,产业一线报告
194文章数 4关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

游戏
房产
数码
公开课
军事航空

美国多地警方担心GTA6引导犯罪:游戏里玩玩得了!

房产要闻

2.5亿!丁村侨中,新动作来了!

数码要闻

技嘉扩展“雕妹”IP,携手伙伴推出AORUS ARI联名内存、机箱

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版