网易首页 > 网易号 > 正文 申请入驻

机器人的终局:英伟达Jim Fan宣告VLA时代结束,WAM登场

0
分享至

Jim Fan是英伟达机器人与AI研究组(GEAR Lab)负责人,过去几年主推的GR00T人形机器人基础模型用的是VLA(Vision-Language-Action,视觉-语言-动作)架构。他刚在Sequoia AI Ascent 2026上做了一场20分钟的演讲,主题叫《Robotics' End Game》,第一件事就是宣布VLA路线过时——包括他自己半年前还在推的GR00T。


取而代之的新范式叫世界动作模型(WAM),代表作是英伟达2月发布的DreamZero。他把这套思路叫"底层同构":复制LLM(Large Language Model,大语言模型)走过的三步(预训练→对齐→强化学习),用视频世界模型替代语言模型,用人类第一人称视频替代遥操作数据,最终在2040年前让机器人自己设计和制造下一代自己。他对此有95%的把握。

要点速览

VLA路线落幕:Jim公开宣告VLA路线过时,新范式叫世界动作模型(WAM),代表作是DreamZero(140亿参数)。

告别遥操作数据:遥操作物理上限低,预测一两年内降到接近0,被传感化人类数据取代。

神经缩放定律:EgoScale用21,000小时人类第一人称视频预训练,团队发现了灵巧操作的神经缩放定律(R² = 0.998)。

神经仿真器:Dream Dojo用44,000小时人类视频训练出一个完全绕过物理引擎的神经仿真器。

终局倒计时:给出2040年完成机器人终局的预测(物理自动研究),置信度95%。

从DGX-1签名到"底层同构"

Jim用一段往事开场。2016年夏天,就在OpenAI当时的办公室,黄仁勋穿着标志性皮夹克,抱着一块大金属托盘走进来,上面写着:"致Elon和OpenAI团队,致计算和人类的未来。"那是全球第一台DGX-1。

Jim当时是OpenAI的第一个实习生,赶紧排队去上面签了名。"那时候我完全不知道自己在签什么。"旁边一起签的还有Andrej Karpathy。这台机器现在在Computer History Museum收藏。

于是他做出了一个决定:抄作业,换个名字,叫"底层同构"(the Great Parallel)。把"模拟字符串的下一个状态"换成"模拟物理世界的下一个状态",通过动作微调收敛到机器人需要的那部分,最后让强化学习走完最后一公里。

VLA怎么了:参数都堆在了语言上

过去三年,机器人领域的主流架构是VLA(Vision-Language-Action,视觉-语言-动作模型)。英伟达自家的GR00T和Physical Intelligence的π0都属于这个类别。

Jim指出了结构性问题:其实这些模型该叫LVA,因为参数大头全堆在语言上了。语言是一等公民,视觉次之,动作只能垫底。

VLA擅长编码知识和名词,不擅长物理和动词。重心放在了不对的地方。

他举了RT-2原始论文里那个经典demo:让机器人把可乐罐推到Taylor Swift的照片旁边。模型没见过Taylor Swift,但能泛化过去。问题是,泛化的是名词(能认出Taylor Swift),而不是动词(该怎么推、找什么角度、用多大力)。

从AI垃圾视频到DreamZero

VLA不是答案,那下一个预训练范式是什么?结果发现是视频模型,它们在内部学会了模拟物理世界的下一个状态。

怎么把这些世界模型变有用?做动作微调。把"所有可能的未来"这种叠加态,收敛到一条对真实机器人有意义的动作轨迹上。

英伟达的答案叫DreamZero。这是一种新型策略模型,在执行动作之前先往未来"做梦"几秒钟,然后根据梦境行动。DreamZero同时解码下一帧画面和下一步动作。在这里,视觉和动作第一次真正成为了"一等公民"。

Jim坦率地承认DreamZero目前做不到每个任务都100%可靠。"它大概相当于GPT-2的阶段,方向对了,但表现还不够稳定可靠。"他给这个新架构起名叫WAM(World Action Models,世界动作模型)。

数据革命:从遥操作到"机器人不用参与的数据采集"

过去三年是遥操作(teleop)的黄金时代。但遥操作有一个硬上限:每台机器人每天24小时。

"我说一天24小时,那是骗自己的。实际一天能干3小时就不错了,还得看当天的'机器人之神'赏不赏脸——毕竟这帮机器天天闹脾气出毛病。"

怎么破局?把机器人的末端执行器直接戴在人手上,直接采集数据,完全绕过机器人本体。

英伟达方案是DexUMI,一种外骨骼装置。用外骨骼数据训练出的机器人策略可以完全自主运行,训练数据里没有任何遥操作数据。

EgoScale:21,000小时人类视频和缩放定律

英伟达搞了一个叫EgoScale的数据集,包含21,000小时人类第一人称视频,涵盖日常家务、办公室工作、工业操作等场景。

团队发现了灵巧操作的神经缩放定律:随着预训练数据量增加,模型在下游任务上的表现呈线性提升,拟合度R² = 0.998。

这意味着什么?机器人学习也遵循和LLM类似的缩放规律——只要数据够多,模型就能持续变强。

Dream Dojo:完全绕过物理引擎的神经仿真器

传统机器人训练需要在仿真环境里一遍遍试错,但仿真器和真实世界总有差距。

Jim团队的解决方案是Dream Dojo:用44,000小时人类视频训练出一个完全基于神经网络的世界模型,彻底绕过传统物理引擎。

这个神经仿真器能生成逼真的物理交互视频,机器人在"梦境"里训练,然后零样本迁移到真实世界。

2040年终局:机器人自己造下一代

Jim给出了一个大胆预测:2040年前,机器人将完成"物理自动研究"——也就是机器人自己设计和制造下一代机器人。他对此的置信度是95%。

路径已经很清晰:预训练(世界模型)→对齐(动作微调)→强化学习(自我改进)→自动研究(机器人造机器人)。

这和LLM的发展轨迹几乎一模一样。唯一的区别是,LLM处理的是文本,WAM处理的是物理世界。

"如果你相信深度学习,深度学习就信你。"

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“庆幸我没考上211”,湖南女孩大学报到第一天就后悔:落差太大了

“庆幸我没考上211”,湖南女孩大学报到第一天就后悔:落差太大了

妍妍教育日记
2026-09-15 17:54:20
58岁真人秀女王透视装杀回秀场,一句话暗讽老对手

58岁真人秀女王透视装杀回秀场,一句话暗讽老对手

自愈小日子
2026-09-17 00:14:31
韩安冉新男友跟宋浩然“共用”一张脸?

韩安冉新男友跟宋浩然“共用”一张脸?

萱小蕾o
2026-09-18 10:07:04
《交锋》当林看山被灭口,马憩才知,原来这才是何春晓自首的真相

《交锋》当林看山被灭口,马憩才知,原来这才是何春晓自首的真相

手工制作阿歼
2026-09-10 01:38:01
问界遇上澎程:拿回灵魂的代价,是把基本盘拱手让人

问界遇上澎程:拿回灵魂的代价,是把基本盘拱手让人

沙雕小琳琳
2026-09-18 05:38:53
大开眼界!许家印当年奢靡生活曝光

大开眼界!许家印当年奢靡生活曝光

麦杰逊
2026-08-23 15:09:25
奥迪Q5L这次真豁出去了!给出12.78万,网友:果断放弃奔驰

奥迪Q5L这次真豁出去了!给出12.78万,网友:果断放弃奔驰

汽车网评
2026-09-15 19:56:18
放弃遍地开花、全力托举南宁:广西这场豪赌,到底赢了还是输了?

放弃遍地开花、全力托举南宁:广西这场豪赌,到底赢了还是输了?

阿莱美食汇
2026-09-18 09:01:12
49岁的特朗普95年来香港,怀中抱着一位神秘中国女孩,她是谁?

49岁的特朗普95年来香港,怀中抱着一位神秘中国女孩,她是谁?

板栗说事
2025-02-17 07:54:14
伦纳德:我不是那种为了追戒指 就设法加盟夺冠概率最高球队的人

伦纳德:我不是那种为了追戒指 就设法加盟夺冠概率最高球队的人

北青网-北京青年报
2026-09-17 19:57:02
马龙:本以为有2个儿子已经够幸福,没成想,现在幸福又升级了

马龙:本以为有2个儿子已经够幸福,没成想,现在幸福又升级了

萧鑟科普解说
2026-09-18 04:54:32
59岁妮可·基德曼穿直筒牛仔裤,腿长效果被夸爆

59岁妮可·基德曼穿直筒牛仔裤,腿长效果被夸爆

热搜摘要官
2026-09-17 11:45:58
过去48小时,又有四款SUV上市即下调价格

过去48小时,又有四款SUV上市即下调价格

刘哥谈体育
2026-09-18 08:59:23
现场见过张柏芝的人直言:镜头严重拉宽脸型,真人脸小到超出想象

现场见过张柏芝的人直言:镜头严重拉宽脸型,真人脸小到超出想象

迪迪的娱乐故事
2026-08-01 15:27:01
原来手机SIM卡是有寿命的,不换会影响通话和网速,多久换一次?

原来手机SIM卡是有寿命的,不换会影响通话和网速,多久换一次?

小柱解说游戏
2026-09-08 12:57:43
教授夫妇双双从25楼跳下,账户查出700万流水,遗言:没有活着的希望

教授夫妇双双从25楼跳下,账户查出700万流水,遗言:没有活着的希望

悬案解密档案
2025-10-31 15:05:24
敬一丹家族四代简史

敬一丹家族四代简史

法经社
2026-09-17 13:22:53
深夜,歹徒闯入家中对她施暴近两个小时,她咬紧牙关一声不吭,只为保护楼上熟睡的女儿。当警察破门而入时,才发现这位母亲早已浑身是血

深夜,歹徒闯入家中对她施暴近两个小时,她咬紧牙关一声不吭,只为保护楼上熟睡的女儿。当警察破门而入时,才发现这位母亲早已浑身是血

人生录
2026-07-30 00:05:11
曾参与8.1级地震救援的女警文燕在泥石流灾害中失联

曾参与8.1级地震救援的女警文燕在泥石流灾害中失联

黄河新闻网吕梁
2026-08-30 09:26:48
安东尼要追求极致务实,牺牲王钰栋进攻,U23国足中场是短板,缺防守后腰

安东尼要追求极致务实,牺牲王钰栋进攻,U23国足中场是短板,缺防守后腰

替补席看球
2026-09-17 12:50:22
2026-09-18 13:20:49
可达鸭面面观
可达鸭面面观
不看新闻就头疼,看了更疼
1742文章数 158747关注度
往期回顾 全部

科技要闻

苹果店外黄牛蹲守:18 Pro Max加价500

头条要闻

特朗普考虑大规模打击伊朗 媒体:美大致有两种选择

头条要闻

特朗普考虑大规模打击伊朗 媒体:美大致有两种选择

体育要闻

一个角色球员,靠什么在NBA征战17年

娱乐要闻

敬一丹逝世 央视送别,女儿成“心病”

财经要闻

中国汽车:尾大不掉,必须出清

汽车要闻

小鹏G9L限时售23.18万 旗舰级的配置/诱人的价格

态度原创

游戏
数码
健康
公开课
军事航空

小岛秀夫又遭玩家质疑:跨性别DEI演员 游戏0画面!

数码要闻

腾讯极光投影仪F5上架:1080P 345CVIA,822元(国补后699元)

剧烈头痛伴呕吐,警惕脑动脉瘤破裂

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

中方反对在安理会强推恢复对伊朗制裁

无障碍浏览 进入关怀版