网易首页 > 网易号 > 正文 申请入驻

生数双线破局背后:朱军团队正在为世界模型立「通用语法」

0
分享至


从李飞飞分类法到朱军GWM,世界模型正在形成大一统终局。

作者丨齐铖湧

编辑丨董子博

一只灵巧手把灯泡旋进灯座,看起来只是一个再普通不过的动作。

但在真正动手之前,机器人其实要先回答一串问题:灯泡是否已经对准?再拧一点会不会滑丝?指尖感到阻力时,是该加力,还是退半格重新校正?如果下一步错了,损失的不只是一次“生成失败”,而是一次真实的掉落、损坏,甚至对环境和人的风险。

这也是世界模型真正难的地方。

今天,视频生成、三维重建、游戏环境、机器人策略,几乎都开始使用“世界模型”这个词。它们有的能生成足够逼真的像素,有的能构造可计算的物理状态,有的能给出下一步动作。但一段漂亮视频、一个可玩的场景,或者一条能完成演示的控制轨迹,并不自动等于模型已经理解了世界。

真正关键的问题是:模型能否在行动之前,看见行动可能带来的后果;又能否在行动之后,把成败重新写回自己的判断。

今年 6 月,李飞飞与 World Labs 团队发布《A Functional Taxonomy of World Models》,从经典的“智能体—行动—世界状态—观测”循环出发,把当下被统称为世界模型的系统区分为三类:输出像素的渲染器、输出几何与物理状态的模拟器、输出动作的规划器。它首先厘清了一个被长期混用的问题:不同系统在世界循环中承担的功能,并不一样。

而朱军团队提出的通用世界模型(GWM)框架,则把镜头转向另一个问题:如果目标不是完成某个局部功能,而是让机器逐步获得通用的世界智能,它需要沿着怎样的能力路径成长?

他们给出的答案是:理解、想象、行动,以及由行动带回的反馈。理解把过去变成对当前世界的判断;想象把当前状态展开成若干可能的未来;行动选择其中一条路径;反馈再迫使模型修正下一次判断。

一张地图在划清功能边界,另一张地图在标出能力如何进化。它们最终都指向同一件事:世界模型的价值,不在于给世界涂上一层更逼真的像素,而在于让机器开始对自己改变世界的后果负责。

01


两张地图,同一个终局

按照李飞飞教授团队的《A Functional Taxonomy of World Models》的观点,她按"输出什么"把市面上的世界模型分成三类:渲染器输出供人眼观看的像素,模拟器输出几何与物理上忠实于世界的状态,规划器输出动作。

这个从经典POMDP框架出发的分类方法,确实给混乱的领域建立了一定的秩序。

这篇论文里有一个重要判断:模拟器被严重低估了。它才是渲染和规划之间真正的桥梁,没有对物理状态的精确模拟,再逼真的画面也只是皮囊,再精妙的规划也只是空谈。这与World Labs的Marble路线高度吻合:输出高斯泼溅加碰撞mesh,把几何一致性做到最"硬"。

但李飞飞的分类法回答的是"世界模型能干什么",没有回答"世界模型是怎么干的"。它描述了外部能力,却没有定义内部机制。

两个月后,arXiv上出现一篇题为《A Definition and Roadmap for World Models》的论文,直接批评功能分类法"只分类了模型的解码投影,没有定义内部表示"。这个批评指向一个更根本的问题:如果不同系统输出的东西完全不同,我们凭什么把它们都叫"世界模型"?

对此,清华大学朱军教授团队提供了一个并非事后回应、而是更早启动的系统答案。早在2025年12月Motus发布时,朱军就公开阐述了"通用世界模型"的整体构想;2026年3月,他又进一步将通用世界模型定位为连接数字世界与物理世界的基础能力。

8月,朱军及团队在论文《General World Models from First-Principles》中从第一性原理出发,将这套战略完善为可操作的框架,并给出了一张五级进化路线图。

在这个框架下,一个通用世界模型(General World Model,GWM)不只要看见世界、描述世界,还要理解此刻发生了什么,推演接下来可能发生什么,并通过行动验证自己的判断。

在朱军老师接受央视采访中提到,他眼中未来更强大的世界模型基座,有望同时支撑数字世界和物理世界中的多种智能任务。

这其中的关键,正是对世界模型定义的大一统:GWM框架。


GWM框架并非按"输出什么"分类,而是按认知阶段划分为三大核心能力:理解、想象、行动。

理解把过去变成内部状态;想象把状态推演成可能的未来;行动选择让哪个未来成为现实。行动带来的新观测,再重新回到理解。

这不是对李飞飞分类的否定,而是补上了另一张图。

李飞飞描绘的是世界模型的"物理表象",从外面看,它能输出什么;朱军聚焦的是世界模型的"因果闭环",从里面看,它是怎么运转的。两张图拼在一起,才构成完整的世界模型坐标系。

两者的终局判断高度一致:大一统。李飞飞认为,渲染器、模拟器、规划器底层共用同一套世界知识,边界正在消融;GWM则认为,理解、想象、行动是不可分割的三个部分,必须长在一个基座里。输出只是内部表示的解码方式,真正需要被统一的,不是输出格式,而是内部的理解、想象和行动本身。

共识在终局,分歧在路径。

李飞飞侧重物理精确性,认为没有几何一致性,一切想象都是空中楼阁;朱军侧重因果闭环,认为没有行动反馈,永远闭合不了因果回路。两条路径并非非此即彼,而是互为因果:物理精确性是闭环的基础,因果闭环是精确性的验证。

02


从生成模式到世界模型,

模型大一统背后的清华传承

理解GWM框架为何出现在清华,需要先理解朱军团队过去二十年在做什么。

朱军是清华大学计算机系教授、人工智能研究院副院长,ACM、IEEE、AAAI三大国际学会Fellow。他师承中国人工智能奠基者张钹院士,长期研究概率机器学习、生成模型、强化学习与世界智能。

朱军团队并不是在“世界模型”成为热词后才进入这个问题。回看其长期研究,会发现一条不断向前推进的学术主线内核:机器如何在不确定环境中形成理解、预测未来,并依据反馈采取行动。

这一内核的第一个重要产出,是扩散模型的高效算法。朱军团队提出的Analytic-DPM和DPM-Solver,解决了扩散模型采样效率低下的核心瓶颈,嵌入了Stable Diffusion、DALL·E 2等全球主流AI出图链路。Analytic-DPM获得ICLR 2022 Outstanding Paper Award。

扩散模型这一代最重要的两位华人理论作者:宋飏与宋佳铭,本科阶段即在朱军团队接受科研训练。

宋飏后来进入OpenAI战略探索团队并即将赴Caltech任教;宋佳铭提出的DDIM至今仍是扩散模型加速的奠基性工作。朱军团队培养的一批学生,已进入OpenAI、Google DeepMind、Meta Superintelligence Labs,以及清华、人大、上交、南大等高校。



原 OpenAI 战略探索团队负责人宋飏和DDIM之父宋佳铭

但扩散模型解决的是"生成"问题:给定噪声,生成逼真的图像。它回答的是"世界看起来像什么",而非"世界为什么会这样变化"。

从生成到因果,从视觉规律到物理规律,这一步跨越在学术上并不自然。许多做了一辈子生成模型的人,最终停留在"让画面更好看"的商业路径上。朱军团队选择继续向前,因为他们意识到:视觉合理不等于因果正确。一个模型可以生成水花四溅的画面,却不一定理解流体;它可以知道杯子松手后通常会出现碎片,却未必知道如果在落地前接住杯子,结果为什么会改变。

从“生成像什么”继续追到“为什么会这样变化、我的动作会带来什么后果”,才是从视觉合理性走向因果交互的转折。这也解释了为什么生数的路线会同时走向视频生成与具身动作:前者提供观察和世界演化的广度,后者逼迫模型在真实反馈中检验理解是否成立。

这不是跨界,而是同一批人、同一个问题在不同技术阶段的连续展开。概率机器学习处理不确定性,扩散模型处理生成,世界模型处理因果闭环,工具在变,内核未改。

03


通用世界模型,首次被清晰定义

在嘈杂的行业背景下,理论框架依然需要被厘清,由朱军创立的生数科技,正在做这件事。按照前面提到的技术路线迭代,朱军教授将通用世界模型的进化划分为逐级递进的五个层级:


如果把 L1-L5 看成一张产品路线图,很容易误解为“每多一个产品,就多一级智能”。更准确的理解是:它描述了模型需要承担的责任如何逐级增加。

在 L1,模型首先学习世界随时间如何演化。视频生成是最早、数据最丰富的入口:物体怎么移动,人物怎样转身,镜头如何切换,前后画面怎样保持连续。

这个阶段典型产品是 Vidu Q3,是生数面向专业内容生产的视频生成引擎。其核心跨越不是"生成更清晰的画面",而是从单镜头生成走向声画同出、多镜头叙事与时间一致性。

在一段视频里,人物要说话、声音要对上、镜头要切换、情绪要推进,这要求模型理解的不只是像素,而是时间轴上的因果链:上一秒的台词决定下一秒的反应,上一个镜头的景别决定下一个镜头的衔接。

生成不够,最好还要能与世界交互,于是就有了L2阶段。

L2阶段:与世界交互,世界不再只按模型预先生成的轨迹播放。外部输入可以持续改变后续演化,模型要在连续交互中维持身份、状态与因果的一致性。2026年7月,生数发布的Vidu S1实现语音实时介入生成,它将视频生成从"离线一次性输出"变为"实时交互系统":用户说话,模型实时理解语音、生成后续画面,并可无限持续。这背后是自回归视频生成路线,长期身份anchor保持人物形象一致,短期滑动窗口维持近期表情与动作连续。

从Q3到S1,Vidu S1走得更远。

L3则是一次更严厉的考试。机器人不但要“看起来知道”桌上有什么,还要对自己的动作负责:抓取、旋转、接触、放置,每一步都会反过来改变环境,并产生下一轮判断必须面对的新信息。Motus、Motubrain 和 Motus2 的意义,正在于把这条路径从视频里的世界变化,推向真机中的行动后果。

2026年4月Motubrain发布,将环境理解、世界状态预测和动作轨迹生成统一到同一模型中。这个问题在工程上比视频生成残酷得多。视频生成可以离线渲染,机器人控制必须实时响应。相较Motus推理速度提升约10倍,适配新本体仅需50—100条人类示范数据,在RoboTwin 2.0基准测试中取得96.1分位居榜首,并已在银河通用、星尘智能、千寻智能等近十种本体上完成验证;

L4、L5 仍然是远处的目标:长期目标、自主探索、持久记忆、多智能体协同,都还没有被现有系统完整解决。

当我们把“通用世界模型五级发展路线”连起来看,它是从视频生成到环境模拟,再到机器人决策控制”的通用世界模型演进逻辑,强调能力逐级递进,每一级均需完成对应的真机验证与能力补齐。

2026年9月,上海外滩大会上,生数科技进一步预告了面向灵巧操作的自进化通用世界模型Motus2,引发专业观众广泛关注。

Motus2 既是迈向自主世界智能体的一步,也是一次自我演化的关键尝试。


不是再给机器人增加一个动作输出头,而是让同一组共享参数承担三种彼此咬合的工作。

第一种工作是策略:提出几段可执行的动作候选。第二种工作是模拟:在输入这段动作后,预测接下来可能出现的视觉后果。第三种工作是评估:判断这些被预测出来的未来,哪一个更接近任务目标。

这使机器人不必把每个候选动作都放到真机上撞一次南墙。它可以先在模型里“看见”若干分支,再选择更值得执行的一步;执行后的成功、失败和次优结果,又会成为动力学建模与价值学习的材料,回到策略改进中。

这也是 Motus2 所说“自进化”的可解释含义:不是把“会学习”包装成一个抽象形容词,而是让动作、后果、评价与更新进入同一条闭环。与“视觉模型加一个动作模型”的串联不同,这里策略、模拟器和评估器共享世界表示,彼此不是后处理关系,而是在训练和决策时共同约束同一件事:这一步会给世界带来什么后果。

04


从闭环到现实:

通用世界模型的三道工程关

从理论到落地,世界模型面临三重工程壁垒:

第一是数据。训练数据是一座金字塔:底座是网络视频提供常识,比如视频里杯子不会飘起来,塔尖是真实机器人轨迹验证物理后果。缺底座动作长不大,缺塔尖落不了地。


第二是架构。MoT融合多模态不是目的,目的是对同一世界状态的一致理解。视觉看到的、语言理解的、动作对准的,必须是同一个杯子,否则就会张冠李戴。

第三是算力。这是进厂最后一公里。Motubrain的5Hz推理频率不是Benchmark数字,而是机械臂的生死线,频率不够就会反应太慢或动作断连。

当这三块拼图补齐,世界模型将不再局限于单一产品,而是成为驱动数字世界与物理交互的底层引擎。

今天的视频模型主要生成一段预先计算好的内容,未来的世界模型则可以持续维护一个可交互、可演化的数字环境:角色能够理解用户意图,根据互动实时改变行为,场景也会随着用户行动不断向前发展。

游戏、影视制作、虚拟人、直播、电商以及智能客服,都可能从“一次性生成内容”进一步走向“实时生成世界”,这里的想象力,巨大。

另外,在物理世界里,GWM则可能成为机器人及其他自主智能体理解和行动的共同基础。机器人不再只是针对某项任务学习一套固定策略,而是先理解当前环境,预测不同动作可能带来的结果再行动,并根据真实反馈持续修正。

这意味着,无论是较早落地的仓储物流、工业制造,还是长期来看当机器人走进家庭、商业空间和开放环境,面对不断变化的人、物体和任务,“在行动之前预见未来”的能力,会成为通用机器智能真正进入现实世界的基础。

05


从南北坡向AGI顶峰攀爬

把视野从生数的一组模型,拉回全球 AGI 的长线竞逐,会发现一个正在变得清晰的事实:通往通用智能的道路,并没有收敛成一条。

一边,语言模型正在迅速向代码、工具调用与智能体延展。它们吸收了人类已经写下的知识、规则与经验,开始在数字世界里阅读、推理、规划、执行。智谱所代表的,正是这条从语言、知识和 Agent 出发的路径。

另一边,世界模型正在逼近更难的一层问题:如果机器不只需要回答“世界是什么”,还需要知道“我这样做,世界接下来会怎样”,它就必须理解时间、空间、物体、接触、变化与后果。生数从视频生成、实时交互一路走到世界动作模型,所攀爬的正是这条从动态世界与真实反馈出发的路径。

它们像同一座山的南北两坡。

北坡积累着人类文明留下的语言、代码与符号系统。它路更宽,知识更密,擅长让机器理解人的意图、组织复杂任务、在数字世界里调用工具。

南坡则更像一片尚未完全测绘的山地。那里没有现成答案,只有不断变化的场景、难以穷尽的物理规律、接触时的细微误差,以及每一次行动之后才真正显现的后果。它要求机器不只会复述经验,还要学会在行动前预演未来,在行动后从失败中修正自己。

这不是两条竞争关系,而是 AGI 必须补齐的两种能力。

没有语言,机器难以理解人类的目标、指令与抽象意图;没有世界模型,机器就难以把这些意图放进真实时空中验证,更难对自己的行动后果负责。语言给 AI 以知识,世界给 AI 以经验;语言让它能够讨论世界,世界模型让它终于有机会进入世界。

这也是生数通用世界模型路线真正的意义。Vidu 让模型学习世界如何演化,Motubrain 与 Motus2 则把观察、动作、后果与反馈进一步压进同一条闭环。

朱军提出的通用世界模型五级路线,是这一切的基础。

今天,当 OpenAI 持续推进语言与智能体,World Labs 押注空间智能,全球科技公司都在寻找从数字世界走向物理世界的入口时,中国并非只是在追赶某一张榜单或复刻某一种范式。

智谱在语言智能上的积累,生数在世界建模上的探索,正在构成中国 AGI 版图上两条清晰而彼此支撑的主线。

当机器既能读懂人类写下的世界,也能在尚未发生的世界里看见自己的下一步;当语言中的意图能够被世界中的行动验证,并在反馈中不断修正,AGI 才真正从“谈论世界”,走向“进入世界”。

而在这场漫长的攀登里,中国已经开始在南北两坡,同时部署自己的登山队。

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
签了!中国和美国真签了!这次不是关税,也不是芯片,而是天然气

签了!中国和美国真签了!这次不是关税,也不是芯片,而是天然气

大卫聊科技
2026-09-20 13:27:56
国民党没有放弃彰化!郑丽文直言:“滩头堡”输了恐怕10年难拿回

国民党没有放弃彰化!郑丽文直言:“滩头堡”输了恐怕10年难拿回

海峡导报社
2026-09-23 19:10:04
西贝裁员:个人朋友圈转广告算贪污,30万赔偿金飞了

西贝裁员:个人朋友圈转广告算贪污,30万赔偿金飞了

小小河
2026-09-23 01:31:12
哈登打了17年,连续17年季后赛,他能像邓肯一样赢1000场吗?

哈登打了17年,连续17年季后赛,他能像邓肯一样赢1000场吗?

大西体育
2026-09-23 22:54:48
电池的权力游戏

电池的权力游戏

雪豹财经社
2026-09-23 22:47:23
楼市重磅!湖北出台“20条”新政支持楼市发展!

楼市重磅!湖北出台“20条”新政支持楼市发展!

襄阳楼市
2026-09-23 16:40:18
国家发改委:国内已有14亿部智能手机、5000多万辆电动车、1400多万辆共享单车、1.6亿台可穿戴设备搭载北斗定位服务

国家发改委:国内已有14亿部智能手机、5000多万辆电动车、1400多万辆共享单车、1.6亿台可穿戴设备搭载北斗定位服务

政知新媒体
2026-09-22 10:48:43
32万所空置小学,正在被酒店疯抢

32万所空置小学,正在被酒店疯抢

钛媒体APP
2026-09-22 11:06:09
造势无用?金球奖最新获奖概率:姆巴佩、亚马尔相加大幅落后凯恩

造势无用?金球奖最新获奖概率:姆巴佩、亚马尔相加大幅落后凯恩

体育世界
2026-09-23 13:20:12
失算了!赖清德以为不点头就建不成桥,却发现:大陆已修到家门口

失算了!赖清德以为不点头就建不成桥,却发现:大陆已修到家门口

探源历史
2026-08-31 09:57:07
高铁女孩熟睡男生盯死手机不敢转头,两百万外网围观无声的人机对峙,藏着成年人不敢破冰的社交尴尬防线

高铁女孩熟睡男生盯死手机不敢转头,两百万外网围观无声的人机对峙,藏着成年人不敢破冰的社交尴尬防线

明话直说
2026-08-25 18:07:55
浙江富豪陈天桥:我给美国捐70亿不假,但中国科学缺钱和我没关系

浙江富豪陈天桥:我给美国捐70亿不假,但中国科学缺钱和我没关系

五元讲堂
2024-10-15 14:48:49
纳乔:金球奖会投姆巴佩,巴萨球员拿也不介意

纳乔:金球奖会投姆巴佩,巴萨球员拿也不介意

懂球帝
2026-09-23 17:51:07
亚运会女足最神奇出线队:3场仅拿1分狂丢10球,淘汰赛将战中国女足

亚运会女足最神奇出线队:3场仅拿1分狂丢10球,淘汰赛将战中国女足

绿茵舞着
2026-09-23 02:33:28
普京终于捅破了那层窗户纸:这场战争背后最大的搅局者,根本不是美国,而是那个跟俄罗斯博弈了两百年的老对头

普京终于捅破了那层窗户纸:这场战争背后最大的搅局者,根本不是美国,而是那个跟俄罗斯博弈了两百年的老对头

谈史论今1
2026-09-22 21:56:14
湖北省高级人民法院对黄大发等涉黑案件二审公开宣判

湖北省高级人民法院对黄大发等涉黑案件二审公开宣判

新京报
2026-09-23 12:14:34
网上几十年来对西安事变的赞颂从未停歇,我只想说句实话:若无张学良扣押蒋介石,何来西安事变的历史转折?认清核心人物方能读懂历史

网上几十年来对西安事变的赞颂从未停歇,我只想说句实话:若无张学良扣押蒋介石,何来西安事变的历史转折?认清核心人物方能读懂历史

人生录
2026-09-16 00:05:14
闹乌龙了!上午通知连放13天,下午突然取消,一纸反转通知让内蒙一高校登上舆论焦点

闹乌龙了!上午通知连放13天,下午突然取消,一纸反转通知让内蒙一高校登上舆论焦点

火山詩话
2026-09-22 20:09:08
太意外了!2032奥运举办地敲定:结果惊呆众人,奥运格局大变!

太意外了!2032奥运举办地敲定:结果惊呆众人,奥运格局大变!

小涛叨叨
2026-04-22 17:06:20
小米发布18 Pro系列透明特别版,起售价9999元

小米发布18 Pro系列透明特别版,起售价9999元

界面新闻
2026-09-23 20:07:12
2026-09-24 00:11:00
AI科技评论 incentive-icons
AI科技评论
点评学术,服务AI
7669文章数 20785关注度
往期回顾 全部

科技要闻

网易未来大会圆满落幕 硅基智能跨越临界点

头条要闻

33岁黄梅戏女演员确诊癌症 家人公开求助:她想活下去

头条要闻

33岁黄梅戏女演员确诊癌症 家人公开求助:她想活下去

体育要闻

300万英镑,他们买下了一位队史传奇

娱乐要闻

王玉雯杨玏被曝结婚又离 荒唐一幕出现

财经要闻

电池的权力游戏

汽车要闻

一键成床/华为全家桶/全系宁德时代 启境GX7限时22.99万元起

态度原创

艺术
游戏
家居
教育
本地

艺术要闻

23幅 Zalkar Tenirberdiev风景油画选(二)

LOL一哥意外曝光银行余额,八位数现金秒上热搜!网友:贫穷限制想象

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

晚自习到21:30被投诉,没晚自习被追问:同一个月,成都两位家长的官方回复

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

无障碍浏览 进入关怀版