网易首页 > 网易号 > 正文 申请入驻

5份资源入门世界模型:从CS285到清华综述

0
分享至

世界模型正在成为现代AI研究里最值得关注的领域之一。它不满足于把输入映射成输出,而是去学习一个环境如何运转——预测下一步可能发生什么,模拟多种结果,帮AI系统规划动作。视频生成、机器人、具身智能、物理推理,这些近期系统背后都有世界模型的影子,而它们的底层思路大多来自强化学习和基于模型的规划。


问题在于,从基础到Dreamer、Genie这类系统,没有哪一份资源能一口气带你走完。但把几份材料拼起来,足够看懂它是怎么运转的。以下是2026年学世界模型的5份最佳资源。

1. UC Berkeley CS 285:深度强化学习

如果你对世界模型完全陌生,与其一头扎进最新论文,不如从这里开始。这门课由Sergey Levine讲授,覆盖理解"世界模型为什么有用"所需的基础:强化学习、控制、深度学习,并专门包含基于模型的强化学习内容。

最相关的部分是规划、最优控制、学习动力学和基于模型的强化学习这几讲。课程提供讲座录像、讲义和作业,数学推导和代码实现都能练到。

2. Stanford CS348K:世界模型导论

有了强化学习底子之后,斯坦福的这节世界模型导论讲座是更直接的入口。它属于斯坦福2026年春季CS348K课程,线上可看,PDF幻灯片可下载。

内容覆盖视觉与空间计算工作负载,包括基于生成式AI的世界创建、潜在世界表示、非像素化方法,以及具身智能体。它不是一门完整课程,但作为"世界模型到底是什么"的起点足够好用。

3. David Ha与Jürgen Schmidhuber的World Models

这大概是世界模型领域最重要的一份资源。David Ha和Jürgen Schmidhuber的原始工作普及了一个简单却有力的想法:智能体可以学习环境的压缩表示,学习这个表示如何随时间演化,然后在内部模拟环境中训练控制器。

架构由三个主要部分组成:

  • 视觉模型把观测压缩成更小的潜在表示
  • 记忆模型学习这些潜在状态如何随时间变化
  • 控制器用学到的表示决定采取哪个动作

最有意思的一点是,智能体有时可以在自己学到的环境里训练,而不必每一个训练步都和真实环境交互。项目网站对初学者友好,包含讲解、图示、动画、实验和实现链接。尽管Dreamer和大型视频世界模型等现代系统更复杂,核心直觉非常相似。

4. 斯坦福世界模型与基于模型的强化学习阅读清单

理解基本概念之后,下一步是搞清楚该读什么。如今与学习动力学、基于模型的强化学习、潜在环境、生成式模拟器、具身世界模型相关的论文已有数百篇。

这份斯坦福阅读清单提供了可控得多的起点,目前精选十篇重要论文,勾勒出从早期神经世界模型到现代方法的演进路径。清单包括World Models、PlaNet、Dreamer、DreamerV2、SimPLe、DayDreamer、Genie和TD-MPC2。

这个顺序的价值在于能看清领域如何演化:原始World Models证明智能体可以学到一个紧凑的内部模拟器;PlaNet探索直接在学到的潜在动力学里做规划;Dreamer转向用想象轨迹学习策略;更晚的系统把类似概念扩展到机器人和大规模生成式环境。与其随机搜论文,不如按这份清单一篇篇读下去。

5. Awesome World Model + 世界模型综合综述

清华大学相关研究者创建了Awesome World Model仓库,并配套发表了综述《Understanding World or Predicting Future? A Comprehensive Survey of World Models》。该综述已被ACM Computing Surveys接收,仓库则持续整理世界模型研究各分支的论文与资源。

覆盖方向包括:

  • 基于模型的强化学习
  • 自监督学习
  • 大语言与多模态模型
  • 视频生成与交互式3D环境
  • 游戏智能与具身智能
  • 自动驾驶与城市智能

综述适合在掌握基础之后阅读,它解释了这些看似不同的研究方向如何被归到世界模型这顶大伞之下。仓库不建议从头读到尾,收藏起来,想探索某个分支时当参考用即可。

附加:World Models Handbook

如果你更习惯看书而不是在讲座和论文之间跳来跳去,Michael Brenndoerfer的World Models Handbook是相当对口的一份资源。可在线免费阅读,PDF版本需付费购买。

这本书仍在完成中:网站目前列出72个计划章节,已发布39章。它先从一个小的端到端世界模型入手,再引入动力系统、部分可观测性、贝叶斯滤波、系统辨识、不确定性、物理和因果性等基础,之后进入现代架构,包括循环状态空间模型、Transformer、自回归token模型、扩散与流模型、JEPA这类预测性嵌入,以及多模态基础模型。规划方法和主要研究脉络也有涉及——Dreamer、MuZero、TD-MPC、Genie、Cosmos和视觉-语言-动作模型。

世界模型不是某一种特定的神经网络架构。它处在强化学习、表示学习、规划、视频生成、机器人、控制和具身AI的交汇处,所以只翻开最新一篇论文很难学明白。

更合理的策略是从基础往回推:先理解智能体如何用环境模型学习和规划,再研究原始神经世界模型架构,然后看新研究如何把同一思路扩展到潜在表示、大规模模拟器、视频预测、机器人和物理AI。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
经济日报:懂车帝商业模式集“裁判员”和“运动员”于一身,存在利益冲突,很难建立公信力

经济日报:懂车帝商业模式集“裁判员”和“运动员”于一身,存在利益冲突,很难建立公信力

极目新闻
2026-10-17 16:26:18
特朗普自曝:会给自己化淡妆,“如果不化点妆,会看起来像个死人”;他还吐槽有男议员在化妆品上砸了重金,比女议员更多

特朗普自曝:会给自己化淡妆,“如果不化点妆,会看起来像个死人”;他还吐槽有男议员在化妆品上砸了重金,比女议员更多

第一财经资讯
2026-10-17 18:18:17
净利润1300亿,长鑫科技的财报配得上3.1万亿的市值吗?

净利润1300亿,长鑫科技的财报配得上3.1万亿的市值吗?

媒体训练营
2026-10-17 19:19:32
日本召见俄大使,抗议中国商团登北方四岛,俄方回呛:你们管不着

日本召见俄大使,抗议中国商团登北方四岛,俄方回呛:你们管不着

铜臭的历史味
2026-10-17 10:46:26
65岁时我才发现老婆有25年的婚外情,她:都老了,还能和他有什么,我没闹,离婚后她躺在病床上一直喊我的名字

65岁时我才发现老婆有25年的婚外情,她:都老了,还能和他有什么,我没闹,离婚后她躺在病床上一直喊我的名字

烟火人间故事汇
2026-08-15 06:00:22
没想到!委内瑞拉民调:马查多支持率52%遥遥领先,代总统仅19%!

没想到!委内瑞拉民调:马查多支持率52%遥遥领先,代总统仅19%!

麓谷隐士
2026-10-17 00:05:04
中央气象台10月17日18时继续发布暴雨蓝色预警

中央气象台10月17日18时继续发布暴雨蓝色预警

每日经济新闻
2026-10-17 18:14:33
男女能不能发生关系,看似男人主动,其实主动权一直攥在女人手里

男女能不能发生关系,看似男人主动,其实主动权一直攥在女人手里

艺鉴在线
2026-10-18 01:42:38
全国各大寺院陷入倒闭潮,不是顾客少了,而是自己把自己拖垮了!

全国各大寺院陷入倒闭潮,不是顾客少了,而是自己把自己拖垮了!

风干迷茫人
2026-07-06 18:12:51
坏了!杨希对蓉城下必杀令,王炸也可能被重点打击;黄善洪怒赞穆斯卡特

坏了!杨希对蓉城下必杀令,王炸也可能被重点打击;黄善洪怒赞穆斯卡特

光影捕手r
2026-10-18 04:16:08
一个贪财一个好色!三婚娶小37岁徒弟,81生女84生儿,现活成这样

一个贪财一个好色!三婚娶小37岁徒弟,81生女84生儿,现活成这样

兵卒史
2026-10-13 00:43:48
1987年中越“黑豹行动”,88人仅有8人走下战场,场面极其惨烈

1987年中越“黑豹行动”,88人仅有8人走下战场,场面极其惨烈

文史达观
2026-03-20 23:33:59
惊人预言:此轮房价,一定是洪水滔天,人口、收入不值一提

惊人预言:此轮房价,一定是洪水滔天,人口、收入不值一提

深度解析热点
2026-10-16 18:25:51
永不原谅!杨议硬刚郭德纲,潘长江补刀,这次谁都救不了

永不原谅!杨议硬刚郭德纲,潘长江补刀,这次谁都救不了

角落的隐藏美景
2026-10-17 11:42:52
伟大的长征:当李德指挥权被撤时,才知毛泽东得到大家支持的真相

伟大的长征:当李德指挥权被撤时,才知毛泽东得到大家支持的真相

掠影后有感
2026-10-17 09:32:06
两性心理学:同房时真正生理性喜欢,不是接吻,不是拥抱,而是这种感觉

两性心理学:同房时真正生理性喜欢,不是接吻,不是拥抱,而是这种感觉

心理观察局
2026-09-14 06:16:07
梅根与哈里回英首个公开活动,人人都爱公爵夫人!哈里还攥着一张威廉永远够不着的牌

梅根与哈里回英首个公开活动,人人都爱公爵夫人!哈里还攥着一张威廉永远够不着的牌

陈意小可爱
2026-10-17 00:45:16
涉案27亿!缅北电诈大佬落网,靠明星人脉蛰伏三年,终被天网收剿

涉案27亿!缅北电诈大佬落网,靠明星人脉蛰伏三年,终被天网收剿

娱乐洞察点点
2026-10-18 01:14:29
霸气,火箭队凯文·杜兰特回击太阳队老板关于交易得到他的言论

霸气,火箭队凯文·杜兰特回击太阳队老板关于交易得到他的言论

好火子
2026-10-18 03:16:55
戴笠心腹奉命抓捕李克农,见面居然先敬军礼,全程亲自护送到重庆

戴笠心腹奉命抓捕李克农,见面居然先敬军礼,全程亲自护送到重庆

纪史行者
2026-10-01 06:40:10
2026-10-18 05:35:00
字节漫游指南
字节漫游指南
有态度网友ytd
219文章数 126关注度
往期回顾 全部

科技要闻

刘煜辉:99%的黄金分析师报告一钱不值

头条要闻

普京:包围并消灭2000人的乌军集群 这非比寻常

头条要闻

普京:包围并消灭2000人的乌军集群 这非比寻常

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

庾澄庆罕谈前妻 撕下伊能静仅剩的体面

财经要闻

新一轮大跌源头,找到了!

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

教育
游戏
时尚
数码
军事航空

教育要闻

“婚宴上学习的儿子”被群嘲,家长以为是学霸料子,网友:这叫不合时宜

《使命召唤:现代战争4》Switch 2版支持DLSS

降落伞裤的3组搭配,打破秋冬沉闷感!

数码要闻

超七成笔记本OLED被三星拿捏!中国面板厂开始反击了

军事要闻

“星盾”限速事件加剧美乌裂痕

无障碍浏览 进入关怀版