网易首页 > 网易号 > 正文 申请入驻

5份资源入门世界模型:从CS285到清华综述

0
分享至

世界模型正在成为现代AI研究里最值得关注的领域之一。它不满足于把输入映射成输出,而是去学习一个环境如何运转——预测下一步可能发生什么,模拟多种结果,帮AI系统规划动作。视频生成、机器人、具身智能、物理推理,这些近期系统背后都有世界模型的影子,而它们的底层思路大多来自强化学习和基于模型的规划。


问题在于,从基础到Dreamer、Genie这类系统,没有哪一份资源能一口气带你走完。但把几份材料拼起来,足够看懂它是怎么运转的。以下是2026年学世界模型的5份最佳资源。

1. UC Berkeley CS 285:深度强化学习

如果你对世界模型完全陌生,与其一头扎进最新论文,不如从这里开始。这门课由Sergey Levine讲授,覆盖理解"世界模型为什么有用"所需的基础:强化学习、控制、深度学习,并专门包含基于模型的强化学习内容。

最相关的部分是规划、最优控制、学习动力学和基于模型的强化学习这几讲。课程提供讲座录像、讲义和作业,数学推导和代码实现都能练到。

2. Stanford CS348K:世界模型导论

有了强化学习底子之后,斯坦福的这节世界模型导论讲座是更直接的入口。它属于斯坦福2026年春季CS348K课程,线上可看,PDF幻灯片可下载。

内容覆盖视觉与空间计算工作负载,包括基于生成式AI的世界创建、潜在世界表示、非像素化方法,以及具身智能体。它不是一门完整课程,但作为"世界模型到底是什么"的起点足够好用。

3. David Ha与Jürgen Schmidhuber的World Models

这大概是世界模型领域最重要的一份资源。David Ha和Jürgen Schmidhuber的原始工作普及了一个简单却有力的想法:智能体可以学习环境的压缩表示,学习这个表示如何随时间演化,然后在内部模拟环境中训练控制器。

架构由三个主要部分组成:

  • 视觉模型把观测压缩成更小的潜在表示
  • 记忆模型学习这些潜在状态如何随时间变化
  • 控制器用学到的表示决定采取哪个动作

最有意思的一点是,智能体有时可以在自己学到的环境里训练,而不必每一个训练步都和真实环境交互。项目网站对初学者友好,包含讲解、图示、动画、实验和实现链接。尽管Dreamer和大型视频世界模型等现代系统更复杂,核心直觉非常相似。

4. 斯坦福世界模型与基于模型的强化学习阅读清单

理解基本概念之后,下一步是搞清楚该读什么。如今与学习动力学、基于模型的强化学习、潜在环境、生成式模拟器、具身世界模型相关的论文已有数百篇。

这份斯坦福阅读清单提供了可控得多的起点,目前精选十篇重要论文,勾勒出从早期神经世界模型到现代方法的演进路径。清单包括World Models、PlaNet、Dreamer、DreamerV2、SimPLe、DayDreamer、Genie和TD-MPC2。

这个顺序的价值在于能看清领域如何演化:原始World Models证明智能体可以学到一个紧凑的内部模拟器;PlaNet探索直接在学到的潜在动力学里做规划;Dreamer转向用想象轨迹学习策略;更晚的系统把类似概念扩展到机器人和大规模生成式环境。与其随机搜论文,不如按这份清单一篇篇读下去。

5. Awesome World Model + 世界模型综合综述

清华大学相关研究者创建了Awesome World Model仓库,并配套发表了综述《Understanding World or Predicting Future? A Comprehensive Survey of World Models》。该综述已被ACM Computing Surveys接收,仓库则持续整理世界模型研究各分支的论文与资源。

覆盖方向包括:

  • 基于模型的强化学习
  • 自监督学习
  • 大语言与多模态模型
  • 视频生成与交互式3D环境
  • 游戏智能与具身智能
  • 自动驾驶与城市智能

综述适合在掌握基础之后阅读,它解释了这些看似不同的研究方向如何被归到世界模型这顶大伞之下。仓库不建议从头读到尾,收藏起来,想探索某个分支时当参考用即可。

附加:World Models Handbook

如果你更习惯看书而不是在讲座和论文之间跳来跳去,Michael Brenndoerfer的World Models Handbook是相当对口的一份资源。可在线免费阅读,PDF版本需付费购买。

这本书仍在完成中:网站目前列出72个计划章节,已发布39章。它先从一个小的端到端世界模型入手,再引入动力系统、部分可观测性、贝叶斯滤波、系统辨识、不确定性、物理和因果性等基础,之后进入现代架构,包括循环状态空间模型、Transformer、自回归token模型、扩散与流模型、JEPA这类预测性嵌入,以及多模态基础模型。规划方法和主要研究脉络也有涉及——Dreamer、MuZero、TD-MPC、Genie、Cosmos和视觉-语言-动作模型。

世界模型不是某一种特定的神经网络架构。它处在强化学习、表示学习、规划、视频生成、机器人、控制和具身AI的交汇处,所以只翻开最新一篇论文很难学明白。

更合理的策略是从基础往回推:先理解智能体如何用环境模型学习和规划,再研究原始神经世界模型架构,然后看新研究如何把同一思路扩展到潜在表示、大规模模拟器、视频预测、机器人和物理AI。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
聪明反被聪明误!洛夫顿执意投奔广东,一波操作尽显尴尬

聪明反被聪明误!洛夫顿执意投奔广东,一波操作尽显尴尬

体育见习官
2026-10-17 07:52:15
北约盟友公开反水,欧洲集体倒戈,美国一夜之间成了世界公敌?

北约盟友公开反水,欧洲集体倒戈,美国一夜之间成了世界公敌?

浯江孤舟
2026-08-17 12:54:56
日本女星直播自爆「14岁怀过中国人小孩」被骂翻后道歉,网友不买账了!

日本女星直播自爆「14岁怀过中国人小孩」被骂翻后道歉,网友不买账了!

日本物语
2026-10-16 22:38:59
许家印的靠山,被起诉了

许家印的靠山,被起诉了

哲空空
2026-05-22 13:40:53
太硬核了!女孩生理期聊天记录刷屏,男友回复“没遇到我之前你是咋过的”,一句话引爆舆论

太硬核了!女孩生理期聊天记录刷屏,男友回复“没遇到我之前你是咋过的”,一句话引爆舆论

火山詩话
2026-10-17 07:03:59
A股:全体股民提前做好准备了,后天周一10.19,A股或迎来修复行情?

A股:全体股民提前做好准备了,后天周一10.19,A股或迎来修复行情?

风风顺
2026-10-18 00:00:07
“这种环境都能排卵?”女毕业生表白单位男领导,评论区炸锅了

“这种环境都能排卵?”女毕业生表白单位男领导,评论区炸锅了

世界圈
2026-10-05 20:58:42
20岁小伙奔驰试驾70次不买,女销售:你下单,我任你处置,他买后傻眼

20岁小伙奔驰试驾70次不买,女销售:你下单,我任你处置,他买后傻眼

如烟若梦
2025-08-25 18:45:03
人社部、中央网信办、教育部、公安部、国务院国资委,联合发布重要提示

人社部、中央网信办、教育部、公安部、国务院国资委,联合发布重要提示

政知新媒体
2026-10-17 10:41:06
我退伍8年回乡,得知当年暗恋的班花依然单身,生活艰难,我拿着2万块钱去帮忙,开门见到是我,她泪流满面:你终于回来了

我退伍8年回乡,得知当年暗恋的班花依然单身,生活艰难,我拿着2万块钱去帮忙,开门见到是我,她泪流满面:你终于回来了

百晓史
2026-09-11 08:04:35
切赫悲剧重演?34岁大马丁头部被对手撞击:治疗8分钟 被担架抬走

切赫悲剧重演?34岁大马丁头部被对手撞击:治疗8分钟 被担架抬走

风过乡
2026-10-17 21:28:33
“让企退人员闭嘴”翻车!千万人的民生事,凭什么不让人表达观点

“让企退人员闭嘴”翻车!千万人的民生事,凭什么不让人表达观点

笑熬浆糊111
2026-09-21 08:59:01
特朗普行程敲定,先去菲律宾再来中国,但马科斯还没到开心的时候

特朗普行程敲定,先去菲律宾再来中国,但马科斯还没到开心的时候

介知
2026-10-18 02:38:18
李嘉诚的命,真硬!

李嘉诚的命,真硬!

梳子姐
2026-10-15 15:48:06
她出轨冲上热搜,聊天记录太炸裂了…

她出轨冲上热搜,聊天记录太炸裂了…

黎兜兜
2026-10-15 08:09:26
北京40岁老板花3000万捡漏四合院,院子墙角莫名渗水,挖开后傻眼

北京40岁老板花3000万捡漏四合院,院子墙角莫名渗水,挖开后傻眼

白云故事
2025-06-17 08:35:23
发现了个特别的现象:电车没有干掉油车,但干掉了汽车修理厂!

发现了个特别的现象:电车没有干掉油车,但干掉了汽车修理厂!

铭记历史呀
2026-10-16 02:54:22
这身材绝了,她是怎么做到又瘦又有肉的?

这身材绝了,她是怎么做到又瘦又有肉的?

草莓解说体育
2026-09-19 09:15:11
马科斯暴怒不已!他没想到,中国的油,不再给菲律宾“开小灶”

马科斯暴怒不已!他没想到,中国的油,不再给菲律宾“开小灶”

闻香阁
2026-10-18 02:02:35
郑秉文设计的“养老金改革方案”,导致差别过大,到该修正时候了

郑秉文设计的“养老金改革方案”,导致差别过大,到该修正时候了

游文刀
2026-09-30 00:30:13
2026-10-18 07:51:00
字节漫游指南
字节漫游指南
有态度网友ytd
222文章数 126关注度
往期回顾 全部

科技要闻

刘煜辉:99%的黄金分析师报告一钱不值

头条要闻

96岁爷爷因年龄被旅行社拒绝 乘40小时火车到西藏旅游

头条要闻

96岁爷爷因年龄被旅行社拒绝 乘40小时火车到西藏旅游

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

庾澄庆罕谈前妻 撕下伊能静仅剩的体面

财经要闻

新一轮大跌源头,找到了!

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

时尚
本地
游戏
艺术
数码

降落伞裤的3组搭配,打破秋冬沉闷感!

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

《使命召唤:现代战争4》Switch 2版支持DLSS

艺术要闻

美到窒息!黛安笔下的午后“印象”,明媚又温柔,看完心情都亮了!

数码要闻

超七成笔记本OLED被三星拿捏!中国面板厂开始反击了

无障碍浏览 进入关怀版