“我没疯，是整个AI圈疯了！”强化学习之父：没有任何动物靠监督学习长大，大模型上线后根本没在学习

　　要迈向新范式，大厂根本承受不起性能倒退的阵痛。

　　 编译 | 王启隆

　　 出品丨奇点折射（ID：rgznai100）

　　强化学习的奠基人、《苦涩的教训》（The Bitter Lesson）作者理查德·萨顿（Rich Sutton），最近带着他的学生胡拉姆·贾韦德（Khurram Javed）去红杉资本录了一期播客。他们刚刚联合创办了一家名为 Oak Lab 的新机构，准备从底层推翻目前大模型的主流做法。

　　现在的 AI 圈子里，大家都在忙着做两件事：把模型越做越大，以及在互联网数据不够用时，拼命用算法生成“合成数据”继续喂给模型。但萨顿在访谈里直接泼了一大盆冷水。他直言合成数据纯粹是个巨大的错误，现实世界的复杂性远非任何人类写的模拟器能穷尽；而当下最火的大语言模型，部署上线之后权重就彻底焊死了，“根本没在学习”，最多只算得上智能的四分之一。

　　面对满世界的质疑，这位经历过上一次 AI 寒冬、曾从癌症晚期死里逃生的老学者态度很坚决：“我没疯，是这个领域疯了。”

　　萨顿和贾韦德在这次对话里不仅拆解了为什么前沿大实验室会被困在各自的“局部最优解”里不敢转身，也给出了他们的终极解法——抛弃现有的静态训练，攻克灾难性遗忘，在五到十年内造出一个像真实生物一样边行动边进化、功耗却只有 20 瓦的持续心智系统。

　　核心观点

　　监督学习的本质：

没有任何动物是通过监督学习（supervised learning）来学习的。学校是一种非常特殊的机制，人类甚至在几百年前都还没有现代学校。它根本不是智能的本质所在，把它当成学习的主要范式完全是本末倒置。作为动物，我们本就不靠上学来获得生存智能。

　　大模型到底在不在学习：

“我们在模型发布前做了太多的预训练和后训练，但上线之后它就停止学习了。它们的权重根本没变过。如果你认为可以打造出一个拥有博士级专业能力、但此后却彻底不再学习的系统，那真正奇怪的人是你们。”

　　合成数据与真实世界：

“合成数据纯粹是一个巨大的错误。世界是无限庞大和复杂的，任何单一模型都只能做局部近似。你无法给无人机电机的磨损生成保真的合成数据，也无法给别人脑子里在想什么生成合成数据。必须把人类从循环里剔除，让 agent 直接在现实经验中摸索。”

　　大实验室为什么无法转向：

“他们被困在了局部最优解里。要迈向新范式，在变好之前注定要先经历一段变差的阵痛期，第一天不可能直接刷出 SOTA。大厂已经被成熟产品的商业闭环锁死了，他们承受不起这种倒退。”

　　语言模型的终局：

“大语言模型是一项令人惊叹的突破，但为什么不能坦然承认它只是 AI 的一个局部子问题？语言确实重要，但也许只占智能的四分之一。我们的探索远没有结束。”

　　以下为本次对话的内容：

　　我没疯，是这个领域疯了：所有的学习本来就该是持续的

　　主持人：今天非常荣幸能邀请到伟大的理查德·萨顿教授。理查德，你开创了强化学习，撰写了该领域的奠基性教材，并培养了包括戴夫·席尔瓦（Dave Silver）在内的一大批领域支柱。你撰写的论文《苦涩的教训》（The Bitter Lesson），我认为称得上是该领域的圣经；你一直是推动 AI 领域向前发展的巨人之一。非常感谢你今天抽空来到我们的节目。

　　今天与理查德一同出席的还有胡拉姆·贾韦德，他是阿尔伯塔大学毕业的博士生，也是理查德联合创立 Oak Lab 的合伙人。两位联手创立了 Oak Lab，我非常期待今天能与二位深入探讨。我们将从《苦涩的教训》、我们今天所认知的世界现状、以及大语言模型（LLM）是否能带我们走向终局聊起；随后，我们将转向你们的研究议程以及 Oak 的宏伟规划。

　　理查德，不妨带我们回到过去。我原本打算直接聊《苦涩的教训》，但我想把时间线拉得更早一些。几十年前，你就决定将毕生精力投入到强化学习、特别是深度强化学习的研究中。在强化学习尚处于萌芽阶段时，你就把阿尔伯塔大学打造成了该领域的学术重镇。当时究竟是什么给了你如此坚定的信念？

　　Rich Sutton：还能干什么呢？我们一直在试图理解心智的本质，而学习正是心智的核心所在。拥有目标同样是心智的核心，也是智能的核心。所以，我只是在自己一贯的想法上孤注一掷罢了。

　　主持人：当时大家都觉得你疯了吗？

　　Rich Sutton：那时候正值 AI 寒冬。那是哪一年？2003 年吧。其实挺疯狂的。事实是，当时我病得很重。我快死了——2003 年我真的患上了绝症，癌症晚期。但我又还没完全死掉。我抗争了好些年，始终没有咽气，又一次进入了病情缓解期。于是我想：“既然我还没死成，既然死不了——这病拖得够久了——那我索性去找份新工作吧。”

　　于是我去了阿尔伯塔大学，并在那里开始了教学生涯。最终我没有死。这简直不可思议。我现在说起来像是在开玩笑，但当时情况非常严重。这也引出了一个更加尖锐的问题：在生命只剩下几个月的时候，我为什么还要坚持做这项研究？

　　这总让我想起本杰明·富兰克林的一句名言：如果你纳闷一个人为什么要做某件事，原因几乎脱不开两样东西——要么是习惯，要么是虚荣。我想这话多半是对的。也许是习惯让我日复一日做着我一直在做的事，也许是虚荣心作祟。我说不准。但我感觉更像是习惯，因为当时我真的快死了。

　　主持人：哇，这真是天意眷顾。

　　Rich Sutton：对我来说，始终保持坚定的信念从来都不是难事。在这个问题上，我想多补充几句。人们总觉得我的观点很激进。有时提问者一开口就会说我的想法与众不同。但我完全不这么认为。我觉得我的思考方式非常普通；反倒是其他人的思维变得很奇怪。

　　只要回顾一下哪怕仅仅十年前人们对心智的理解，你就会发现当时的主流认知是：学习至关重要；系统必须拥有目标；感知至关重要；人类属于低阶存在，一边以极高的速度产生动作、感知数据，一边又必须在更高层次上进行思考。

　　在当前这波 AI 狂潮之前，你根本不需要特意说“持续学习”，因为谈论一种“不持续的学习”本身就讲不通。所有的学习都是持续不断的，它不是某个特殊的阶段。我们始终在行动，并在行动中学习。这才是最自然的思维方式。我没疯，是这个领域疯了。是学界非得发明“持续学习”这个词。它其实就是学习本身。我没疯，疯的是其他人。

　　主持人：这真是一句绝佳的人生座右铭。我们必须把它发到社交平台上。我们由衷庆幸你战胜了病魔，整个 AI 领域也都庆幸你活了下来。感谢你不断拓宽 AI 的前沿，也感谢你培养了这么多同样在推动前沿发展的优秀学生。过去二三十年里，你是如何挑选这些学生的？

　　Rich Sutton：我向来喜欢保持谦逊，并说明这些伟大的决定往往只是自然而然发生的。我对挑选学生的看法也是如此。我并不觉得自己在挑学生方面有多厉害。有时候我运气好，有时候运气差。我不觉得自己特别擅长挑选学生。我现在看着胡拉姆。我觉得有时候你就是会碰上非常出色的年轻人。戴夫·席尔瓦当年也是主动挑中了我。

　　主持人：那你当初是怎么遇到胡拉姆的？

　　Khurram Javed：我当时刚读完硕士，导师并不是理查德，我原本计划直接去业界工作。后来我们碰巧合作了一个项目，那次合作也是自然而然促成的。我当时做了一点研究，理查德在一次会议上听说了，接着我就被拉进了项目。我们开始了合作，过程非常顺利。我对那次合作感到非常愉快，理查德也有同感。

　　大约六个月后，我们取得了一些进展，直接顺理成章地将这些成果转化为博士开题报告。在这个过程中，我从没有正式提交过申请，也从没主动问过：“你能做我的博士生导师吗？”我们先是一起工作，然后一致觉得这是一个非常棒的博士课题，之后我才正式申请了博士项目。人生的际遇往往就是这么出人意料。

　　主持人：2019 年你撰写了《苦涩的教训》，如今它已成为 AI 领域的当代经典。2019 年是个很有意思的时间节点。ImageNet 诞生于 2009 年，AlphaGo 问世于 2015 年，而当下围绕大语言模型的 Scaling 范式当时尚未爆发，尽管深度学习早已证明了自身的实力。究竟是什么促使你在那个时刻进行反思并写下这篇文章？

　　Rich Sutton：这是厚积薄发的结果。《苦涩的教训》所表达的，是你在过去数十年中都能观察到的现象。这很大程度上源于我对符号主义 AI（Symbolic AI）那一时期的亲身经历。

　　这篇文章的核心思想就在于：不要因为试图注入人类知识而分心，而应该专注于问题本身需要什么，以及如何利用计算能力进行规模化扩展。在发表前至少一年，我就写过几个版本，并在演讲中探讨过这一观点。它并不是对某个特定时刻的即兴回应，而是我对多年来各路人马试图以不同方式构建智能系统的漫长经历做出的总结。

　　主持人：《苦涩的教训》核心精髓究竟是什么？这大概是我最近在各种会议上听到频率最高的词了。鉴于它的爆火，我想它肯定遭遇了各种偏离你初衷的曲解和滥用。你认为它的精髓是什么？人们在理解它时最容易走入哪些误区？

　　Rich Sutton：你让我想到了 X（推特）。我最近发了一条帖子，试图用 26 个英文单词来概括《苦涩的教训》。大意是这样的：“不要被人类知识所干扰，AI 历史上屡次犯下这种错误。相反，应当专注于那些能够随算力扩张而扩展的学习方法，比如搜索与学习。”

　　它的核心完全在于聚焦算法和算法改进。它绝不是说你不需要精妙的算法。你需要精妙的算法，但你想要的是能够随算力扩张而非随数据或人类干预而扩展的精妙算法。

　　主持人：那么问题来了：大语言模型又该如何看待？它们是契合《苦涩的教训》，还是违背了它？

　　Rich Sutton：我思考过这个问题，我记得我还专门写过另一篇帖子，结论是：大语言模型既是《苦涩的教训》的正面典型，也是反面典型。首先，大语言模型实现了算力上的巨大扩展。你能把整个互联网的数据生吞下去，并进行极大规模的 scaling。这确实是一种通过可扩展的方法获得能力更强大系统的方式。

　　但随着进一步深入，它最终会受到这些信息的制约。互联网是有限的，你很难获得更多的样本。而现实世界极其庞大——远比我们存放在互联网上的所有数据都要庞大得多。最终，它可能会演变成一个反面典型，因为我们过度依赖人类知识，而这最终会限制我们的发展。

　　合成数据是个巨大错误，真实世界永远比模型大得多

　　主持人：我能就这点追问一下吗？目前基础模型实验室正在全力攻关的一个方向就是合成数据（synthetic data）生成，希望以此突破既有人类互联网这一“化石燃料”的枯竭瓶颈。合成数据生成是否属于这种 LLM Scaling 范式的一部分？它算不算是利用计算能力的通用方法？

　　Rich Sutton：不，那纯粹是一个巨大的错误。

　　主持人：为什么？

　　Rich Sutton：这是个天大的错误，大到它很可能会成为下一个沉痛的教训。这个观点在阿尔伯塔大学已经酝酿了五到十年。我们称之为“大世界视角”（Big World perspective），或者“大世界假说”（Big World Hypothesis）。胡拉姆最终把它写成了一篇名为《大世界假说》的论文。

　　所谓大世界，是指现实世界是无限庞大的，其中有无穷无尽的事物需要去学习。你可以让人去生成合成数据集，但世界上永远有更多未知的事物需要学习。正因如此，如果你能够直接从经验中学习——如果能把人类从循环中剔除——你就能打造出无所不能的系统。世界无比庞大，我们希望它们完成的任务纷繁复杂，而它们本应通过自身的经验去学会做好任何事。

　　主持人：回到合成数据的问题：谁来决定什么是好的合成数据，什么是坏的合成数据？我可以写个程序输出海量合成数据，但这在当下可能会毁掉模型表现。

　　Khurram Javed：是由人类来决定的，而这恰恰就是瓶颈所在。你可以让工程师来决定如何生成这些数据集，但你必须依赖那些懂得分辨数据集优劣的人类专家。这种路径的扩展上限，直接受限于人类本身的瓶颈。

　　主持人：难道我的损失函数曲线（loss curve）无法判定在数据集 A 和数据集 B 之间，模型到底提升了多少吗？

　　Khurram Javed：但如果 OpenAI、Anthropic 或其他顶尖实验室的所有工程师明天集体去度假，谁来生成这些合成数据？问题就在这里。数据不是源于 agent 自身的经验，也不是 agent 自主生成的。必须有人去判定生成什么样的合成数据才是正确的，而这需要人类的专业知识。

　　举个例子，如果你希望系统去完成一项在物理层面极具挑战的任务——比如你想让一架无人机像蝙蝠一样利用回声定位来飞行——对此什么才是正确的合成数据？你必须聘请领域专家来摸索出正确的数据形态并把它生成出来。只有到那时，模型才可能从中学习。但必须先有领域专家存在，所以你被人类专家的认知极限卡死了。

　　主持人：但是你可以构建无限的虚拟合成世界。而现实世界是有限的。我们还是回到回声定位的例子。我想要一架能够利用回声定位自我定位和移动的无人机。机器人可以生成自己的经验，并从中学习。但如果不靠人类先搞明白原理，无论你生成多少合成数据——哪怕你生成能涵盖五十个不同宇宙的数据——它都无法完成这项任务。

　　Rich Sutton：首先，合成数据是错的。它不可能是准确的。它只是一个合成出来的虚假世界，而不是真实世界，而这一点至关重要。现实世界的复杂程度超乎想象。如果你写一小段代码来生成合成数据，它生成出来的充其量只是一个微缩模型。

　　对我而言，真正重要的是你此刻脑子里在想什么。你在问：“为什么我不能弄点合成数据？告诉我其他人脑子里在想什么。”我们根本不可能针对其他人的心智生成合成数据。其他人的心智对我们至关重要。我今天和你们坐在这里谈投资，所以我关心你们脑子里在想什么。我怎么可能拿到这种事情的合成数据？说到底，你几乎无法对任何真实事物生成完全保真的合成数据。

　　你无法合成无人机在物理世界中如何与环境发生交互的数据，也无法合成机器人电机内部的摩擦与磨损数据。世界是无限复杂的，任何对它的模拟都微不足道。

　　大世界假说指出：现实世界的复杂程度，远远超出了你的心智、或者任何单一 agent 的容量。这是显而易见的，因为世界本身就包含了无数其他 agent。正因为世界极其庞大复杂，你绝不可能做出任何敢自称最优或完美的系统。你注定是不完美的，你必须依赖近似算法。而这些近似与现实之间存在着巨大的鸿沟。

　　这正是我们必须坚持持续学习的根本原因。我们必须持续学习，因为我们随时会遇到这个广袤世界的某一个特定角落，我们必须针对自己身处的这一局部环境学习一套近似模型，而不是去拟合那些我们根本不在其中的其他部分。

　　主持人：我想再追问一次。抱歉我这么刨根问底，我只是想把逻辑彻底搞清楚。据我所知，最新一批自动驾驶汽车公司主要是先在仿真模拟中训练，然后再进行一些后训练（post-training）以确保它们能在现实世界中正常工作。事实证明这是一套非常有效的管线。

　　Khurram Javed：关键的问题在于：搭建那个模拟器耗费了多少工程师的心血？难道我们真的准备承认，唯一值得解决的问题，只有那些我们能雇得起庞大工程师团队去预先搭建模拟器的问题吗？

　　我相信他们肯定经历了无数次迭代。他们构建了模拟器，在里面进行训练，意识到存在无法接受的“虚实差距”（sim-to-real gap），然后再去修复模拟器。这本质上是人类参与在循环中去修补模拟器——从现实世界获取反馈，然后再去修改模拟环境。我们为什么不能把人类拿掉，让 agent 自己来做这件事呢？当它再次上路驾驶时，必然会遇到始料未及的情况，而那正是它从自身经验中学习的最佳时机。

　　主持人：所以你的核心观点是：未来从真实经验中涌现出的数据量，将远远超出人类所能筛选和创造的极限。

　　Khurram Javed：从模拟中学习显然是有价值的，而且有更好的实现路径。agent 完全可以从自身的经验中自主学习出一个世界模型。由 agent 自主学习这个模型要好得多，因为一旦模型出现偏差，它可以借助持续学习自行修正。如果是人类搭建模拟器，那么只有当人类察觉到哪里出错时，模型才能得到更新。规划（Planning）至关重要。agent 确实应该从模拟器中学习，但前提是这个模拟器必须由它们自己构建。

　　上线后权重根本不变，那不叫学习

　　主持人：我想聊聊《苦涩的教训》中的另一部分——剔除人类先验知识。你在文章中写道：“为了寻求立竿见影的短期改进，研究人员往往试图利用他们对该领域的人类知识，但从长远来看，唯一真正起决定性作用的是对算力的利用。”

　　在我看来，部分由你的前弟子戴夫·席尔瓦研发的 AlphaGo 和 AlphaZero，正是彻底摆脱人类先验知识的胜利典范。这一成果让你感到意外吗？为什么？

　　Rich Sutton：这当然让我非常高兴，也让我感到自己当年的坚持得到了印证。但这两种可能原本都说得通。先验知识确实能帮上忙，先验知识本身没有任何问题。我在《苦涩的教训》开头就明确指出：先验知识与习得知识之间原本就不该存在对立。

　　你完全可以在系统中注入一些先验知识，然后再开启学习过程。从原理上讲，这两者完全没有对立的理由。事实上，它们都关乎知识本身。生命的本质就是获取知识和运用知识。为什么先天禀赋与后天培养莫名其妙成了宿敌？先验知识不过是你已经掌握的东西；接着你学到了更多，随着知识不断积累，新学到的东西又变成了你的先验知识。这两者本该是亲密无间的朋友。

　　但是，正如我在《苦涩的教训》开头所说，在实践中它们往往演变成了敌人。那些对现有的人类知识情有独钟的人，总是希望人类知识能大获全胜，因此他们倾向于贬低或排斥学习机制。

　　在外界眼里，我可能像是一个狂热推崇学习、极力排斥先验知识的人。但我真正感兴趣的其实是心智本身。心智具备先验知识，随后获取更多知识，而一旦获取之后，那些知识又转化为新的先验。两者是相辅相成的。

　　我之所以看起来像是个只对学习着迷的人，纯粹是因为全世界现在都在宣扬只要有足够的预置知识就行，根本不需要学习。大语言模型试图把所有知识一口气塞进系统，随后当模型实际运行、与人类交互时，它却不再进行任何学习。它们的权重根本没变过。不正常的人不是我。如果你认为可以打造出一个拥有博士级经验与专业能力、但此后却彻底不再学习的系统，那真正奇怪的人其实是你们。

　　主持人：所以你的建议是，让算法运行更长的时间，在不断持续学习的过程中逐步注入数据或先验数据——像滴灌一样随行随注？

　　Rich Sutton：两者都非常重要。从长远来看，你必须不断获取新知识并构建其结构体系。这才是决定长远未来的关键。在这个过程中，你过去积累的东西自然也会发挥作用。

　　主持人：那么在未来，当我们拥有智能机器人时，它会如何运作？我们是让它们全部从零开始学习，还是把现有的模型复制一份，让它们在各自的基础上继续学习？

　　Rich Sutton：它们是数字化的，复制起来轻而易举。我们根本不必花费天文数字的成本重新从互联网抓取数据进行训练，只需要直接复制现有的 agent，让它在当前基础上继续学习即可。从这个意义上讲，先验知识完全可以通过从上一代机器人直接复制来获得。

　　主持人：你能描绘一下，在你的设想中，一台能够从经验中学习的机器或计算设备具体是什么样的吗？

　　Rich Sutton：它可以是一个实体机器人，也可以完全运行在互联网中。例如，你可以在互联网中进行数据包路由，这种路由能根据经验动态调整，并随时间推移变得越来越高效；或者它可以是手机或电脑上与人交互的用户界面，在使用过程中变得越来越聪明。一个智能助手必须随着时间的推移变得越来越好用。它必须逐渐懂得你真正想要什么。

　　主持人：你的观点是：当前主流的基于 LLM 的助手范式，并没有真正创造出具有经验感知或持续学习能力的系统？如果确实如此，根本的断层在哪里？

　　Rich Sutton：你是在认真的吗？它们显然拥有某种记忆。它们能记住关于我的信息，也在进行某些上下文学习（in-context learning）。但它们的权重根本没变过。

　　主持人：只要改动少部分权重就足够了，还是必须让所有权重都能发生改变？

　　Rich Sutton：想想在构建大语言模型的过程中，投入了多少用于新概念结构化和生成的计算。所有这些都属于权重层面的学习，而你希望系统能够把这个过程持续下去。你绝不会希望这种学习只发生一次就彻底终结。

　　换种说法：我们在模型正式发布之前做了太多的预训练和后训练，但上线之后模型就停止学习了。我们争论的焦点在于，我们没有让它们在上线后继续学习。我们爱做多少预训练和后训练都可以，但当我真正使用模型时，它却不再学习了。你可以塞给它更多内容，通过提供更多上下文来改变模型的状态。如果状态发生了变化，它会基于新状态做出下一个预测。但模型本身根本没有在学习。

　　Khurram Javed：Cursor 的 Tab 键自动补全模型确实会更新，它的权重是会变的。它的 Tab 模型以及 Composer 我觉得都是持续学习的雏形例子，但目前的做法还可以好得多。据我所知，有很多人在使用 Tab 补全，公司从成千上万甚至数百万用户那里收集所有这些数据，然后基于这些批量数据对策略进行一次集中更新。

　　这种方式或许行得通，但想象一下，如果我想教会我的模型一些特定的东西，我可不想跟其他十万个人去争夺他们想教模型什么。我只想教会我的模型某些非常具体的东西，并且我只想让我这个版本的模型学会。我根本不在乎别人贡献的共享知识。集中批量更新是一种极其低效的做法。

　　主持人：目前的模式似乎是：基础通用技能固化在权重中，对所有人通用；而个性化定制则通过上下文窗口来实现。这难道不是一种合理的学习心智模型吗？难道所有的上下文都必须沉淀到权重本身之中吗？

　　Khurram Javed：上下文也可以保存在状态中，两者完全可以并存。但你依然必须具备更新权重的能力。

　　一些非常生动的案例来自于残障人士的康复过程。当人们经历某些导致心智或感知系统发生剧烈变化的风暴时，你会看到他们惊人的适应能力。举个例子，人类拥有本体感觉（proprioception）——也就是告诉我们身体各部位空间位置的内部传感器——我们依赖它来行走。

　　有些极端病例中，患者完全丧失了这种能力，导致他们寸步难行，因为本体感觉正是他们行走策略的物理基石，早已深植于大脑回路中。但在随后的两三年里，他们可以通过低头盯着双脚、借助视觉反馈重新学会走路。大脑具有极其惊人的可塑性。某些坚守了二十年的常识一旦失效，大脑就能及时更新并将其彻底重塑。这种能力正是我们认为极其有用、且亟需赋予人工系统的。

　　主持人：人类婴儿或动物的学习方式，有哪些值得我们借鉴的地方？你们从中汲取了多少灵感？

　　Rich Sutton：我们汲取了非常多的灵感。我们并不认为 AI 必须亦步亦趋地模仿自然系统——比如婴儿、人类或动物的行为——生物机制只是一种灵感来源，而不是限制条件。动物的学习机制同样应当符合《苦涩的教训》。

　　主持人：在当今系统所缺失的特性中，我们最应该从生物学习中借鉴什么？

　　Rich Sutton：我觉得我现在说的都只是个人观点，但这些观点其实是不言自明的常识。显然，没有任何动物是通过监督学习（supervised learning）来学习的，因为从来没有人会给我们示范每一块肌肉该如何抽动，而肌肉抽动才是我们唯一的实际输出。

　　Khurram Javed：但我们在学校里接受的全部都是监督学习啊。

　　Rich Sutton：绝对不是。退一步说，就算那是监督学习，学校里教的东西在我们全部所学中也只是沧海一粟。我们学会看东西，学会走路，学会理解现实世界的运行法则。即便在学校里，也从来没有人教过我们该如何抽动肌肉。

　　Khurram Javed：我掌握的知识和技能确实来自学校里的监督学习。我并不是说向他人学习或文化传承不重要。它们极其重要，语言也极其重要。但我们到底忽略了什么？

　　Rich Sutton：之所以不存在监督学习，是因为从来没有人直接给我们提供目标标签（targets）。当你听到标准答案时：“法国的首都是哪里？”我们知道答案是巴黎，但没有人手把手教我该如何发出“巴黎”这个音。你说答案是巴黎，我听到了你的声音，理解了你的词句，然后我调动自己的肌肉动作去把这个答案说出来。

　　这在字面意义上根本不是监督学习。首先，学校教育根本不具普遍性。松鼠不上学，动物也不上学，它们照样能学会一切。学校是一种非常特殊的机制，人类甚至在几百年前都还没有现代学校。它根本不是智能的本质所在，把它当成学习的主要范式完全是本末倒置。作为动物，我们本就不靠上学来获得生存智能。

　　主持人：我真希望当年我父母逼我去上学、面对那些条条框框时，你能站在我身边替我说这番话。

　　Rich Sutton：松鼠在树枝间跳跃的能力极其精湛，但松鼠无法证明数学定理。如果我想学会证明数学定理，我就必须去学校。松鼠也没有 DVD 或 iPod。它们能做到很多我们做不到的事。但证明数学定理——它们也不会下国际象棋——这其实是一个悖论：这些高级能力被我们视为高超智能的象征，但对计算机来说却轻而易举；反倒是那些看似寻常的基础能力极其困难，比如带有注意力机制的移动与视觉感知。

　　我认为监督学习是件好事。但我更喜欢关注显而易见的常识。从来没有人能通过示范来教我们如何抽动肌肉，因为他们根本做不到这一点。我们必须自己去摸索。

　　Khurram Javed：而且给出的示范也注定是错的。如果我完全照搬理查德发“Paris”时的嘴型、舌位和声带震动，我敢肯定发出来的声音会完全不同。从某种意义上说，理查德——乃至任何其他人——都不知道用我的身体发出声音的正确方式是什么。只有我自己才知道。

　　主持人：在我看来，许多最原始的感觉运动（sensory-motor）能力，特别是那些与物理世界运动相关的能力，本质上确实都是从经验中摸索出来的。但存在着更高层次的抽象，正是这些抽象塑造了人类的伟大之处，而其中很多并不存在于底层的感觉运动学习中。你们的世界模型是否涵盖了从感觉运动一路延伸到最顶层抽象的全部范畴？

　　Rich Sutton：这正是我们的野心所在，毫无疑问。顺便提一句，松鼠其实能做出极度抽象的行为。松鼠最厉害的绝活是什么？无论你设置什么障碍，它总能找到办法钻进你的喂鸟器里。它能自主琢磨出全新的跳跃和攀爬路线。动物也非常擅长计算运动轨迹。它们深刻理解物理世界，根本不需要像我们在脑海中想象发射火箭那样进行繁琐的心算。它们能在下落的瞬间以恰当的姿态实时化解冲击，避免受伤。

　　主持人：我认为这只是程度深浅的问题。我更倾向于认为其他动物与人类非常接近。过分强调人类的独特性反倒显得有些傲慢，看清彼此的共通之处会更好。我们之间只是程度上的差异，当然，社会和文化赋予了我们巨大的优势，语言也赋予了我们巨大的优势。

　　破除灾难性遗忘：让模型在学习新知识的同时学会“如何学习”

　　主持人：我想退一步探讨一下，索尼娅。我相信动物和孩子能够从经验中学习，并凭借经验做出不可思议的事情。当我的儿子两岁、三岁或四岁时，我常常感叹：“这太神奇了。根本没人教他怎么做，他自己就能学会这些东西。”

　　但与此同时，正如索尼娅所说，让人类之所以独一无二的，是我们能探索太空、制造火箭。这些成就绝非百分之百来自经验摸索。在发射火箭之前，你必须进行某种超越经验的抽象思考，因为在此之前你根本不知道它能不能成功。你必须先具备想象力。我们该如何教会机器去想象那些此前从未存在过的事物？这恐怕正是我们试图解开的谜题。

　　Khurram Javed：我们完全赞同。系统必须具备规划能力，也必须具备想象力。

　　主持人：你会认为一千年前的人类——在他们完成我们今天谈论的大多数成就之前——具有同等水平的智能吗？如果把那个时代的人放到现代文明中，他们是否能够习得相同的技能并开始创造价值？

　　Khurram Javed：即便在过去一万年里，我认为人类大脑也没有发生太大的进化。从根本上说，它还是同一台机器。只是我们积累了一万年的知识体系。

　　主持人：而我只需要去学校通过监督学习，就能把这一万年积累的知识吸收掉——这比单靠个人经验去从头摸索要快得多。

　　Khurram Javed：我觉得你说的完全没错。我们希望我们的系统能够从经验中学习，而接触人类文化本身就是它们经验的一部分。它们理应从中学习我们的文化，这毫无争议。

　　但我们来谈谈当有人开创范式转移（paradigm shift）时的情形。大家总是拿爱因斯坦举例，但类似的例子不胜枚举。那种突破究竟也是一种学习，还是某种预先编程？当范式转移发生时，一个人积累了所有这些既有知识，并基于自己的独特经验构建出了全新的抽象概念。他们借助这些新抽象进行规划，并发现了全新的知识。在当前的系统中，这种提炼新抽象、学习世界模型并利用模型进行规划的能力是完全缺失的。

　　你可以在人类认知的前沿研究这个问题，也可以在感觉运动数据流的底层研究这个问题。我们绝不否认人类需要构建抽象以便在更高层次上进行推理这一原则。

　　Rich Sutton：你又快要陷入我刚才提醒过千万不要去纠结的误区了——争论先验知识与获取知识究竟哪一个更重要。你刚才一边承认人类依然必须去学习新东西，一边又说“我可以从文化和先验知识中汲取养分，但这两者不应该相互打架”。

　　主持人：具体到范式转移这个问题上，我们究竟该如何打造一台懂得何时该打破既有范式的机器？

　　Khurram Javed：依靠它自身的经验。它必须完全通过自身的经验来实现这一点。它不能依赖人类知识，因为我们的前提就是人类正局限在某一种既有范式中，而我们渴望找到另一种全新的观察视角。通过自身的经验，它必须找到更好的解法。也许新视角能带来更好的泛化能力和更准的预测；也许它在其他维度表现更优。但这必须源于它自身的亲身体验。

　　我们领域目前尚未攻克的重大挑战在于：如何学习出一个模型，随后基于该模型进行规划。我们可以解决纯数学问题，也可以做出 AlphaGo，那是因为我们预先知道了世界的精确模型。我们清楚每一步棋的规则与走向；在数学中，我们清楚所有的运算规则，像 Lean 这样的定理证明工具可以帮我们从一个知识状态推演到证明的下一个状态。

　　但如果我们必须自主学习世界模型，目前根本没有任何先例——至少在利用自主发现的抽象概念来建模并进行规划方面，是一片空白。有些人会说：“我只要学一个能预测下一秒或下一毫秒会发生什么的模型就行了。”但人类的心智模型根本不是那样运作的。我们的心智模型更加抽象，截然不同。

　　主持人：我很欣赏你们的一点在于，你们并没有停留在夸夸其谈或怨天尤人上，而是极具行动力。这也是你们创办公司的原因。2022 年，理查德，你提出了一个包含 12 个具体步骤的“阿尔伯塔计划”（Alberta Plan）作为 AI 研究蓝图。不妨跟我们聊聊这个计划。

　　Rich Sutton：阿尔伯塔计划的诞生，是因为我们当时有了一系列宏观构想，但我们需要把它们拆解成更具体的模块。这十二个步骤正是为了把特定的研发模块清晰地落实下来。

　　其中处于早期的一个非常关键的步骤——第二步——就是持续深度学习（continual deep learning）。我们认为这一步几乎是最核心的，因为它是一切后续能力的基石。如果你能实现持续深度学习，你就能源源不断地更新你的世界模型。随后，如果你懂得如何提炼出正确的抽象概念——该计划的后半部分全部围绕如何构建正确的抽象展开——你就能在更高层面上持续更新你的世界模型。

　　Khurram Javed：当我提到“提炼出正确的抽象”时，我指的并不是去寻找唯一一套放之四海皆准的标准抽象，因为没有人能定义什么是绝对正确的抽象。它完全取决于你身处的世界。你的 agent 必须针对它所处的具体环境，自主学习出相适配的抽象体系。

　　这就是两大核心关键：第一，你必须找到正确的抽象；第二，你必须能够实现持续深度学习。业内许多人都意识到我们需要世界模型并需要用模型进行规划，但抽象决定了模型应当以什么为条件进行构建。模型应该预测什么？你将采取什么行动，随后会发生什么？

　　我非常喜欢用顶尖运动员的例子来说明。如果你去问顶级运动员他们是如何完成某些高难度动作的，他们会对非常微观具体的动作发明出一些极其小众古怪的术语。他们会说：“我做了这个动作”，并给它起个专门的名字；有时如果他们是独自训练摸索出来的，甚至连名字都没有。他们究竟是如何构建出那些抽象概念的？从某种意义上说，这正是当前 AI 所缺失的核心环节，而阿尔伯塔计划的后半部分正是为了攻克这一难题。

　　主持人：我们来深入聊聊持续深度学习这一环。当前面临的到底是一个算法层面的鸿沟，还是工程部署、基础设施或数据隐私方面的短板？如果我只是朴素地根据用户交互数据去直接更新模型权重，我今天就能做到。在你看来，实现真正的持续深度学习，我们缺失的最关键要素是什么？

　　Khurram Javed：这绝对是一个纯粹的算法鸿沟。你可以采取那种朴素的做法，但紧接着你就会遭遇各种灾难性问题。如果你拿单一样本去直接更新整个模型，模型中原先存储的所有旧知识都会遭到灾难性破坏。

　　我们目前规避这一问题的方式，正是 Cursor 所采用的策略：它不用单一样本，而是汇集海量用户的庞大数据进行批量更新。在允许这种模式的场景下，你确实可以做某种程度的持续学习。但在绝大多数实际应用场景中，你根本不具备这种条件。你面对的是单一连续的数据流，如果直接套用朴素方法，它会以毁灭性的方式将你原有的先验知识彻底瓦解。

　　Rich Sutton：也就是所谓的灾难性遗忘（Catastrophic forgetting）。

　　Khurram Javed：没错，但这完全是可以治愈的。

　　Rich Sutton：只要配上正确的算法。

　　Khurram Javed：正是如此。首先，你需要我们所说的步长优化（step-size optimization）。神经网络中的每一个权重都必须拥有独立的步长。有的权重需要快速更新，有的需要缓慢微调，你必须对每个权重的步长进行元学习（meta-learn）。网络中绝大多数权重的步长都会被设定得极小，因此当你在新样本上训练时，原有知识不会被冲垮。学习只会在正确的位置发生。

　　其次，你需要在特征空间中引入某种形式的“生成并测试”（generate-and-test）试错机制。你必须在不依赖梯度的情况下自主提出新特征或新神经元单元，因为纯粹依靠梯度是一个极其缓慢的过程。只有当你知道某个方向确实有益时梯度才会推进，这永远快不起来。它无法为你提供不断提升复杂度并维持长久学习能力的演进路径。

　　你需要一种机制能够主动提出一组全新单元，并以此为起点展开探索。具体而言，我们有一套名为“持续反向传播”（continual backpropagation）的算法，几年前我们将其发表在《Nature》上。它类似于反向传播，但同时会不断播撒新单元的种子，这些新单元使用随机权重进行全新初始化。

　　传统反向传播仅在最开始拥有随机权重。随着训练推进，所有的随机性与多样性都会被消耗殆尽。而在持续反向传播中，你不断注入少许随机性——也就是持续注入“生成并测试”机制——而反向传播的运算本身则充当了检验者的角色。如果把这些要素完美融合，我相信我们将迎来全新一代、能力呈压倒性优势的持续深度学习技术。这正是我们希望在未来几年内实现的突破。

　　主持人：你认为这些算法能够直接应用到当下的体系中吗？比如应用到人们正在 Scaling 的大语言模型上，让它们在不发生灾难性遗忘的前提下实现持续学习？

　　Rich Sutton：完全可以。但我认为你无法直接拿现有的预训练模型说“我要用这些新算法去更新它”，因为这些算法的核心在于元学习“如何去学习”的能力。

　　你必须从头开始构建。假设你使用这些新算法从零训练一个新的基础模型，那么在学习具体知识的同时，算法还会同步学会“如何在未来学习新知识”。它同时在学习这两件事。只有这样，我认为你才能在不发生灾难性遗忘的情况下不断掌握新知识。

　　大实验室被困在局部最优解里

　　主持人：从当前现状转向让系统同时学习这两件事，这是你们公司正在尝试的最激进的突破吗？

　　Rich Sutton：最激进的地方依然在于：我没疯——疯的是其他人。

　　Khurram Javed：其实这或许算不上彻底石破天惊。在 2016 到 2018 年间，许多学者都在探索类似的想法。只不过他们当时是在非常受限的环境下进行研究。他们会设定：“我们面对的是特定分布的问题，在这个特定场景下我们可以这么做。”

　　而我们希望直接从单一的连续经验流中实现这一点，因此我们的方法应该具备更广泛的通用性。很多人探索过局部方案，但从来没有人将其拓展到能让算法处处通用的全局场景中。

　　主持人：在新公司正在推进的事业中，什么是别人没做过、最具雄心的目标？

　　Rich Sutton：我并不觉得自己特立独行，所以我不想夸大这是多么宏伟的野心。我认为核心在于构建涵盖从微观细节到宏观大局的全光谱知识体系。

　　想想你如何乘飞机从一座城市飞到另一座城市。这是一件非常庞大复杂的系统工程——就像你提到的太空飞行一样——但思考它更符合常识，因为我们大多数人都坐过飞机。我们在生活中的各种情境下都在运用抽象思维，甚至松鼠也在运用抽象。我们的野心在于捕获从微观到宏观的完整知识光谱，以统一的方式处理它们，并使这一系统具备自我维持（self-maintaining）的能力。

　　核心的拷问永远是：既然你拥有一个基于知识的系统，究竟是什么力量在维持其中知识的正确性？在大语言模型中，靠什么来维持知识的准确？人们做了大量的后训练，确保内容无误，然后将其彻底固化。正是这种固化在维系着表面的正确。

　　但人类的心智始终在变化，并且体内总有某种机制在维持着心智的条理性与连贯性，让它始终收敛在健康的理性区间，而不是滑向精神错乱的深渊。我们最大的野心，就是打造一个能够保持自我一致性、能够不断自我训练、并能时刻维持认知连贯的心智系统。

　　主持人：这真是一个雄心勃勃的愿景。将所有这些要素融合成一个单一的心智系统，这个设想极其宏大。

　　Rich Sutton：它就在我们触手可及的地方。我认为这完全是可以实现的。现在已经是 2026 年了，我们的计算机算力如此强大。

　　主持人：这个目标究竟是宏大到了遥不可及的地步，还是说我们其实已经掌握了实现每一个步骤的清晰线索？

　　Khurram Javed：我认为我们已经拥有了清晰的愿景与初步的技术线索。这并非不切实际的幻想。你们提到的愿景包含以 20 瓦的超低功耗运行一个万亿参数模型，这听起来确实极具野心。

　　这确实很有野心。从某种意义上说，依托现有的技术，我会说这在当下根本不可能。单单以现有的存储技术在内存中存放一万亿个参数，功耗恐怕就远不止 20 瓦。但我们在思考的是五到十年后的格局。算力正在变得越来越廉价、能效越来越高。如果配合正确的算法，我们完全能够迎来一个让这一目标变为现实的世界。

　　五到十年意味着摩尔定律迭代两个数量级。这是一个标准的演进速度：如果算力每 18 个月翻一番，十年就能带来两个数量级（100 倍）的能效提升。要让我刚才的预言在逻辑上成立，前提是我们今天能用 2000 瓦的功耗做到这一点。如果你今天能用 2000 瓦实现它，那么十年后你就能用 20 瓦做到。

　　主持人：你认为你们今天能用 2000 瓦做到吗？前沿研究实验室可支配的功耗资源远不止这个数。

　　Khurram Javed：我认为只要运用正确的算法，即便在今天，我们也能做到比 2000 瓦更高效。

　　主持人：如果我们现在就能做到更高效，那为什么大家没有这么做呢？

　　Rich Sutton：大家并不是非要挥霍掉他们所有的资金——或者挥霍掉我们投资人的钱。

　　主持人：有时候看起来他们确实挺想这么干的。

　　Rich Sutton：有时候看起来确实如此。就好像他们必须通过消耗惊人的能源来证明自己才是真正的纯爷们一样。至少当我纵观各个不同的研究团队时，我没看到有谁真正相信这条路是行得通的。如果你内心根本不相信它可行，你就绝不可能沉下心去攻克那些硬核技术难题并一路走通。

　　主持人：这是因为大家觉得这不可能实现，还是因为系统内部存在太多的资源浪费？会不会是实验室里有人知道如何高效实现，但同一家实验室里十倍于他的人却在忙着做别的事情？

　　Khurram Javed：我认为本质上是因为他们被困在了局部最优解（local minimum）中。如果我们想要迈向这种新型算法体系，在情况变好之前几乎注定要先经历一段变差的阵痛期。

　　当我们刚开始探索这些新方向时，绝不可能从第一天起就刷出 SOTA（业内最佳）的表现。这是一套完全不同的范式。在起步阶段，这条路径甚至可能在消耗更多能量的情况下只能达到相近的性能，但大实验室已经被深度锁定在那些已经跑通商业闭环的成熟产品中了。

　　他们根本无法承受去走一条“先变差再变好”的研发路径，因为他们现有的范式依然允许他们继续吃 Scaling 的红利。而面对新范式，他们必须孤注一掷去下注，并硬啃极其棘手的技术难题。我们对这些问题已经思考了很多年。我们也认识许多同样深思多年的同行，当我和他们交流时，大家都深信这是切实可行的。但前提是你必须在这些核心挑战上沉淀足够长的时间。

　　主持人：如果 Oak 作为一家公司一切进展顺利，你们究竟会打造出一家怎样的企业？

　　Rich Sutton：如果一切顺利，我们将实现这套核心架构，达成真正意义上的持续学习，并构建出能够进行自主规划与高阶推理的抽象认知体系——也就是真正的通用智能。很难精准预言到那时世界会变成什么样，但我认为人类可能会变得无足轻重（irrelevant）。

　　Khurram Javed：我完全不这么认为，理查德。我们其他人也不这么想。我认为世界会变得更加令人兴奋，对人类来说会变得更加精彩和有趣。具体而言，你必须思考大语言模型的未来宿命。当这一天最终到来时，它们很可能会面临生存危机。我相信它们还会风光一段好日子，它们迄今为止的表现已经足够惊艳，取得了巨大的商业成功。

　　Rich Sutton：为了避免误解，我想明确说明：大语言模型是一项令人惊叹的科学突破，是神经网络在娴熟运用人类语言方面取得的重大飞跃。这在过去完全是始料未及的。语言领域过去一直是符号主义方法的坚固阵地，而 LLM 彻底颠覆了人们对语言处理的认知。

　　这是一项伟大的突破。让我感到沮丧的是，大家为什么不能坦然为我们在 AI 这一局部子问题上取得的巨大进展举杯庆祝、乐享其成？非要让它伪装成 AI 的全部？真正的智能绝不仅仅是对语言流畅自如的运用。智能的内涵远比这丰富得多。语言确实是其中重要的一环——也许占到智能总量的 20% 或四分之一——但绝非全部。我们的探索远未结束。

　　主持人：如果一切顺利，你们设想的是一个能够包揽一切的全能单一心智——从学会在树枝间荡秋千一直到建造宇宙飞船？它是指由单一套权重和单一心智完成所有这些事，还是指一套统一的架构设计？

　　Khurram Javed：是指一套统一的架构设计。未来世界上将会涌现出许多截然不同的心智体。

　　主持人：所以它是一套能够对不同环境做出反应的通用设计，而这个心智的不同实例由于经历了各不相同的交互体验，因而各自习得了不同的知识技能？

　　Khurram Javed：这又回到了“大世界假说”：世界上有无穷无尽的事物等待被认知。任何单一系统都不可能穷尽学习无限的事物。

　　如果你拥有世界上最庞大的两个系统，显而易见它们彼此之间是无法互相完整建模的，因为它们的复杂程度旗鼓相当。单一系统永远不可能达到“知晓一切”的终点。世界上永远会存在多个各自分立的系统，在各自独特的经验中不断进化。

　　主持人：你们正在招贤纳士。你们希望寻找什么样的人才？

　　Khurram Javed：我们正在招人。我们对最初的核心团队人选已经有了非常清晰的画像。这些人必须是对这些底层理念深思已久的探索者。

　　我们打算采取一种略显非主流的人才策略，因为这是一场全新的范式探索。短时间内把团队盲目扩得太大毫无意义。从某种意义上说，每一个被我们录用的人，都必须能真正看见我们所看见的未来图景，而目前能看清这一点的人少之又少。我们打算从小规模起步，稳步慢热地扩充到少数几个人，可能两三个人，然后再循序渐进。我们希望团队成员高度志同道合，这样我们才能以极高的默契并肩作战，真正把我们的研发进展规模化放大。

　　主持人：说得太好了。非常酷。我非常喜欢今天的这场深度对话。非常感谢二位抽空分享你们正在攻坚的事业。在强化学习与底层算法设计的未来走向这一命题上，你们是难得一见的深邃思考者。今天能与二位一同探讨，是一场真正的思维盛宴。

　　Rich Sutton：非常感谢。这也是我们的荣幸。