有损自我改进（Lossy Self-Improvement）

为什么自我改进是现实存在的，但它不会导致 AI 的“瞬间起飞”。

作者：Nathan Lambert 2026年3月23日

如今，在AI圈子里，“快速起飞”（Fast Takeoff）、“技术奇点”以及“递归自我改进”（RSI）是每个人都在关注的话题。在当前的AI产业中，这些概念确实包含着真实的成分：两三家实验室正整合成为拥有最强模型（以及构建下一个模型所需资源）的寡头；当今的AI工具正在突发性地改变工程和研究岗位。

在许多方面，AI研究正变得容易得多。虽然进一步扩大语言模型训练规模所需的技能挑战依然巨大，但能够处理这些问题的“超人级”编程助手的出现，打破了许多关于“构建这些东西需要什么”的旧主张。这一切正为我们在AI前沿领域迎来一年（或更久）的飞速进步奠定基础。

我们也正处于语言模型已经极其出色的时代。事实上，它们已经足以胜任大量极具价值的知识工作。很难想象语言模型还能再跨出一大步——目前还不清楚除了代码和基于命令行（CLI）的计算机操作之外，它们今年还能掌握哪些任务。当然，会有一些新突破！这些能力将开启新的工作模式，并给经济带来更多涟漪。

这些剧烈的变化几乎让人觉得，语言模型能靠自己不断加速进步是一个理所当然的结论。这种说法的通俗表达是“递归自我改进循环”（RSI Loop）。关于这个话题的早期探讨可以追溯到2000年代，比如2008年的一篇博文：

“当你把‘重新设计你自己的认知算法’这个对象级问题交给AI时，递归就发生了。”

稍早一点，在 2007 年，尤德科夫斯基（Yudkowsky）也在《通用智能的组织层级》中定义了相关的“种子AI”（Seed AI）概念：

“种子AI是专为自我理解、自我修改和递归自我改进而设计的AI。……种子 AI 的后期后果（如真正的递归自我改进）只有在AI实现了显著的整体理解和通用智能之后才会显现。”

考虑到当今模型的通用性和实用性，认为我们正处于这个阶段的起点是合理的。

通常，递归自我改进（RSI）可以总结为：当AI能改进自身时，改进后的版本能更高效地进行下一次改进，从而创建一个封闭的放大循环，导致“智能爆炸”，即所谓的奇点。这其中包含几个假设。RSI要发生，必须满足：

1. 循环是封闭的： 模型能不断改进自身并孕育出下一代模型。
2. 循环是自我放大的： 下一代模型能比当前模型产生更大的进步。
3. 循环持续运行且不损失效率： 不存在增加的摩擦力使指数级增长提前变成“S型曲线”（Sigmoid）。

虽然我同意未来几年持续的AI进步将带来重大的、社会不稳定的变化，但我预计，当我们回过头来看时，进步的趋势线将更接近线性而非指数级。我认为，发生的将不是递归自我改进，而是“有损自我改进”（Lossy Self-Improvement, LSI）——模型成为了开发循环的核心，但各种摩擦力打破了RSI的所有核心假设。你投入的算力和智能体越多，出现的损耗和重复就越多。

我依然相信，先进系统的“复杂性制动器”（Complexity Brake）将是一个强大的抗衡力量，抵消模型在各项细分任务上变强的事实。我在2025年4月曾引用过这个观点：

微软联合创始人保罗·艾伦提出了“复杂性制动器”理论：科学越接近理解智能，取得额外进展就越困难。对专利数量的研究显示，人类的创造力并没有表现出加速回报，事实上，如约瑟夫·泰恩特在《复杂社会的崩溃》中所述，它呈现出收益递减规律。复杂性的增长最终会自我限制，并导致广泛的“通用系统崩溃”。

在现有的模型训练方式、模型所需的深层直觉以及构建模型的组织中，有大量例子显示损耗来自何处。构建领先的语言模型极其复杂，而且正变得越来越复杂。我认为核心摩擦力有以下三点：

1. 可自动化的研究过于狭隘

首先，很明显，今年的语言模型已经可以作为工具，在优化局部任务（如降低模型的测试损失值）方面大显身手。安德烈·卡帕斯（Andrey Karpathy）最近推出的AutoResearch让这种做法流行起来。这允许AI智能体直接在GPU上操作，目标是降低测试集上的损失。

这种方法在狭窄领域（如单一的测试损失或整体奖励）有效。问题在于，“账面上更精确的模型”与“用户觉得更有生产力的模型”之间长期存在鸿沟。 缩放法则（Scaling Laws）显示损失会持续下降，但我们不知道这是否会在经济上产生更大价值。

在后期训练（Post-training）中，强化学习算法至少与特定性能增益联系得更紧密。但我依然担心其泛化能力，以及它是否能真正转化为“擅长构建自身和设计实验”的模型。我们已经看到许多 AI 能力在人类品味的某些水平上趋于饱和，比如写作质量。AI研究虽然不同（天花板更高），但模型会因搜索空间和优化目标过于宽广而陷入饱和。最好的研究员所做的是——让许多可扩展的想法协同工作，而不仅仅是优化单一指标。

2. 并行AI智能体的收益递减

AI快速进步面临的最大问题是：即使我们在数据中心拥有 10,000 名远程“AI员工”，也几乎不可能将他们全部集中在一个问题上。本质上，当模型仍然非常相似时，它们是从相同的解空间和能力分布中进行采样，同时受到人类监督的瓶颈限制。增加更多智能体，在边际性能提升上会遇到严格的饱和点——少数最顶尖研究员的直觉（以及运行实验的时间）将是最终的瓶颈。

这里可以用阿姆达尔定律（Amdahl’s Law）来类比：一项任务能产生的加速，取决于有多少部分可以并行化。想象一个研究员从亲手写代码，到使用AI自动补全，再到使用自主编码智能体。这些都是巨大的飞跃。但现在，如果让一个研究员每天尝试组织30-40个智能体工作呢？有些人能从中榨取价值，但不多。你能想象有人每天能为AI智能体想出300-400个任务吗？没多少人能做到。这个问题很快也会撞上AI模型的瓶颈。

3. 资源瓶颈与政治博弈

从根本上说，所有AI公司都在走钢丝：获取巨额资本、将算力转化为收入、同时在研发上投入天文数字。由于资源规模如此巨大，资源分配和押注目标上总会存在政治瓶颈。即便模型持续改进，这种摩擦力也永远不会消除。AI模型从根本上是在由人类掌控资源瓶颈的组织中运行的。百亿美元规模的研发算力不太可能完全孤立出来，交给AI模型进行端到端的自由实验。

结论

我们的工作确实正变得节奏更快、效率更高。问题在于，所有这些维度都有明确的人类、政治或技术复杂性瓶颈。

每一条S型曲线的底部看起来都像指数级增长。2026年会感觉像是一大步，但并没有根本性的变化让我相信进步会从此“一飞冲天”。这可能会跨越所谓的AGI门槛（即能够替代大多数远程办公者），但这更多是改变了工作的定义。

我们正处于“有损自我改进”（LSI）时代。AI模型正在执行自我改进，但它们并没有改变方法论。我们正在扩大研发实践和工具的算力投入，但收益在递减。智能体将成为我们共事的自主实体，它们感觉像是天才与5岁小孩的混合体。这种“有损”的进步足以让行业超速运转，但不足以支撑一场瞬间爆发的智能爆炸。

本文编译自substack，原文作者Nathan Lambert

https://substack.com/@natolambert/p-191707266