最新！58页RSI综述，系统梳理AI自我进化的技术全景

智猩猩AI整理

编辑： 没方

最近 “AI 自我进化、智能爆炸” 的说法铺天盖地。大模型可以写代码、改 Prompt、做自动实验，不少人觉得递归自我改进（RSI）已经到来。

但近日，一篇由清华大学、北京大学、卡内基梅隆大学、加州大学伯克利分校、复旦大学、上海人工智能实验室、南洋理工大学等多所高校及研究机构的研究人员共同撰写的综述《Recursive Self-Improvement in AI: A Survey》指出，现有研究尚未证明不受限制或可靠加速的递归自我改进已经实现。

这篇综述汇集了404篇相关研究文献，系统梳理了AI递归自我改进的技术路线、代表性工作、评估方法与关键挑战。

01

什么才是真正的

AI递归自我改进？

AI递归自我改进的核心不只是让AI把单次任务做得更好，要让当前改进所产生的收益，进一步提升系统在后续轮次中产生有效改进的能力。

也就是AI不仅要成为更强的任务求解器，还要逐步提升自己构建和优化任务求解器的能力，让前一轮改进影响下一轮改进过程。

不过，形成递归改进闭环并不意味着性能一定持续提升。系统是否真正变强、改进能力是否得到保留，以及能否持续产生更好的后续系统，都需要通过独立实验验证。

02

404篇文献，梳理AI自我进化

的六条技术路线

为了系统呈现RSI的发展脉络，研究团队将相关方法归纳为六个方向。

（1）数据与模型训练：让AI参与训练自己

这条路线主要利用AI生成的数据、推理过程和反馈信号，继续优化模型参数。代表性工作包括STaR、Self-Instruct、ReST、SEAL等。

其中，STaR通过生成和筛选推理过程，帮助模型在后续训练中提高推理能力。Self-Instruct则探索利用模型生成指令数据，减少对人工标注的依赖。

这些研究表明，模型可以参与构建自己的训练材料。

但关键问题在于：模型生成的数据，是否真的带来了新的有效信息？

如果AI不断使用自身错误或低质量的输出进行训练，改进过程也可能放大已有偏差。

（2）任务与环境：让AI自己寻找挑战

传统训练往往依赖研究人员提前准备任务。另一条路线则尝试让AI参与生成新的任务、环境和训练课程。

例如，POET探索任务环境与问题解决者的共同演化。

R-Zero、Absolute Zero等工作也被纳入这一研究方向。

其核心思路是，通过不断构造具有挑战性的任务，让系统获得新的训练信号。

但任务越来越难，并不必然意味着模型能力越来越强。

如何判断生成任务是否真正促进了泛化能力，仍然需要独立验证。

（3）记忆与技能：让Agent积累经验

对于长期运行的AI Agent而言，另一个重要方向是让经验跨任务保留。

代表性研究包括Reflexion、Voyager、ExpeL和A-MEM。

以Voyager为例，其探索了通过持续积累可复用技能，帮助Agent完成后续任务。

Reflexion则利用语言反馈和经验记录，支持后续尝试。

相比每次都从零开始，具备持久记忆和技能库的Agent，可以利用过去积累的经验。

但论文指出，记忆内容的更新，与记忆管理机制本身的改进，是两个不同层次的问题。保存更多经验，不一定意味着未来能够更好地使用经验。

（4）代码与工作流：让AI设计更好的Agent

这一方向将优化对象从模型参数扩展到Prompt、程序代码、工具调用和Agent架构。

代表性工作包括OPRO、DSPy、ADAS、DGM和GEPA。

例如，ADAS探索自动设计Agent系统，DGM则允许编码Agent修改自身的Agent代码，并通过候选方案存档和选择机制保留不同演化路径。

这意味着，即使底层大模型参数保持不变，系统也可能通过修改外部程序和执行流程获得性能提升。

对于AI Agent而言，这是一条尤其值得关注的路线。因为它不必每次都重新训练基础模型，而是可以直接优化模型周围的运行系统。

（5）反馈与评估：让AI参与判断改进是否有效

如果AI能够提出修改方案，那么谁来判断这些修改是否值得保留？

Self-Rewarding、Meta-Rewarding、Self-Taught Evaluators等工作探索了模型自我评价及反馈机制。

但这里存在一个难题。

如果模型既负责生成答案，又负责评价答案，那么它可能越来越擅长满足自己的评价标准，却未必真正提高外部任务表现。

因此，论文强调，内部奖励提升必须与独立任务评估区分开来。

（6） 元层级改进：让改进器也成为优化对象

这是最接近RSI核心目标的方向之一。

代表性工作包括STOP、Promptbreeder、Hyperagents和Metaⁿ。

STOP允许程序改进器修改自身实现。

Promptbreeder同时演化任务Prompt和用于产生变异的Prompt。

Hyperagents进一步将任务Agent和元Agent代码纳入可编辑程序。

Metaⁿ则采取另一种方式：保持元操作固定，同时不断引入此前产生的程序、执行轨迹和上下文。

这些研究尝试回答同一个问题：AI能否不只是产生更好的结果，还能产生比上一代更擅长改进系统的“改进器”？

这也是RSI与普通自动优化之间一个重要的区别。

03

AI自我进化，正在形成

两大工程方向

除了六类技术机制，论文还从工程目标出发，将RSI相关研究分为两条主要路线。

第一条是自动设计AI基础设施。

AI可以参与设计数据处理流程、学习算法、模型架构、Agent工作流和评估工具。

这类研究的目标，是让AI帮助构建新的、更有效的系统。

第二条是修复与优化现有AI系统。

例如，Agent执行任务失败后自动修复代码、调整Prompt、更新记忆或改进工具调用策略。

两者之间并非完全独立。

一个Agent在修复失败工作流时，可能同时产生新的系统设计。

但论文强调，无论采用哪条路线，都必须关注一个核心问题：当前的改进结果，是否能够被保留下来，并帮助系统在未来产生更有效的改进？

如果只能提升当前任务的表现，却不能改善后续改进过程，那么还不足以证明真正的递归自我改进。

04

距离真正的递归自我进化，

还有哪些难题？

尽管相关研究进展迅速，但论文并没有将RSI描述为已经成熟的技术。

相反，研究团队重点讨论了六个关键挑战。

首先是反馈质量。 AI的自我评价可能存在偏差，内部奖励提高并不代表真实能力提升。

其次是经验管理。 持续积累的数据、记忆和技能，需要经过筛选、更新与复用，而不是简单堆积。

第三是更新稳定性。 新一轮修改可能提升某项能力，却破坏此前已经获得的能力。

第四是评估可信度。 如果AI能够接触甚至修改评估机制，就可能出现针对测试标准的过度优化。

第五是计算成本。 自动搜索、生成候选方案和验证结果都需要资源，更多轮次的优化不一定意味着更高效率。

最后是跨任务迁移。 一个系统在特定任务上取得提升，不代表其改进方法可以迁移到全新领域。

论文特别强调，需要区分三类证据：任务性能是否提高、已有能力是否得到保留，以及改进器本身是否变得更有效。

其中，第三点尤其关键。

通过控制初始系统状态、反馈条件和资源预算，并比较不同改进器产生的后续系统表现，研究人员才能更有说服力地判断，改进器本身是否真正变强。

05

AI发展的下一步，可能

是自动改进整个系统

从这篇综述可以看到，RSI并不是突然出现的新概念。它与早期的AutoML、元学习、程序搜索以及自修改系统有着紧密联系。

真正发生变化的是，大模型让越来越多原本需要人工完成的优化工作，具备了自动化的可能。

过去，研究人员主要关注如何训练出更强的模型。如今，研究范围正在逐步扩展到模型之外的数据、工具、记忆、工作流、评估器，以及负责产生改进方案的系统本身。

这意味着，未来AI能力提升的竞争，可能不仅取决于基础模型的规模和性能，还取决于整个系统能否持续发现问题、验证修改，并积累真正有效的改进。

不过，论文给出的结论仍然十分审慎。

现有研究已经表明，AI能够在有限场景中保留有效改进，并在部分实验条件下改善后续改进过程，使系统能够产生更有效的更新。

但这些成果尚不足以证明，AI已经具备不受限制、可靠加速的递归自我改进能力。

因此，比起讨论AI何时能够实现无限自我进化，一个更现实的问题是：当AI开始参与设计、修复和优化下一代AI系统，我们应该如何建立可靠的验证机制，确保每一次改进都真实、可复现，并且能够延续到下一轮。

关注+星标，获取AI前沿进展与开源一线动态