当AI开始制造AI

文 | 15Bit

刘慈欣在《乡村教师》里写过一段对话。

外星文明发现，人类没有记忆遗传，每一代都需要重新学习，却依然发展出了能够进入太空的文明。它们难以理解，这个物种怎样积累知识。

「他们没有记忆遗传，所有记忆都是后天取得的。」

答案落在一种负责跨代传递知识的人身上。

「他们叫教师。」

这个故事写出了人类进步的一项成本。前人的知识能够留下，后来的人还得花时间读懂。论文可以复制，培养一个能够继续研究的人，要经过很多年。

如果这个过程能够被大幅缩短呢？如果参与研究的智能，可以帮助制造下一代更强的智能呢？

今年9月29日，特朗普签署行政命令，要求美国行政部门在法律允许的范围内，将官方通信和非法律文件中的AI改称SI，也就是超级智能。

对照文件的定义可以看到，SI暂时仍覆盖现有法律所定义的AI。改名已经发生，超级智能是否到来，需要另外的技术证据。

相比名字的变化，我更在意AI公司正在尝试的另一件事。

让今天的AI，参与制造明天的AI。

无限自进化

过去，模型开发主要由人来推动。研究者提出方法，工程师把它写成程序，再训练、测试，根据结果决定下一次怎么改。

如今，AI开始接手其中的一部分工作。

Google的AlphaEvolve用Gemini提出候选程序，运行并评价结果，再沿着表现较好的方案继续修改。Google披露，它找到的一项优化让Gemini中的关键计算核加速23%，对应整个训练时间缩短约1%。支撑这套系统的模型，已经用到了它帮助发现的改进。

这就出现了一种值得关注的反馈关系。模型参与改善训练，改善后的训练条件，又可能帮助开发后续模型。

沿着这条关系继续走，就是RSI，递归自我改进。

理解它，可以先抓住一个问题。一次改进得到的能力，能不能让下一次改进更容易发生？如果每一轮都能提高研究效率，模型的进步速度也可能跟着变化。

这也是RSI让人不安的地方。

我们习惯了一代代人接着研究。新人学习已有知识，再尝试补上一点。AI若能承担更多研发工作，知识转化为下一项发现的过程，就可能少等一些人的成长。

但这里有一个很容易混淆的区别。

ASI，也就是人工超级智能，描述的是一种能力目标，通常指在广泛的重要领域超过人类的智能。RSI描述的是改进过程。一个系统可以在有限任务上自我改进，却远没有达到超级智能；超级智能也未必只能通过RSI实现。

把两者连起来，能够得到一种令人兴奋、也令人恐惧的设想。足够强的AI参与研发，研发得到更强的AI，再继续提高研发能力。

它能持续多久？会不会越来越快？

现在还没有答案。Anthropic在讨论这条路线时，也明确承认，完整RSI尚未实现，而且并非必然实现。

AlphaEvolve的1%改善，已经有具体的工程用途。至于无限自进化，仍然是需要验证的远景。反复修改同一段程序，也可能很快用尽容易改善的地方。

公司要继续往前走，还得解决比生成代码更难的问题。

新命题

但“自我改进”这四个字里，有一个问题很容易被忽略。

凭什么判断，它改得更好了？

我们平时问AI，已经见过这种情况。同一个问题，换一种问法，答案可能就变了。它可以把一件事解释得很流畅，也可能把错误解释得很流畅。回答更像那么回事，和回答更接近事实，之间还有距离。

到了RSI，这个问题会进入研发过程。我们期待AI不断改进自己，却不能把“发生了改进”直接理解成“结果一定是好的”。

这里可以分开看两件事。

一种是改进自身的能力。例如，同样的任务做得更快，原来解不出的题现在能解了。人先定好要求，再检查它有没有达到。

另一种，是改进自己寻找改进的方法。它开始调整实验怎么做、方案怎么选，让下一次研发更有效率。人类交给它的工作，由完成一道题，逐渐扩大到研究怎样才能更好地解题。

方法可以变，判断方法好坏的依据却需要说清楚。一套方案省下了时间，但增加了错误，我们愿不愿意接受？它给出了更漂亮的结果，可别人无法重复验证，这算不算进步？

Klarna的一次实验就遇到了这个问题。据其工程团队介绍，他们用AI寻找更快的训练代码，有些候选方案确实跑得很快，却无法保证相同条件下得到可复现的结果。工程师后来把这项要求加入筛选条件，不能只看速度决定采用哪个方案。

这个例子并不意味着AI已经失控。它说明了一件很具体的事，系统可以找到符合某项指标的好办法，但那项指标未必涵盖了我们对“好”的全部要求。漏掉的要求，仍然需要有人补上。

如果未来连评估方法也交给AI改进，问题还会继续往前走。它提出了一套新的测试，认为比旧测试更有效，谁来确认这套测试没有放过原来能发现的问题？如果仍然只让同一个系统证明自己正确，我们就需要警惕这种证明究竟有多可靠。

因此，我认为，自进化可以探索新的方法，但安全边界不能仅凭系统自己的评价就被取消。允许它寻找更快的办法，不等于允许它自行放宽原来的限制。即便评估工具由AI协助开发，也需要独立检查和实际验证。

这也关系到企业怎样讲述自己的进步。研发速度、模型分数都容易拿出来展示，可靠性和安全性则往往需要更长时间才能确认。开发者既从技术进步中获益，又参与制定评价标准，它们的判断值得听，但不能成为唯一的判断。

我们需要关注的，因而不只是AI能不能自己研究AI。还要看哪些要求始终有效，谁有权修改这些要求，以及出了问题以后，谁能叫停。

这些事情尚未解决，企业之间的竞争却已经要求它们尽快拿出下一代模型。

赛博狂飙

RSI还没有完整实现，为什么公司已经开始下注？

因为它可能改变一家公司开发下一代AI的速度。

过去，模型更强，主要可以用来吸引更多用户。现在，更强的模型还能帮助自己的研究团队写程序、做实验。倘若这些工作持续有效，公司就可能更早做出下一代模型，再用它继续参与研发。

今天的成果，有机会影响明天取得成果的速度。

这让等待变得难了。

一家公司可以选择晚一点投入，等技术成熟再跟进。但如果竞争者先找到了有效的方法，它等待的这段时间，可能让对方积累起更好的研发条件。等到路线得到证明，再追赶就未必只差一次模型发布。

当然，提前投入也可能失败。实验需要花钱，做得更多，也不保证发现更多。企业面对的是两种都无法提前算清的代价，投入可能没有回报，等待可能错过机会。

Anthropic公开讨论过类似的困境。它认为，放慢研发能够给社会更多准备时间；但如果只有部分公司放慢，其他竞争者继续推进，结果可能只是换了一家领先的公司。

担心风险，与继续研发，可以同时发生。

一家公司的决定，只能约束自己。它停下来，无法保证竞争者也停下来。即使大家都知道这条路线还有很多问题，谁先等待、等待多久，仍然很难达成一致。

我理解这些公司为什么继续投入。谁也不愿意在下一次技术变化中被甩开。

但我对这种竞争有一个担忧。当企业越来越在意别人走得多快，它判断一项技术值不值得推进的标准，也可能发生变化。技术能够解决什么问题，需要承担什么代价，逐渐让位于一个更急迫的问题，竞争者是不是已经开始了？

竞争可以推动研究，也可能让企业在路线尚未得到充分验证时，就不断追加投入。

RSI尤其容易放大这种压力。它承诺的收益，包含了更快取得下一次进步的可能。错过一次，企业担心的便不只是少卖一款产品，还有此后的研发差距。

这种担心可以解释企业的选择，却不足以证明加速一定值得。

我愿意看到AI参与制造下一代AI。许多难题值得研究，也有许多人等不起漫长的研究过程。如果自我改进能够让新的发现更早出现，让更多人用得上这些成果，我们有充分的理由期待它。

《乡村教师》里的教师，把已有的知识交给下一代，让后来的人有机会继续向前。到了AI参与研发的今天，我们有望缩短这段积累的时间。但怎样使用新的能力，什么风险可以接受，仍然需要人来判断。

我们希望制造出更强的智能，也应该对它提出更高的要求。下一代AI到来的时候，人应当拥有更多选择，更有能力决定自己的生活。这样的进步，值得我们加快脚步。