What if automating AI R&D triggers an intelligence explosion?

本文是圆方的第1649篇原创

（点击标题下方小耳机标志可收听音频）

01

9月28日，深度学习奠基人，图灵奖、诺贝尔物理学奖得主，被称为“神经网络之父”的杰弗里·辛顿（Geoffrey Hinton），在arXiv发表了这篇文章

《What if automating AI R&D triggers an intelligence explosion?》

（如果将人工智能研发自动化，引发智能爆炸会怎么样？）

杰弗里·辛顿长期研究AI，这两年一直在关注大模型安全风险，他是这篇RSI论文核心作者之一。

这篇文章还有22位联合作者，Geoffrey Hinton是其中核心署名者之一；

此外还有Yoshua Bengio、Andrew Barto、OpenAI首席科学家Jakub Pachocki、微软首席科学官Eric Horvitz、Anthropic联合创始人Jack Clark……

大家好，我是圆方，今天我们一起聊聊：

What if automating AI R&D triggers an intelligence explosion?

02

辛顿的这篇文章，讨论了AI参与AI研发形成递归自我改进闭环的可能性。

论文认为，智能爆炸不一定需要先诞生完整超级智能；

只要AI持续自动化下一代AI研发，形成正向反馈循环，技术迭代速度就可能急剧加快。

文中估算极端情景下，原本一年的AI技术进展，可能缩短至约5周。

文章客观列出三类风险：

技术增速远超人类社会适应速度

人类逐步丧失对AI系统的理解与控制权

冲击现有全球权力结构

怎么说呢，关于这个问题其实之前圆方在这篇文章有做过系统的讨论。

当时在文章中圆方重复了一年多以前的观点：

未来二十年，AI会充斥在我们生活中的方方面面，彻底的改变我们的工作，生活，以及社会，文化。但是，不要幻想，我们能够在我们手中“制造出来”一个“全能的神”。

03

先说圆方自己的判断，递归自我改进会出现，但是并不会像我们预期的那么神。

至少有三个问题，是很难通过递归自我改进来解决的。

首先是AI外部的那些硬约束。

算力、能源、芯片、网络这些硬约束摆在那里。

训练下一代系统要消耗大量电力，要占用先进制程产能，要等待设备交付。

软件可以一天迭代很多版，晶圆厂扩产要按季度甚至按年计算。

算法优化能节省资源，节省有上限。

内存墙、功耗墙、通信带宽，都是物理规律。

再聪明的AI也不能让光速变快，不能让散热凭空消失。

递归改进若集中在软件，收益很快就遇到硬件上限了。

04

与此同时，数据与验证同样受到限制。

高质量人类数据有限，现在已经有证据证明，合成数据用多了会偏离真实分布。

很多领域必须做真实实验。

新药要临床试验，材料要反复制备，芯片要流片，机器人要接触物理世界。

AI可以设计实验，不能代替实验本身。

验证周期缩短有限。

没有验证，改进只是文档里的变化。

还有一个常被忽略的点，递归改进本身会积累误差。

系统越复杂，改动带来的副作用越难预测。一次优化可能提升某项指标，同时破坏另一项能力。

多次递归之后，维护成本上升，回滚和审计困难。

研究团队需要花大量时间定位问题。

这种内耗，会抵消速度收益。

目标漂移也会出现。

AI优化自身时，容易抓住可测量的指标，忽略难以测量的目标。

安全、伦理、稳健性、可解释性往往难以量化。递归循环越自动，纠偏越依赖外部监督。

而外部监督又更需要人类时间和制度资源。

05

圆方觉得，递归自我改进会带来局部加速。

但是真正意义上的智能爆炸需要同时满足多个极端条件。

无限算力，无限能源，完美验证，无摩擦组织，单一目标，无监管反制，持续正反馈。

而现实里这些条件互相冲突。

所以更可能的情况是局部加速，受限环节转移，速度波动。

某些环节大幅缩短，其他环节仍要数年。

06

所以如何去理解“递归自我改进”这件事情？

圆方觉得与其去纠结一个几年后可能未必会实现的预言。

不如去认真思考一下

是谁

为什么

要在此时

让你去相信

这样一套说辞

当你相信了这样一套说法之后，你又会做出什么样的选择跟决策？

把这些问题想清楚，大概就知道为什么最近像这样的说法，也包括要用SI替代AI的讨论，会充斥于整个互联网空间了。

所以，递归自我改进会不会出现？

大概率会。

它会不会真的引发所谓“智能爆炸”？

至少今天，还远远没有答案。

希望小伙伴们帮忙点个赞、转发一下，

也让更多朋友一起想想：

我们究竟是在讨论AI的未来，
还是有人正在借“未来”，重新塑造今天的决策？

祝好
来自尝试AI重构组织的圆方