网易首页 > 网易号 > 正文 申请入驻

AI一年进展或压缩到五周,辛顿、 Bengio等22位顶尖学者联名警告:“智能爆炸”比想象中更近

0
分享至



随着 AI 开始越来越多地参与研发下一代 AI,一项曾长期停留在理论中的风险,正在重新进入公众视野。

近日,剑桥大学人工智能科学与政策项目(Cambridge Programme on AI Science & Policy,CASP)发布了一篇由 22 位 AI 领域前沿专家联合撰写的论文《如果自动化 AI 研发触发“智能爆炸”会怎样?》。

作者阵容包括诺贝尔奖得主、图灵奖得主杰弗里·辛顿(Geoffrey Hinton),图灵奖得主约书亚·本吉奥(Yoshua Bengio)、安德鲁·巴托(Andrew Barto),以及 OpenAI 首席科学家雅库布·帕霍茨基(Jakub Pachocki)、Anthropic 联合创始人杰克·克拉克(Jack Clark)、微软首席科学官埃里克·霍维茨(Eric Horvitz)等。


(来源:CASP)

在论文中,他们讨论了一个核心问题:如果 AI 逐渐接管 AI 研发流程,更强的模型帮助开发下一代模型,下一代模型又进一步提高研发效率,这种循环是否可能让 AI 进步突然加速,把原本需要数年完成的技术进展压缩到几个月,甚至更短?

论文将这种情况称为“智能爆炸”(intelligence explosion)。作者们集体认为,尽管目前还没有证据表明这一过程已经发生,AI 研发自动化带来的生产率提升也还没有跨过相应门槛。但与几年前相比,支撑这种反馈循环的条件正在快速成熟,部分趋势已经在前沿实验室内部显现。

AI 正在进入 AI 研发

“智能爆炸”并不是一个新概念。

早在 20 世纪 60 年代,英国数学家欧文·约翰·古德(I. J. Good)就曾设想,如果机器有能力设计比自己更聪明的机器,那么第一台足够强大的机器可能成为人类“最后需要制造的发明”之一。

后来,这类讨论逐渐发展出递归自我改进(Recursive Self-Improvement,RSI)的概念:AI 能力提高后,进一步增强自身参与 AI 研发的能力,从而推动下一轮改进。

过去,这个设想更多停留在理论层面,一个很现实的原因是,AI 还无法真正承担多少 AI 研发工作。

现在,情况开始变得不同。代码生成是最明显的领域,自动化已经从写几行程序,逐渐扩展到调试、运行实验、分析结果、评估模型,甚至选择下一步实验方向。

Anthropic 今年公布的内部数据显示,截至 2026 年 5 月,公司合并进入代码库的代码中,超过 80% 已经由 Claude 编写;Claude Code 在 2025 年初进入研究预览时,这一比例还只有个位数。

到今年 8 月,在 Anthropic 内部评估的 AI 研发工作中,Claude 已经能够在只接受高层级人类监督的情况下“主导”26% 的任务,而几个月前这一比例约为 1%;超过 90% 的研发工作至少进入了较深程度的人机协作。


(来源:Anthropic)

OpenAI 内部也出现了类似现象。今年年初,其研究人员对编程智能体的使用仍相对有限。到 8 月中旬,按照 8 小时工作日换算,OpenAI 研究部门每投入一个人类工作日,已经对应约 3.1 个智能体工作日。大量智能体同时运行,使研发工作的“人力规模”第一次可以在软件层面迅速扩张。

CASP 论文据此指出,今天最强的 AI 系统已经能够完成部分原本需要专业研究人员数小时甚至数天的研发任务,而 2023 年的模型通常只能可靠完成以秒计的任务。一些自动化科研系统还能够自行生成研究想法、运行实验并撰写论文。

论文援引的趋势外推甚至提出,如果近期能力增长持续,到 2028 年中,原本需要人类团队数月推进的部分 AI 研发项目可能进入自动化范围。不过作者也把这一预测明确描述为初步外推。

AI 研发之所以可能更早实现高度自动化,一个重要原因是它的大部分工作本来就在计算机里完成。代码可以直接修改和运行,实验结果很快就能反馈,新的方法一旦有效,也可以马上用于下一轮研发。相比之下,芯片、设备和现实实验都要受制于更长的生产和建设周期。

一年的 AI 进步,可能被压缩到五周?

如果 AI 只是帮助研究人员提高效率,影响其实相对有限。22 位作者真正关注的是,当 AI 开始承担越来越多研发工作之后,这些进步是否会反过来继续加快下一代 AI 的开发速度。

这个过程可以分成两步。随着模型能力提高,AI 能够处理更多研发任务,研究团队的整体效率和规模随之扩大。更强的 AI 又会参与开发下一代模型,进一步提高研发速度。

如果这种循环能够持续,每一轮进步都会为下一轮提供更多研发能力,AI 的迭代速度也可能不断加快。


(来源:CASP)

类似的反馈机制过去也出现过。性能更强的计算机可以帮助设计更先进的芯片,工程软件也能提高下一代产品的开发效率。AI 的特殊之处在于,它很容易复制和并行运行。一个优秀的人类研究员无法同时变成成千上万个自己,同一个 AI 智能体却可以部署大量实例。算法一旦取得改进,也能很快应用到整个研发流程中。

论文据此做了一项较为激进的推演。如果 AI 达到专家级的研发能力,同时运行成本与今天的系统大致相当,一家前沿 AI 公司的现有计算资源,理论上可能支撑相当于数百万名顶尖人类研究者的自动化研发力量。不过作者也强调,目前还无法确定这种加速究竟能持续多久,最终又能达到多大规模。

论文还引入了一个名为“科研努力回报率”(returns to research effort)的指标,简单来说,它衡量的是研发投入增加后,技术进步能够以多大程度继续增长。论文采用的模型中,如果这一数值低于 1,边际收益递减占据主导,新增研究力量带来的回报会越来越小;如果等于 1,两种力量大致抵消;如果高于 1,研发力量增长带来的收益足以超过边际递减,技术进步就有可能继续加速。

论文援引对三个 AI 研究子领域历史数据的分析,给出的核心估计值在 1.2 至 1.9 之间。也就是说,从这些历史数据看,增加研发投入仍然能够带来较明显的技术进步,边际收益递减还没有强到足以压住这种增长。

在此基础上,论文做了一项条件推演。如果未来 AI 研发实现充分自动化,这一回报率继续保持在类似水平,同时算力、数据等环节没有形成新的瓶颈,那么 AI 技术进步的速度可能在大约一年半内提高 10 倍。到了那个阶段,按照今天速度需要一年取得的进展,可能只需要约五周。


(来源:Image 2)

不过,这实现起来并不容易。因为研发速度还会许多限制因素的影响。

其中一个限制当然是边际收益递减。容易找到的改进逐渐减少后,大量 AI 智能体可能开始重复探索相似方向,增加研发规模也很难继续带来同等比例的成果。

算力和物理资源则是另一层约束。AI 智能体可以快速复制,但 GPU、电力和数据中心无法按照同样的速度扩张,训练一个前沿模型本身也可能持续数月。软件端的研发能力即使迅速增加,真正的大规模训练仍然受到现实资源和时间的限制。

还有一些研究环节很难用明确指标衡量。写代码、运行实验通常可以快速获得结果,模型能够根据反馈不断调整;但到了研究方向选择、资源分配和长期判断这类问题,往往没有现成的标准答案。系统可以同时完成大量实验,却很难准确判断哪些结果真正重要、哪些方向值得继续投入。

真正被压缩的,还有社会的反应时间

当然,论文也提到了 AI 自动化研发可能带来的正面影响。更快的研发速度,有望让药物、新材料等领域的技术成果更早出现,一些原本需要多年推进的研究,也可能明显缩短周期。

但相对于此,22 位作者更关心的问题是,当 AI 研发本身开始持续加速,社会是否还能跟上这种变化。如果 AI 能力的迭代周期从“年”缩短到“月”甚至“周”,留给评估、监管和调整制度的时间也会随之减少。

围绕这一点,论文重点讨论了三类风险。第一类,是技术能力的增长速度超过社会的调整能力。网络攻击、生物技术滥用、劳动力市场变化等问题,都可能随着 AI 能力提升而提前出现,但现实世界中的防御措施往往需要更长的准备周期,包括基础设施建设、制度调整、产品生产和人员组织。

论文举了一个例子。AI 可以同时加快病毒设计和疫苗研发,但两者进入现实世界后的速度并不对等。病毒能够自行复制和扩散,疫苗则需要经过生产、运输和接种。即使 AI 同时提高了“攻”和“防”两端的研发效率,现实中的防御体系仍可能因为生产和部署周期更长而落后一步。

第二类风险来自监督能力下降。随着越来越多研发环节由智能体自主完成,人类直接参与其中的程度可能逐渐降低,对系统内部发生了什么,也会越来越难保持充分了解。

作者担心,如果未来 AI 进一步参与下一代模型的训练和设计,一个系统中存在的错误、偏差或不符合人类意图的行为,也可能被带入后续系统,并在连续迭代中被进一步放大。论文指出,在极端情况下,人类甚至可能逐渐失去对高度自主 AI 系统的有效控制。

第三类风险涉及权力结构。如果某家公司或某个国家率先获得显著更强的 AI 研发能力,原本有限的技术领先可能在连续迭代中迅速扩大,并进一步改变企业之间、国家之间,以及不同公共机构之间原有的力量平衡。

基于这些判断,22 位作者提出了应对方向。首先,是建立更系统的监测和报告机制,让监管机构能够了解前沿 AI 公司有多少研发工作已经交给 AI,自动化程度又在以什么速度提高。其次,是提前准备第三方审计、安全评测、隔离环境,以及在出现严重异常时暂停部分 AI 研发任务等措施。

论文还建议政府为劳动力冲击、网络安全、生物安全和 AI 失控等情况提前建立应急预案。

其实,类似的警告近来已经并不少见。9 月中旬,英国皇家学会数十位院士联名致信,要求学会宣布 AI 发展速度已经构成“紧急状态”;几乎同一时间,Anthropic CEO 达里奥·阿莫迪(Dario Amodei)发表长文呼吁“放慢前沿”,OpenAI 和马斯克随后也公开表示支持。

但到目前为止,这些表态大多还停留在自愿承诺层面,没有形成真正具有约束力的机制。它们覆盖的也主要是少数几家美国头部公司,开源阵营和其他国家的实验室并不在同一套规则之内。甚至有评论认为,在几家公司筹备上市、竞争持续升温的背景下,“减速”的表述也带有维护企业形象的意味。

那么,这篇论文会不会也一样,热闹一阵,然后石沉大海?这完全有可能。

不过,它至少提出了一个和此前“减速”呼吁不太一样的角度。论文没有直接要求谁停下来,而是先追问一个更基础的问题:前沿公司究竟有多少研发工作已经交给 AI,这个比例又在以多快的速度上升。

如果“减速”最终仍然只能依赖企业自觉,那么至少应该有一套外部可以核查的数据,让外界知道它们到底有没有慢下来,也让人判断 AI 研发自动化究竟已经走到了哪一步。

1.https://arxiv.org/abs/2609.36054

2.https://www.governance.ai/research-paper/what-if-automating-ai-r-d-triggers-an-intelligence-explosion

3.https://www.anthropic.com/research/AI-R-and-D-evaluation

4.https://www.anthropic.com/research/AI-R-and-D-evaluation-2

5.https://www.anthropic.com/research/measuring-AI-ability-to-complete-long-tasks

6.https://www.anthropic.com/research/measuring-AI-ability-to-complete-long-tasks-2

注:封面/首图由 AI 辅助生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
为什么中国AI短剧发展火爆,美国却没什么波澜

为什么中国AI短剧发展火爆,美国却没什么波澜

侃故事的阿庆
2026-10-03 09:13:56
巴西大选今日投票!卢拉对阵前总统之子,双方民调胶着谁将胜出

巴西大选今日投票!卢拉对阵前总统之子,双方民调胶着谁将胜出

红星新闻
2026-10-04 18:10:02
撒贝宁假期携妻儿回武汉,一家四口互动有爱,7岁龙凤胎长大好多

撒贝宁假期携妻儿回武汉,一家四口互动有爱,7岁龙凤胎长大好多

一窥究竟
2026-10-04 17:08:47
原来红果短剧广告能关,以后看短剧又快多了

原来红果短剧广告能关,以后看短剧又快多了

喜欢历史的阿繁
2026-10-04 01:52:22
“闲鱼”黑话近日冲上热搜。

“闲鱼”黑话近日冲上热搜。

呼呼历史论
2026-10-04 11:16:29
3号种子高芙vs16岁孙心然!

3号种子高芙vs16岁孙心然!

星Xin辰大海
2026-10-04 12:28:39
“班里10个男生,9个有小辫子”,家长天塌了:贫民太子的美梦

“班里10个男生,9个有小辫子”,家长天塌了:贫民太子的美梦

熙熙说教
2026-09-28 12:05:34
袁思俊怒砍1分!放空杆送大礼,吴宜泽单杆80分拿下,决赛2-1反超!

袁思俊怒砍1分!放空杆送大礼,吴宜泽单杆80分拿下,决赛2-1反超!

刘姚尧的文字城堡
2026-10-04 15:29:05
6000块罚单上热搜后:为什么全国网友都在喊“全国推广”?

6000块罚单上热搜后:为什么全国网友都在喊“全国推广”?

阿芒娱乐说
2026-10-04 09:54:23
50岁男子冠脉狭窄85%,2年后却完全消失,他的4个方法,值得借鉴

50岁男子冠脉狭窄85%,2年后却完全消失,他的4个方法,值得借鉴

白宸侃片
2026-10-02 13:02:54
小米汽车宣布:Xiaomi Vision GT 10月即将正式入驻Gran Turismo 7,成为游戏史上的首台中国Vision GT

小米汽车宣布:Xiaomi Vision GT 10月即将正式入驻Gran Turismo 7,成为游戏史上的首台中国Vision GT

大风新闻
2026-10-03 18:03:04
巴西禁止进口黑奴后,一名庄园主选了个强壮的黑人,给他配了100个老婆

巴西禁止进口黑奴后,一名庄园主选了个强壮的黑人,给他配了100个老婆

言过于诚
2026-09-20 15:43:59
伊万卡晒全家福:100岁外祖母与13名后辈团聚

伊万卡晒全家福:100岁外祖母与13名后辈团聚

奇思妙想生活家
2026-10-03 11:27:09
中国体坛最伟大7名运动员,林丹上榜,苏炳添第3,第1当之无愧

中国体坛最伟大7名运动员,林丹上榜,苏炳添第3,第1当之无愧

娱说瑜悦
2026-10-03 14:49:56
下课倒计时?3胜1平3负+亚洲排名历史新低,邵佳一恐只剩最后机会

下课倒计时?3胜1平3负+亚洲排名历史新低,邵佳一恐只剩最后机会

篮球圈里的那些事
2026-10-04 17:36:49
全世界最佩服中国的几件事,老外彻底想不通,看完彻底震撼

全世界最佩服中国的几件事,老外彻底想不通,看完彻底震撼

原广工业
2026-10-04 01:56:55
刘欢的板书写得非常漂亮,字如其人,不张扬又足够洒脱。

刘欢的板书写得非常漂亮,字如其人,不张扬又足够洒脱。

荆楚寰宇文枢
2026-09-28 22:18:07
出大事了!西方对C919下狠手,发动机航电全被卡,中国商飞硬扛

出大事了!西方对C919下狠手,发动机航电全被卡,中国商飞硬扛

慕名而来只为你
2026-10-04 11:02:22
因拒判吴石死刑刘咏尧遭蒋介石痛恨,家族受难晚年幸有刘若英陪伴

因拒判吴石死刑刘咏尧遭蒋介石痛恨,家族受难晚年幸有刘若英陪伴

文史季季红
2026-10-04 17:55:04
郑丽文与李四川第五次同台,这次演讲,让所有人恍然大悟

郑丽文与李四川第五次同台,这次演讲,让所有人恍然大悟

小影的娱乐
2026-10-04 13:38:50
2026-10-04 18:55:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17335文章数 515224关注度
往期回顾 全部

科技要闻

苹果确认:iPhone 18 Pro Max有问题

头条要闻

"我差点就去服兵役了" 韩男足队长一句话惹恼半个国家

头条要闻

"我差点就去服兵役了" 韩男足队长一句话惹恼半个国家

体育要闻

“小将”吴曦,中国的莫德里奇

娱乐要闻

杨议没料到,郭德纲如今仍是一呼百应

财经要闻

OpenAI前安全部门员工:公司文化已崩坏

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

时尚
教育
游戏
亲子
军事航空

伊姐十一热推:电视剧《余红旧事》;电视剧《不是你的恋爱》......

教育要闻

开学第一周就考试?石室天府交子校区被家长投诉,高新区这样处理

日本游戏“反派洗白”成套路?别逼我原谅了

亲子要闻

带孩子出游的三个规矩,你做到了吗?

军事要闻

驻冲绳美军士兵抢劫杀人 日本向美国提出抗议

无障碍浏览 进入关怀版