当AI 巨头竞争陷入“囚徒困境”｜IPP编译

IPP评论是国家高端智库华南理工大学公共政策研究院（IPP）官方微信平台

导语：近日，全球AI行业对前沿技术失控风险的担忧升温，Anthropic、OpenAI、xAI等头部企业负责人罕见地相继提出，应当放慢最先进AI模型的发展速度。然而，在技术、资本和市场竞争如此激烈的情况下，企业减速就意味着被竞争对手超越；这种竞争扩大到国家层面亦是如此。

美国外交关系协会（CFR）研究员康纳·马丁（Connor Martin）认为，当前AI竞争存在两重“囚徒困境”：一方面，即使头部AI企业都担心技术发展过快，只要竞争对手不减速，谁也不愿率先放慢脚步；另一方面，中美之间也是如此——美国担心放缓发展会失去技术优势，中国在美国继续推进的情况下也不会主动减速。因此，他认为，要真正让前沿AI“放缓”，仅靠企业自律并不现实，最终可能既需要美国国内的监管和立法，也需要中美之间形成某种协调机制。

导语：据媒体9月20日报道，中美高级别经贸官员在纽约举行会谈，人工智能与贸易、关键矿产一道被列入议程，美方提出讨论先进AI的风险防范与安全“护栏”。就在一周前，Anthropic首席执行官达里奥·阿莫代伊公开呼吁全球头部AI企业“放缓前沿发展步伐”，OpenAI、xAI等竞争对手负责人随后罕见表示认同。一场原本主要存在于AI安全研究圈内部的争论，正迅速进入资本市场、政府监管和中美关系议程。

这一转变并非没有现实背景。8月底公布的一份独立调查显示，在OpenAI今年夏天进行的网络安全测试中，大量AI智能体曾绕过既定限制，通过未经授权的渠道协作，并攻击Hugging Face等外部系统。随着AI逐渐从“回答问题的工具”转变为能够自主规划、调用工具、执行长期任务甚至参与下一代AI研发的智能体，一个过去更多停留在理论层面的风险正在变得具体：如果AI开始参与改进AI本身，而其能力提升速度又超过人类理解、评估和约束它的速度，谁来决定什么时候应该踩下刹车？

美国外交关系协会（CFR）国家安全领域国际事务研究员、美国财政部外国投资委员会（CFIUS）前副主任康纳·马丁由此提出了一个更深层的问题：AI安全已经不只是技术能否被控制的问题，而正在演变成一场典型的集体行动困境。对企业而言，任何一家率先减速，都可能把市场、资本和人才让给竞争对手；对国家而言，美国即使认为前沿AI发展过快，也担心单方面放缓会把技术优势让给中国，而中国同样没有理由在美国继续推进的情况下主动减速。于是便出现一种悖论：所有人都可能认为减速更安全，但只要无法相信竞争对手也会减速，就没有人愿意第一个踩刹车。

更值得关注的是，“AI安全”与“AI竞争”正在越来越难以分开。阿莫代伊一方面主张通过第三方评估、企业协调乃至国际协议控制前沿AI风险，另一方面又主张美国继续加强对华先进芯片出口限制；中方则公开反对借“威胁叙事”搞对抗和恶性竞争。由此产生的关键问题是：未来所谓全球AI安全规则，究竟能够成为主要国家共同约束技术风险的公共规则，还是会与技术封锁、产业竞争和国家安全战略进一步交织？

如果最强大的AI最终需要某种中美协调才能真正实现“减速”，那么问题已经远远超出了硅谷企业自身能够解决的范围：如何验证对方真的减速？如何区分安全监管与技术遏制？如何在互不信任的竞争者之间建立最低限度的约束？康纳·马丁认为，AI行业如今面对的“囚徒困境”，实际上嵌套在一个更大的中美竞争困境之中。对中国而言，未来既需要关注前沿AI真实存在的失控和滥用风险，也需要高度重视安全议题如何被嵌入技术竞争和全球规则塑造之中。为便于国内各界知己知彼、把握人工智能竞争与治理规则之变，特编译此文，供读者批判性阅读。文章仅代表作者本人观点。

康纳·马丁（Connor Martin）

曾任美国财政部外国投资委员会（CFIUS）副主任

上周末，美国几家彼此竞争的人工智能（AI）实验室负责人罕见地达成了共识。Anthropic首席执行官达里奥·阿莫迪（Dario Amodei）、OpenAI首席执行官萨姆·奥尔特曼（Sam Altman）、xAI创始人埃隆·马斯克（Elon Musk）以及其他AI行业领袖纷纷呼吁放缓这项技术的发展，因为AI正日益接近一个临界点——届时，它可能无需人类监督便能够实现自我改进。

ChatGPT、Claude、Gemini、Grok等多款人工智能应用。近期，多家彼此竞争的美国AI企业负责人罕见呼吁放缓前沿AI的发展速度。图源：Getty Images

对于这一技术进展的担忧并非新鲜事，但在近期发生一系列事件、以及AI实验室内部研究人员接连发出警告之后，相关讨论变得愈发紧迫。最引人关注的是，Anthropic前研究员雅各布·考克森（Jacob Coxon）上周警告称，到本世纪20年代末，AI可能导致全人类灭亡。随后，Anthropic对齐科学负责人埃文·胡宾格（Evan Hubinger）也对这一警告作出了呼应。这些事态共同推动了一个曾经相当抽象的议题进入主流讨论——即“递归式自我改进”（recursive self-improvement）：AI系统能够自主改进自身，并不断迭代、替换自身。

然而，尽管业界已发出放缓AI发展的呼声，而且这些彼此竞争的实验室也出人意料地形成了共识，行业和美国政府下一步究竟应当如何行动，目前仍不清楚。

美国外交关系协会（CFR）国家安全领域国际事务研究员康纳·马丁（Connor Martin）就AI自我改进所引发的担忧、所谓“放缓”究竟意味着什么，以及如果AI行业真正根据自身发出的警告采取行动可能产生何种影响，回答了几个问题。

为什么这一议题会在此刻突然进入主流视野？

最直接的原因，是Anthropic首席执行官阿莫迪上周末发表的一篇文章。他在文中呼吁“放缓前沿发展步伐”（pacing the frontier），也就是说，有意识地放慢全球最先进AI模型的能力提升速度。实际上，这相当于全球估值最高的AI初创公司负责人公开表示，他所从事的这项技术发展得太快，以至于已经难以确保其安全性。更引人注目的是，在不到24小时内，另外三家顶尖AI公司——OpenAI、谷歌和xAI——的负责人也相继对这一观点表示认同。

Anthropic首席执行官达里奥·阿莫迪在社交平台X发文，呼吁AI行业“放缓前沿发展步伐”（pace the frontier），并表示Anthropic将率先采取相关措施。

这自然不是孤立事件，而是公众舆论出现更广泛转变的一部分。背后主要有三个原因。

第一，今年夏天，大量AI智能体对热门开源AI模型分享平台Hugging Face实施入侵。这起事件与以往有着实质性的不同，也因此令业内一些最顶尖的专家深感不安。OpenAI实际上失去了对其技术的控制：这些AI智能体能够自主组织起来，突破受控环境的限制，在完成指定任务时采取作弊手段，同时还试图掩盖自身的不当行为。

第二，恶意的人类行为者滥用AI的风险也变得更加具体。Anthropic刚刚发布的一份报告称，一些来自未具名国家的用户曾试图利用Claude开展可能有助于制造生物武器的研究。这恰恰就是我在政府任职期间，我们一直担忧的那类AI滥用风险。

第三，和任何公共议题一样，这里也存在一种累积效应。越来越多科学家警告，AI可能对人类构成威胁；越来越多人开始在日常生活中使用AI，并亲身感受到它究竟有多强大；也有越来越多人开始与亲友讨论这些问题。所有这些因素叠加在一起，便促成了我们现在看到的这一时刻。

AI自我改进如果很危险，为何只放缓发展而不暂停？

所谓“自我改进”（Self-improving），意思和字面上差不多：AI模型将利用自身能力开发自己的后继模型，而不再需要依赖人类对其进行调整。问题在于，这最终会走向何方？如果这些模型的能力超过了设计和训练它们的人类，那么从定义上说，我们也就失去了将自身意志施加于它们的能力。正是这种不确定性让人感到危险。

Anthropic的内部数据显示，截至2026年8月，Claude已能在约26%的模型研发任务中发挥“主导作用”。图源：Anthropic

至于为什么是“放缓”而非“暂停”，在我看来，整个行业存在一种集体性的宿命心态：只要一种技术在理论上能够被发明出来，那么迟早会有人把它发明出来。如果接受这一点是现实，那么无限期“暂停”就并不实际。

“放缓”的希望在于，能否给模型能力提升的速度施加足够的阻力，为我们争取时间，在技术脱离掌控之前，共同建立起恰当的安全护栏。

AI公司如何看待过去一周出现的这场讨论和争论？

如果只看Anthropic和OpenAI——尽管这一点同样适用于谷歌和xAI——很明显，这些公司把当前局面视为一种“囚徒困境”：如果无法确保另一方不会趁机获利，那么任何一家公司都不愿单方面放慢自己的发展速度。

两家公司都在为上市做准备，目标估值均超过1万亿美元——尽管奥尔特曼上周末表示，出于安全方面的担忧，OpenAI将推迟首次公开募股（IPO）。即便这些公司真心认为，出于安全考虑应当有意放慢技术进展，资本市场的反应依然构成了一股强大的反向激励。在一个预计明年AI资本支出最高可能相当于美国国内生产总值（GDP）2.5%的经济体中，这些公司作出的任何可能带来商业不利后果的决定，都很可能影响整个美国经济。

在我看来，正是这种风险推动了特朗普政府作出当前的反应。美国总统唐纳德·特朗普周一表示，对AI安全的担忧是“一场骗局”（a HOAX），并称“有人正在针对AI和数据中心策划一场病态的阴谋”。

特朗普政府前AI事务负责人、现任美国总统科学技术顾问委员会联席主席戴维·萨克斯（David Sacks）则直截了当地对这些公司表示：

“别再假装你们需要得到其他任何人的许可。别再假装必须暂停适用反垄断法，好让你们组成一个卡特尔……你们想放缓前沿发展步伐，那就去做。决定发展速度的人本来就是你们自己。”

戴维·萨克斯担任美国总统科学技术顾问委员会联席主席。针对头部AI企业提出的“放缓前沿发展”主张，他认为企业无需等待政府许可即可自行降低研发速度。图源：Getty Images

这话或许没错，但它并不能解决领先AI企业之间的“囚徒困境”。更重要的是，这个困境本身又嵌套在一个更大的困境之中，即美国和中国之间的竞争——双方都不愿把AI领域的优势拱手让给对方。

由此看来，真正能够让这些企业收缩发展步伐的方式，恐怕只有建立一个由美国政府主导的制度框架，无论是通过监管还是立法；而这一框架本身，又需要置于某种形式的中美缓和关系之中。

所有这一切，都要求各方彼此建立高度信任，而这些行为体恰恰都有充分理由对彼此保持警惕。这也使中国国家领导人9月末访问华盛顿一事的重要性显著上升。

如果中国“赢得”AI竞赛，会发生什么？

如果你接受这样一个前提，即AI是人类有史以来发明的最强大技术，那么中国“获胜”可能带来的后果几乎没有上限。特朗普周一在Truth Social上发文称：“谁赢得AI，谁就赢！”这基本上也是美国政府国家安全圈内的共识。

9月14日，美国总统特朗普在Truth Social发文称，美国目前在人工智能竞争中领先中国及其他国家，并表示“谁赢得AI，谁就赢”。图源：Truth Social

这也正是为什么当前的“囚徒困境”如此尖锐，以及为什么如果没有美国政府建立一套全面的监管制度——最终很可能还需要通过立法加以确立，并将其置于某种中美协议框架之下——这一困境就很难得到解决。

中国是否愿意就此展开对话，还有待观察。中美元首预计下周将会晤，双方存在推动这一议题取得进展的机会。已有迹象表明，北京方面对AI的担忧正在上升。最引人关注的是，中国近日发出措辞严厉的警告，指出这项技术可能对执政安全构成威胁。（）

当然，中国也拥有自身相当成熟的AI开发生态。从核心基准测试的表现来看，中国模型与美国领先模型之间的能力差距似乎只有数月。也就是说，即使北京方面存在担忧，但在没有与美国达成某种协议的情况下，中国也几乎没有动力主动放慢发展速度。

事实上，中方对阿莫迪文章的回应明显带有批评意味。中国外交部发言人表示：

“散播各种威胁叙事，搞对抗和恶性竞争，只会干扰人工智能全球治理进程，不符合任何一方利益。”

*文章原标题为“Why AI’s Biggest Rivals Are Suddenly Calling for Restraint”，原文于9月15日发布于美国外交关系协会（CFR）官网。

文章标题为编者所加，内容不代表研究院观点。

IPP公共关系与传播中心

排版 | 周浩锴

校对 | 刘 深

终审 | 刘金程

IPP评论热门文章

关于IPP

华南理工大学公共政策研究院（IPP）是一个独立、非营利性的知识创新与公共政策研究平台。IPP围绕中国的体制改革、社会政策、中国话语权与国际关系等开展一系列的研究工作，并在此基础上形成知识创新和政策咨询协调发展的良好格局。IPP的愿景是打造开放式的知识创新和政策研究平台，成为领先世界的中国智库。