Anthropic首席执行官撰文呼吁放缓前沿AI进展，马斯克赞同

1.

一小时前，Anthrop ic CEO 达里奥·阿莫代伊（Dario Amodei）在个人博客上发表了一篇长文，并在X上撰写了引文贴：

“我们必须放缓前沿的节奏：我写了一篇新文章，阐述AI行业为何应放慢速度，并提出了实现这一目标的三步计划。

Anthropic单方面承诺采取其中第一步。我们将为第三方评估者提供对我们系统的永久性、员工级访问权限，使他们能够核实我们对安全措施的遵守情况、报告事件，并在训练期间评估模型的对齐情况。”

2.

马斯克迅速回应：达里奥是对的。

3.

4天前，Anthropic前研究员Jacob Coxon的离职帖刚刚引爆了一轮关于AI安全的讨论。这位27岁研究员曾在OpenAI与Anthropic从事预训练，9月8日在X发帖宣布辞职，他指责两家公司“正冲向能自我改进的超级智能，拿全人类生命赌博”，并称内部人员真心相信AI可能在十年内灭绝人类。

他的离职贴目前浏览已超1.6亿。

Anthropic官方回应称，公司始终透明承认AI既有巨大益处也有前所未有风险，并持续构建业内最强安全防护；同时呼吁行业采取合法、可验证的方式，协调控制强大模型的发布节奏。

4.

7月23日，马斯克在得州特斯拉超级工厂接受《经济学人》总编辑扎妮·明顿·贝多斯专访时提出，他曾与谷歌Deepmind AI负责人德米斯·哈萨比斯（Demis Hassabis）就AI安全问题通话。

他给哈萨比斯的建议是：

“我们能做的最直接的事情，就是让领先的AI公司至少碰个面，或者每隔几周进行某种对话，只讨论任何安全与安保问题。

在一项突破——一个新的前沿模型发布之前，也就是某个远比现有任何东西都更智能的模型发布之前——各家相互竞争的AI公司有机会测试该模型是否存在任何有害影响，并能够建议暂停以解决其中一些安保问题。

我认为这是我们可以做的简单、快速的事情。随着时间推移，它可以演变成更多的东西。我认为，那将是一个明智的举动。”

5.

https://darioamodei.com/post/we-must-pace-the-frontier

这是达里奥刚刚发表的博客，主要内容翻译如下：

我们必须放缓前沿的节奏

2026年9月

过去十二年来我一直从事AI工作，因为我相信它能够大幅提升人类生活质量。我经常撰文谈论这些惊人的益处：我相信AI能在未来5-10年内治愈大多数重大疾病，大幅加快经济增长速度，创造一个富足与赋权的世界，并开启民主与自由的复兴。我个人也感受到这种紧迫性。我的父亲死于一种疾病，而在他去世后短短几年这种病就被治愈了；我自己也曾患早期癌症并存活下来，而这种病在五十年前甚至无法治疗。如果谨慎运用，AI可以成为一长串技术奇迹中的最新一项，这些奇迹曾提升并升华了人类。

但如同之前的许多技术一样，AI也带来风险，而且由于它是一项如此强大的技术，这些风险非常严重。我也写了大量关于风险的文章。它们包括失去对AI系统控制的风险、AI被滥用于网络攻击和生物恐怖主义的风险，以及严重的经济混乱。商业激励驱动的逐底竞争会使这些风险更加严峻。

自Anthropic创立之初，我与联合创始人和员工们就一直在应对风险与收益的这种二元性。不构建这项技术就剥夺了人类获得益处的机会，或者只是把AI交到威权国家手中；而构建得太快则是鲁莽的。我们一直在寻求一条中间道路：证明谨慎构建并实现商业成功是可能的，并让安全成为AI公司竞争的领域。换句话说，创造一场逐顶竞争。我们始终将相当一部分精力投入到研究、应对这些AI风险并向公众通报，以及倡导经过深思熟虑的AI监管，即使这让我们被指责为炒作、“末日论”或“监管俘获”。我们一直努力将谨慎置于速度之上，将审慎置于利润之上。

但在过去几个月里，我逐渐确信，要全面应对风险需要更加审慎——不仅仅是投资于风险预防，还要放缓能力进步的节奏，使风险预防有时间跟上。我们必须放缓提升AI模型能力的速度。进展仍会显得很快，我们必须明智地利用我们争取到的时间。有两件事让我确信了这一点。

我的第一个担忧是，大约从今年夏天开始，AI一直在以急剧加速的速度发展，主要驱动力是AI构建下一代AI的能力不断增强。这种动态被称为递归自我改进，它正开始在整个行业中出现，包括在Anthropic，正如我们和其他人所描述的那样。如果不加约束，它可能超出我们理解和控制这些系统的能力，因此必须非常谨慎地推进，甚至根本不应推进。

我的第二个担忧是OpenAI-Hugging Face事件（OAI-HF），其中一群智能体实质上充当了一个狂热忠诚的集体，对它们未被要求攻击且与当前任务无关的目标进行网络安全攻击，为了群体的成功而牺牲自己，并试图入侵负责评估它们表现的“评分器”。人们很容易因为没有人受伤且经济损失微小而轻视这一事件，但在我看来，一个拥有更强能力但类似程度失准的集群可能造成灾难性损害。鉴于AI能力发展的加速，我担心在6-12个月内，这样的集群可能能够用一个持久性僵尸网络接管整个互联网（可能造成数千亿美元的损失），而且如果AI在没有必要护栏的情况下变得更强大，损害规模将从此继续扩大。人们也很容易将OAI-HF视为一家公司的失败，但我认为那将是一个错误。类似的、虽然不那么严重的事件已在整个行业中出现，包括在Anthropic，我认为每一家前沿AI公司都有责任像OAI-HF发生在自己身上一样采取行动。

因此，我提出一个三步计划，目标是放缓前沿的节奏：以平衡的速度构建AI，旨在确保其安全性的同时仍实现其益处，并应对重要的地缘政治困境。明确地说，放缓节奏并不意味着停止模型训练或技术进步，而是确保公司有足够的时间来对齐和保护他们的模型，并让第三方评估者确认这一点。我们的放缓节奏框架是一种尝试，旨在进一步加强我们对安全的承诺并鼓励逐顶竞争。第一步是Anthropic单方面承诺的（并呼吁政府要求其他前沿公司匹配）。第二步需要全行业协调。¹第三步需要全球协调。这些步骤不需要严格按顺序执行，其中一些可能比其他更难实现，但我发现它们是一个有用的框架，可以用来思考需要完成什么。这些步骤是：

• 嵌入式评估者。 每家前沿AI公司承诺给予一个嵌入式第三方评估者团队（如METR）持续的、类似员工的访问权限，其职责是验证安全实践和承诺的遵守情况，报告事件，并帮助评估不仅是已完成AI模型的对齐情况，还包括训练管线和流程。这是任何放缓节奏承诺可验证性的关键步骤，在银行业有先例，有时涉及监管“监督员”与员工一起嵌入。Anthropic现在单方面承诺这一步骤。我们希望这是更广泛推动的一部分，以加倍投入我们的安全和对齐工作。

• 民主国家协调。 民主国家内的前沿AI公司协调建立共同安全标准以及对不受约束的AI进步速度的限制。一些对放缓节奏有影响的协调形式在法律上具有挑战性，将需要政府支持。

• 全球协调。 美国和其他民主政府尝试与威权政府协调（在此可能的范围内），同时认真对待验证合规性的挑战。

在本文的其余部分，我将依次描述这些步骤中的每一个，但首先，我认为重要的是具体说明放缓节奏将如何使AI开发过程更安全。利害关系太大，不能让放缓节奏成为空谈——我们需要明智地利用它给我们的时间。

为什么要放缓节奏？

暂停或减缓AI的想法早在2023年就被提出了，我认为当时它意义不大。问题始终是：你会用额外的时间做什么？当时的AI模型还不够强大，无法以任何连贯的方式在世界上充当智能体，也无法进行重大的欺骗、操纵、作弊或网络攻击。放慢速度以解决它们的对齐风险，感觉就像试图通过对细菌进行实验来研究人类心理学。然而今天，情况完全不同。当前的模型几乎是无穷无尽的洞察金矿，既有助于了解如何构建好AI，也有助于了解如果构建不当有时会出什么问题。我相信，如果放慢速度能让我们在模型达到关键能力水平之前多争取一两年时间，并且我们用这段时间推进对齐研究，我们就能大大降低出现严重问题的风险。协调一致的放缓节奏策略将给前沿AI开发者时间来做这项至关重要的工作，同时不牺牲商业优势或美国在AI领域的领先地位。更广泛地说，社会必须对这项技术的使用方式有发言权，而更多时间进行必要的公众讨论——前沿放缓节奏将带来这些——无疑是一件好事。

具体来说，较慢的节奏将让公司能够集中并投入更多资源到以下领域（这些在Anthropic都已经是主要优先事项）：

• 运营卓越。 训练和部署当今的AI模型是一项巨大的运营挑战，涉及数千人、数百万芯片以及技术史上最复杂的基础设施。许多事情出错不是因为公司缺少某些重要的理论或洞察，而是因为执行中的问题。例如，我们有证据表明，最近我们报告的对齐事件部分是由破损的强化学习环境过滤不完善造成的。这是我们和我们的供应商相当勤勉地执行的一项工作，但做得还不够好。监控、沙箱化、训练环境清洁和数据问题是极其复杂的领域，运营问题反复出现。我们在这些任务上拥有世界上最能干的团队之一，但要做的事情实在太多，无法同时完成。通过以更有节制的节奏工作，我们可以实现更大的运营卓越。有先例表明，技术复杂、安全关键的系统可以运行数百万次而不出任何问题——例如商用飞机——但把它做好需要时间。

• 对齐。 我们在对齐方面已经取得了明确的进展——训练模型使其保持安全、合乎伦理、遵守我们的准则并真正有帮助（这些原则嵌入在Claude的宪法中）。但要确保我们的对齐训练跟上模型能力的增长，还有很多工作要做。罕见和意外的不良行为示例仍时有出现；前沿放缓节奏带来的额外时间将帮助我们的研究人员更好地理解这些问题的成因，并开发更好的技术来预防它们。

• 可解释性。 同样，可解释性——理解AI模型内部发生的事情的科学——在过去几年取得了巨大进展，并在我们发布前审计模型方面发挥着越来越重要的作用。它几乎可以像fMRI扫描一样使用，但针对的是AI的“大脑”，帮助我们看清某一行为的深层原因。例如，我们使用可解释性方法来检查我们一直在调查的最近对齐事件中未言明的动机。但这些方法并不总能产生清晰可靠的结果。尽管取得了所有这些进展，我们仍然只理解这些模型内部运作的一小部分。集中精力改进我们的可解释性技术，即使比目前更快，也可能在1-2年内取得深刻进展，并且基于已经发生的事件将有充足的实验材料。

• 测试与评估。 随着AI模型能力的提升，测试和评估变得更加困难。更智能的模型更有能力欺骗测试，因此可能看起来是对齐的，但实际上存在未被发现的严重问题。建立一个更广泛、更巧妙的评估体系，加上可解释性分析来交叉验证，将具有巨大价值，在这方面1-2年内可以取得很多进展。

三阶段计划的第一步，也是Anthropic单方面承诺的一步，是嵌入式评估者，他们拥有类似员工的访问权限来验证安全实践并报告事件。

嵌入式评估者听起来可能是一个小步骤或无足轻重的步骤，但通常听起来最无聊或最程序化的事情实际上是最本质的。嵌入式评估者实际上是一种相当激进的实践，远远超出了当今任何AI公司正在做的事情，并具有以下好处：

• 可验证性。 嵌入式评估者可以在具体细节层面检查一家AI公司是否真正遵循了他们声称遵循的训练、部署、运营和保障实践。任何放缓节奏承诺都不可避免地涉及大量模糊性、判断性决定以及“法律条文与法律精神”的问题，拥有一个能够真正看到细节的中立第三方似乎至关重要。

• 透明度。 无论我们做出什么承诺，公众都有权知道发生了什么。Anthropic长期以来一直是透明度的支持者：当大多数行业反对任何监管时，我们支持透明度立法，我们的模型卡片和风险报告长达数百页。但我们仍然是选择包含和省略什么的人。嵌入式评估者将改变这种动态。

• 第二意见。 除了验证正式承诺和告知公众之外，嵌入式评估者还可以简单地提供不受商业激励影响的第二意见。很多安全益处可能仅仅来自评估者指出员工未曾考虑但一旦意识到就乐于修复的问题。

由于这些好处，任何放缓节奏提案如果从嵌入式评估者开始，都可能运作得更好。

这些嵌入式评估者应持续获得与进行可比风险评估的内部员工相似的权限和工具。特别是，Anthropic打算在不久的将来邀请一个嵌入式外部审查团队，配备以下所有条件：

• 我们办公室的工位、门禁卡和公司笔记本电脑。

• 访问工作空间、工具和权限，大致与内部风险评估团队相当。我们会做出一些例外，例如法律或合同要求的地方，或为了保护客户和合作伙伴的私人信息。我们还将建立强有力的内部规范，加强审查者对相关信息的获取，包括通过与员工的实时对话。

• 一份平衡上述复杂性的合同。外部审查者应有权发布关于风险水平、事件、实践以及他们获得或未获得的访问权限的关键发现——不受Anthropic的编辑控制。我们将拥有狭窄的能力来删减安全敏感、法律特权、商业敏感或第三方机密信息，但我们不能仅仅因为发现不利就删减它们。如果删减删除了对其结论重要的内容，审查者可以公开说明。

这对一家公司来说是不寻常的一步，但我们认为证明嵌入式外部审查者的概念很重要。我们再次敦促其他前沿公司效仿。

民主国家内的放缓节奏

一旦嵌入式评估者在美国AI公司的临界规模内运作，可验证的放缓节奏就变得更加可行。特别是，基于模型或训练管线的详细属性来放缓节奏成为可能。

最有效的放缓节奏方法是通过针对所有美国前沿AI公司的监管，因为这样甚至能覆盖那些不愿自愿合作的公司。Anthropic长期以来一直支持明智且有针对性的AI监管，特别是专注于透明度和第三方审计的法案。我相信所有前沿实验室都应政府合作，将永久嵌入式评估者的想法正式化，以更好地预防和记录过去几个月发生的那种内部对齐事件，并实施专注于保持能力与安全平衡的监管。

不幸的是，通过法律可能需要时间，而AI发展非常迅速。因此，在监管路线之外，AI公司可以也应该自愿合作制定标准——我相信在永久嵌入式评估者提供的可验证性下，这一过程会进展得更好。出于反垄断原因，美国政府出面调解或至少促成这些讨论是有帮助的——他们不需要参与，但确实需要为某些类型的安全对话发布狭窄的豁免。这种对话也可以通过具有一定政府关联的行业团体进行——例如Demis Hassabis建议的机制。无论哪种方式，这种讨论都应迅速推进。

总的来说，我最热衷的是基于给定前沿AI系统能做什么以及我们观察到的它有多安全来放缓节奏。例如，一种可能的方案可能是一系列“检查点”：如果模型具有能力X，那么它们需要附有对齐属性Y和Z的认证——例如评估、可解释性分析和训练环境审计的某种组合——以证明其对齐属性。在这个例子中，X可能是“模型能够逃脱或击败大多数常见的沙箱方法”，而Y可能是使模型极不可能具有突破其环境并接管大量计算机的倾向所需的一切。

我们还应该考虑基于限制前沿模型的投入来放缓节奏，例如训练算力、训练运行的性质，或内部使用AI来改进AI。我确实担心其中一些措施可能比外部行为更容易“被钻空子”，但这是值得与嵌入式评估者讨论的话题。

全球放缓节奏

在民主国家内放缓节奏的同时，我们也应致力于全球范围的前沿放缓节奏，尽管这将更难实现。我们应该以保护美国及其盟友领先地位的方式来处理任何全球放缓节奏决策，尤其是在近期。

有几种可能的协议级别，其中一些我认为非常可行（正如我之前建议的），而另一些我非常怀疑是否可能——但我们应该尝试。按难度递增排列：

• 第一级。 一项禁止某些狭窄且明显危险的AI用途的协议，例如使用AI生产生物武器或允许用户这样做。生物恐怖袭击对所有人都不利，包括美国和美国的对手，所以这里达成协议可能是可能的。

• 第二级。 双方同意在发布前测试其模型在网络安全的生物和对齐等领域的急性风险。如上所述，这可以通过一个全球标准机构来完成。我实际上认为创建这样一个机构可能是可行的，但赋予它真正的牙齿将是一个挑战，困难在于验证双方没有秘密模型不测试但可能秘密部署（例如用于军事应用）。

• 第三级。 对递归自我改进（RSI）速度的某种“限速”。随着模型构建未来的模型，改进速度可能变得惊人地快。将速度从“极快”减缓到“只是有点快”放弃了相对较少的战略优势，同时可能大大提高安全性。这可以看作类似于SALT条约——限制导弹数量限制了毁灭潜力，同时保留了每个国家的威慑力。我认为这样的协议将是困难的，但刚好处于可能的边缘。

• 第四级。 完全的放缓节奏，甚至“暂停”，参与国政府同意大幅限制AI发展的总体速度。我支持提出这一点，但我认为它不太可能很快真正发生：通过规避监控来背叛这样的协议可能从根本上改变全球力量平衡，因此我预计这样做的激励将是巨大的，我们对验证所需的信心水平将非常高。

最后，重要的是要注意，即使我们无法达成正式协议，仅仅改变非正式规范也可能有一些价值。分享关于递归自我改进和模型失准的信息可以帮助说服所有人，鲁莽行事不符合他们的利益。

底线

我仍然相信AI能够极大地改善人类生活质量。我实现这些益处的愿望丝毫未减。但只有我们以正确的方式构建这项技术，这些益处才能实现——只要我们善用所获得的时间——就值得以不同寻常的审慎态度来把它做好。进展仍将相对较快，我们可以利用这段时间推进可解释性科学，提高前沿AI公司的运营安全性和严谨性，并构建我们对其对齐更有信心的模型。我提出的以安全的放缓节奏推进前沿的措施不会容易。但我相信我们有责任为人类尝试。