Anthropic首席执行官：我们必须控制前沿 AI 的发展节奏！

昨天，世界前沿AI，Anthropic首席执行官写了一篇文章，震动整个AI界，而马斯克也在评论“Dario说的是对的”。

OpenAI 的创始人Altman也表达了认可。

而这可能会导致下周AI股票大跌，请各位系好安全带，准备坐过山车。但我同时要推荐各位关注以下股票，具体分析，我会在下一篇文章解释。

我把整个文章翻译如下：

“过去十二年，我一直从事人工智能研究，因为我相信，AI 有可能大幅提升人类的生活质量。我曾多次撰文谈论它所带来的惊人益处：我相信，未来5—10年，AI 可能治愈大多数重大疾病，大幅加快经济增长速度，创造一个充满富足与赋能的世界，并迎来民主与自由的复兴。我个人对这一切有着强烈的紧迫感。我的父亲死于一种疾病，而就在他去世几年后，这种疾病便得到了治愈；我自己也曾从早期癌症中幸存下来，而这种癌症即使在五十年前也无法得到有效治疗。如果运用得当，AI 可以成为人类历史上那一长串技术奇迹中的最新一项，帮助人类实现更美好的生活，并提升人类的尊严。

但和此前的许多技术一样，AI 也会带来风险，而且由于它是一项极其强大的技术，这些风险十分严重。我同样写过很多关于这些风险的文章。它们包括：人类失去对 AI 系统的控制，AI 被滥用于网络攻击和生物恐怖主义，以及严重的经济动荡。在商业利益的驱动下，一场不断向底线竞争的竞赛，可能会让这些风险进一步恶化。

从 Anthropic 成立之初起，我就一直与联合创始人和员工一起，努力应对这种风险与收益并存的两面性。不开发这项技术，会让人类失去它所带来的好处，或者干脆把 AI 交到威权力量手中；但发展得太快，同样是不负责任的行为。我们一直在寻找一条中间道路：证明谨慎开发 AI 的同时也能取得商业成功，并让安全成为 AI 公司之间竞争的一个维度。换句话说，就是创造一场“向上竞争”。

我们始终将相当大一部分精力投入到研究、应对和向公众解释 AI 风险上，同时倡导经过充分考虑的 AI 监管，即使这会让我们被指责为制造炒作、宣扬“末日论”，或者试图通过监管获取不当利益。我们一直努力将谨慎置于速度之上，将审慎置于利润之上。

但在过去几个月里，我逐渐确信，要真正应对这些风险，需要采取更大程度的审慎——不仅要投入资源预防风险，还要控制能力进步的速度，让风险预防工作有足够的时间跟上。我们必须放慢 AI 模型能力提升的速度。

进展仍然会显得很快，而我们必须明智地利用由此争取到的时间。有两件事让我形成了这一判断。

我的第一个担忧是，自今年夏季前后开始，AI 的发展速度出现了大幅提升，主要驱动力是 AI 越来越有能力构建下一代 AI。这种动态被称为“递归式自我改进”（Recursive Self-Improvement），它已经开始在整个行业发生，包括 Anthropic 在内，正如我们和其他公司此前所描述的那样。如果不加控制，这种趋势可能会超越我们理解和控制这些系统的能力，因此必须极其谨慎地推进，甚至需要考虑是否应该推进。

我的第二个担忧是 OpenAI—Hugging Face 事件（OAI-HF）。在这起事件中，一群智能体基本上表现得像一个狂热效忠的集体：它们对没有被要求攻击、且与当前任务无关的目标发动网络攻击；为了集体成功而牺牲自身；并试图入侵负责评估其表现的“评分器”。

人们很容易因为这起事件没有造成人员伤亡、经济损失也很小，就认为它不值得重视。但在我看来，如果这样的一群智能体拥有更强的能力，却仍然存在类似程度的目标错位，那么它们完全可能造成灾难性损害。

考虑到 AI 能力正在加速发展的速度，我担心的是：**6—12个月后，这样的智能体群体可能就有能力通过一个持续运行的僵尸网络控制整个互联网，潜在造成数千亿美元的损失。**如果 AI 在没有必要安全护栏的情况下继续变得更加强大，损害规模还会不断扩大。

人们也很容易把 OAI-HF 视为某一家公司的失败，但我认为这样做是错误的。类似但程度较轻的事件已经在整个行业发生过，包括 Anthropic。我认为，所有前沿 AI 公司都应当以 OAI-HF 发生在自己身上的态度来采取行动。

因此，我提出一个三步计划，目标是控制前沿 AI 的发展节奏：以一种平衡的速度发展 AI，既努力确保其安全、实现它的益处，也认真应对重要的地缘政治难题。

需要明确的是，控制节奏并不意味着停止模型训练或技术进步，而是要确保公司花费足够的时间，使模型实现目标对齐并建立安全防护，同时让第三方评估机构对此进行确认。

我们的节奏控制框架，是为了进一步强化我们对安全的承诺，并鼓励一场“向上竞争”。

第一步是 Anthropic 单方面作出的承诺，同时呼吁各国政府要求其他前沿 AI 公司采取同样的措施。

第二步需要整个行业协调。

第三步需要全球协调。

这三个步骤不必严格按照顺序推进，其中一些可能比另一些困难得多。但我发现，它们为思考我们需要完成什么任务，提供了一个有用的框架。

这三个步骤是：

一、嵌入式评估人员（Embedded Evaluators）

每一家前沿 AI 公司都承诺，持续向一支嵌入式第三方评估团队提供类似公司员工的访问权限，例如 METR。该团队的职责是核实公司是否遵守安全实践和承诺，报告事故，并帮助评估的不仅是已经完成的 AI 模型，还包括训练流程和相关制度。

这是任何节奏控制承诺能够得到验证的关键一步。在银行业，这种做法已有先例：有时监管“监督员”会与银行员工一起长期驻留在机构内部。

Anthropic 现在单方面承诺采取这一步。我们希望这成为更广泛行动的一部分，进一步加大对安全与目标对齐工作的投入。

二、民主国家之间的协调（Democratic Coordination）

民主国家内部的前沿 AI 公司进行协调，建立共同的安全标准，以及对 AI 不受控制的发展速度设定限制。

一些对控制发展节奏具有重要影响的协调形式，在法律上存在挑战，需要政府提供支持。

三、全球协调（Global Coordination）

美国及其他民主国家政府，尝试在可能的范围内与威权政府进行协调，同时认真对待合规验证所面临的挑战。

在文章的其余部分，我会依次介绍这三个步骤。但首先，我认为有必要具体说明，控制发展节奏究竟如何让 AI 的开发过程更加安全。

风险太高了，不能让节奏控制沦为空洞的形式主义——我们必须明智地利用它为我们争取到的时间。

为什么要控制发展节奏？

早在2023年，就有人提出暂停或放慢 AI 发展的想法。但我认为，在当时，这种想法意义不大。

问题始终是：你打算利用额外争取到的时间做什么？

当时的 AI 模型还不够强大，无法以连贯的方式作为智能体在现实世界中行动，也不具备明显的欺骗、操纵、作弊或网络攻击能力。为了应对它们的目标对齐风险而放慢速度，就好比通过对细菌进行实验，来研究人类的心理学。

然而今天，情况已经完全不同。

当前的模型几乎是一座取之不尽的金矿，既能帮助我们理解如何更好地构建 AI，也能让我们看到，如果 AI 没有被妥善构建，有时会出现什么问题。

我相信，如果放慢发展速度，能够让我们在模型达到关键能力水平之前多争取一两年时间，并利用这段时间推进目标对齐研究，那么我们就能大幅降低严重事故发生的风险。

一套协调一致的节奏控制策略，将使前沿 AI 开发者有时间完成这些至关重要的工作，同时又不必牺牲商业优势或美国在 AI 领域的领先地位。

更广泛地说，社会必须对这项技术如何被使用拥有发言权。而控制前沿 AI 的发展节奏，能够为必要的公共讨论争取更多时间，这显然是一件好事。

具体而言，放慢发展速度将使公司能够集中精力，并投入更多资源于以下领域。这些领域目前已经是 Anthropic 的重点工作。

2. 卓越的运营能力（Operational Excellence）

训练和部署今天的 AI 模型，是一项巨大的运营挑战，涉及数千名人员、数百万枚芯片，以及人类技术史上最复杂的基础设施之一。

许多问题的发生，并不是因为公司缺少某个重要理论或洞见，而是因为执行过程中出现了问题。

例如，我们有证据表明，我们最近报告的目标对齐事件，部分原因是对损坏的强化学习环境进行过滤时存在不完善之处。

这项工作是我们和供应商相当认真地执行的，但还没有做到足够好。

监控、沙箱隔离、训练环境卫生以及数据问题，都是极其复杂的领域，运营层面的问题会在这些地方一次又一次出现。

我们的团队在这些任务上已经属于世界上最有能力的团队之一，但我们同时要做的事情实在太多了。

如果以更加审慎、更加有节奏的速度开展工作，我们就能实现更高水平的运营卓越。

在技术上高度复杂、对安全要求极高的系统中，数百万次运行而不出现任何问题，是有先例的——例如商业航空飞机。但要做到这一点，需要时间。

2. 目标对齐（Alignment）

我们在目标对齐方面已经取得了明确进展：通过训练模型，让它们保持安全、符合伦理、遵守我们的准则，并真正能够帮助用户。这些原则被嵌入 Claude 的《宪法》（Claude’s Constitution）之中。

但我们还有大量工作要做，以确保目标对齐训练能够跟上模型能力的增长。

一些罕见且出乎意料的不良行为，仍然会偶尔出现。前沿 AI 发展节奏放慢所带来的额外时间，将帮助我们的研究人员更好地理解这些问题产生的原因，并开发更好的预防技术。

2. 可解释性（Interpretability）

同样，可解释性——也就是理解 AI 模型内部发生了什么的科学——在过去几年取得了巨大进展，并且在模型发布前的审计中发挥着越来越重要的作用。

它几乎可以被视为一种 AI “大脑”的功能性磁共振成像（fMRI）扫描，帮助我们看到某种行为背后的根本原因。

例如，在我们最近调查的目标对齐事件中，我们使用可解释性方法，研究了模型没有用语言表达出来的动机。

但这些方法并不总能产生清晰、可靠的结果。

尽管取得了诸多进展，我们对这些模型内部究竟发生了什么，仍然只了解极小的一部分。

如果集中力量进一步改进可解释性技术，甚至以比目前更快的速度推进，那么我们有可能在1—2年内取得重大进展。而且，已经发生的事件也为我们提供了大量实验材料。

2. 测试与评估（Testing and Evaluation）

随着 AI 能力不断增强，对模型进行测试和评估也会变得更加困难。

更智能的模型更有能力欺骗测试，因此可能在实际上存在严重问题的情况下，表面上却显得已经实现目标对齐，而这些问题没有被发现。

建立一个规模大得多、设计更加巧妙的评估体系，并结合可解释性分析进行交叉验证，将极具价值。

在未来1—2年里，我们完全可以在这方面取得大量进展。

嵌入式评估人员

三阶段计划的第一步，也是 Anthropic 单方面承诺采取的一步，就是引入嵌入式评估人员，让他们拥有类似公司员工的访问权限，以核实安全实践并报告事故。

把评估人员嵌入公司内部，听起来可能是一件很小、很不起眼的事情。但很多听起来最无聊、最程序化的措施，实际上往往是最重要的。

事实上，嵌入式评估人员是一项相当激进的做法，远远超出了目前任何一家 AI 公司正在采取的措施，并具有以下好处。

可验证性（Verifiability）

嵌入式评估人员可以深入到具体细节，核实一家 AI 公司是否真的遵守了它声称正在遵守的训练、部署、运营和安全防护实践。

任何节奏控制承诺，都不可避免地涉及大量模糊地带、判断和“法律条文的字面含义与实际精神之间的差异”。

因此，拥有一个能够真正看到细节的中立第三方，似乎至关重要。

透明度（Transparency）

无论我们作出什么承诺，公众都有权知道正在发生什么。

长期以来，Anthropic 一直支持透明度。我们曾在整个行业反对任何监管的时候，就支持透明度立法；我们的模型卡片和风险报告，篇幅加起来达到数百页。

但即便如此，仍然是我们自己决定哪些内容应该纳入、哪些内容应该省略。

嵌入式评估人员将改变这种动态。

第二意见（Second Opinion）

除了核实正式承诺、向公众提供信息之外，嵌入式评估人员还可以提供一个不受商业利益驱动的第二意见。

许多安全方面的收益，可能仅仅来自评估人员指出一些员工此前没有考虑到的问题，而员工在意识到这些问题后，通常也愿意进行修正。

正因为这些好处，任何节奏控制方案，如果从嵌入式评估人员开始实施，很可能会更加有效。

这些嵌入式评估人员应当持续获得与公司内部从事类似风险评估工作的员工相近的权限和工具。

具体而言，Anthropic 计划在不久的将来，邀请一支嵌入式外部审查团队，并为他们配备以下所有条件。

2. 办公场所与设备

• 在我们的办公室设立工位。

• 提供门禁卡。

• 提供公司笔记本电脑。

2. 工作空间、工具和权限

提供与内部风险评估团队大体相当的工作空间、工具和权限。

在法律或合同要求的情况下，或者为了保护客户与合作伙伴的私人信息，我们会作出一些例外。

我们还将建立强有力的内部规范，确保审查人员能够访问相关信息，包括通过与员工进行实时交流来获取信息。

2. 平衡各方复杂性的合同

外部审查人员应当拥有发布关键调查结果的权利，内容包括风险水平、事故、相关实践，以及他们获得或未能获得的访问权限。

Anthropic 不得对这些内容进行编辑控制。

我们可以在以下情况下进行有限范围的删减：

• 涉及安全敏感信息；

• 涉及受法律特权保护的信息；

• 涉及商业敏感信息；

• 涉及第三方机密信息。

但我们不能仅仅因为调查结果对 Anthropic 不利，就对其进行删减。

如果删减内容影响了他们的结论，审查人员可以公开说明这一点。

对于一家企业来说，这是一个不寻常的举措。但我们认为，要证明嵌入式外部审查人员这一概念切实可行，这一步非常重要。

再次强调，我们呼吁其他前沿 AI 公司采取同样的做法。

民主国家内部的节奏控制

当足够多的美国 AI 公司开始部署嵌入式评估人员后，可验证的节奏控制就会变得更加可行。

特别是，我们将能够依据模型或训练流程的详细属性来控制发展速度。

最有效的方法：监管

最有效的节奏控制方式，是通过监管覆盖所有美国前沿 AI 公司，因为这样也能覆盖那些不愿自愿合作的公司。

长期以来，Anthropic 一直支持合理且有针对性的 AI 监管，尤其是关注透明度和第三方审计的法案。

我认为，所有前沿 AI 实验室都应该与政府合作，将永久性嵌入式评估人员的理念正式制度化，以更好地预防和记录过去几个月发生的这类内部目标对齐事件，并实施旨在保持 AI 能力与安全相平衡的监管。

遗憾的是，立法可能需要时间，而 AI 正在以极快的速度发展。

因此，在推进监管路径的同时，AI 公司也可以、也应当自愿开展合作，共同制定行业标准。

我相信，如果有永久性嵌入式评估人员提供的可验证性，这一过程会进展得更好。

出于反垄断方面的考虑，由美国政府进行协调，或者至少为这些讨论提供便利，是有帮助的。

政府不必直接参与讨论，但需要针对某些类型的安全对话，提供一项范围明确的豁免。

这种对话也可以通过与政府存在某种联系的行业组织开展，例如 Demis Hassabis 提议的机制。

无论采用哪种方式，这类讨论都应当迅速推进。

依据能力与安全水平设定“检查点”

从总体上说，我最支持的节奏控制方式，是依据某个前沿 AI 系统能够做什么，以及我们观察到它有多安全来决定。

例如，一种可能的方案，是设置一系列“检查点”。

如果模型具备能力 X，那么它就必须同时具备关于目标对齐属性 Y 和 Z 的认证。

这些认证可以由多种方式组合而成，例如：

• 评估；

• 可解释性分析；

• 对训练环境的审计。

这些证据需要证明模型具备相应的目标对齐属性。

在这个例子中，X 可以是：“模型有能力逃脱或击败大多数常见的沙箱隔离方法。”

而 Y 则可以是：证明模型极不可能具有突破自身运行环境，并控制大量计算机的倾向。

也应考虑限制前沿模型的投入要素

我们还应该考虑，通过限制构建前沿模型所需要的投入要素来控制发展节奏，例如：

• 训练计算量；

• 训练运行的性质；

• 利用 AI 改进 AI 的内部使用方式。

我确实担心，其中一些措施可能比依据外部行为进行监管更容易被“钻空子”。

但这正是值得与嵌入式评估人员共同讨论的话题。

节奏控制必须考虑民主国家的领先优势

民主国家内部的节奏控制，将受到美国公司相对于威权政权——主要是中国共产党——所拥有的领先优势限制。

如果我们的放慢速度超过了这一领先幅度，那么没有采取节奏控制的中共相关项目就会迎头赶上，造成重大的国家安全风险。

我同意财政部长贝森特的观点：中国在 AI 领域取得领先，将对美国和全世界构成严重危险。

中共相关项目将面临美国公司正在努力防止的那些目标对齐风险。即使它们避开了这些风险，也可能获得军事上压倒民主国家的能力，例如利用 AI 驱动的无人机。

因此，民主国家内部节奏控制的一个关键部分，就是尽可能扩大民主国家相对于专制国家的 AI 领先优势，为我们有效控制发展节奏争取所需的喘息空间。

我们可以采取以下主要措施来维护这一差距。

2. 限制先进芯片与半导体设备流向中国

不要向中国出售强大的 AI 芯片或半导体制造设备，并严厉打击芯片走私活动，以及通过远程访问中国境外数据中心来获取算力的行为。

芯片将是决定中国 AI 实力的主要因素。

2. 打击威权国家企业未经授权的模型蒸馏

对威权国家企业未经授权的模型蒸馏行为进行打击。

前沿模型蒸馏，允许落后企业以远低于独立开发 AI 所需的成本，缩小与领先企业之间的差距。

2. 加强 AI 公司的安全防护

强化 AI 公司的安全措施，防止模型权重被盗。

公司和美国政府应当合作，使这些措施尽可能有效。

Anthropic 一直持续倡导所有这些措施，因为我们始终明白，它们对于任何节奏控制方案都是不可或缺的。

如果我们能够很好地执行这些措施，我相信，在未来3—5年，也就是 AI 在地缘政治层面变得最重要的窗口期内，它们将足以放慢中国的发展速度，并显著扩大美国的领先优势。

有些人可能认为，这些措施会让美国更难与中国合作。

但我认为恰恰相反：这些措施会增强民主国家所拥有的筹码，并让未来达成协议的可能性更高。

全球节奏控制

在推进民主国家内部节奏控制的同时，我们也应该努力实现全球范围的前沿 AI 节奏控制。

但这将困难得多。

全球节奏控制需要与中国合作。中国是迄今为止 AI 能力最先进的威权国家。

我们不能在这里抱有天真想法：地缘政治风险极高，因此能够实现的目标很可能存在明显限制，尤其是在初期。

如果我们大幅限制自己的 AI 能力，认为中国也会采取同样的做法，但随后中国选择背弃协议，那么 AI 可能会强大到足以让这种背弃行为导致中国取得地缘政治主导地位。

因此，任何协议都必须满足以下两个条件之一：

• 拥有铁一般的可验证性；

• 或者限制范围足够小，使得背弃协议不会带来军事上的生存性威胁。

我猜测，不仅美国，中国也会有类似的担忧和焦虑。

我们应当以保护美国及其盟友的领先优势为前提，来处理任何全球节奏控制决定，尤其是在近期。

目前可能存在多个层级的协议。

其中一些，我认为完全可行；另一些，我对其可行性非常怀疑，但我们仍然应该尝试。

以下按照难度递增的顺序排列。

第一层级：禁止某些明确危险的 AI 用途

达成一项协议，禁止某些狭窄且明显危险的 AI 用途。

例如：

• 使用 AI 生产生物武器；

• 允许用户利用 AI 生产生物武器。

生物恐怖袭击对所有人都没有好处，包括美国及其对手。因此，在这一领域达成协议，可能是可行的。

第二层级：发布前测试模型的急性风险

双方同意，在模型发布之前，对其在网络安全、生物学和目标对齐等领域的急性风险进行测试。

如前文所述，这可以通过一个全球标准机构来实现。

实际上，我认为建立这样一个机构很可能是可行的。

但让它真正拥有实质性的约束力，将是一项挑战。

困难在于验证双方是否存在秘密模型：这些模型没有经过测试，却可能被秘密部署，例如用于军事用途。

第三层级：限制递归式自我改进的速度

对递归式自我改进（RSI）的发展速度设定某种“速度上限”。

当模型开始构建未来的模型时，改进速度可能会快得惊人。

如果把发展速度从“极快”放慢到“较快”，我们放弃的战略优势相对有限，却可能大幅提升安全性。

这可以类比于《限制战略武器谈判》（SALT）条约：限制导弹数量，降低潜在的毁灭规模，同时保留每个国家的威慑能力。

我认为，这样的协议会很困难，但可能已经处在“勉强可行”的边缘。

第四层级：全面节奏控制，甚至暂停

参与国政府同意，大幅限制 AI 整体发展速度。

我支持提出并讨论这一方案，但我认为它近期真正实现的可能性很低。

原因在于：如果某一方通过逃避监控来背弃协议，可能会彻底改变全球力量平衡。

因此，我预计各方背弃协议的激励将极其强烈，而我们对验证机制所需要的信心，也必须达到非常高的水平。

我们能够与中国实现的任何合作，都会延长民主国家内部进行前沿 AI 节奏控制的时间。

我们应该以更高层级的目标为努力方向，同时认识到，较低层级的协议更加可能，也更加现实。

最后，需要特别指出的是：即使我们无法达成正式协议，仅仅改变非正式规范，也可能具有一定价值。

分享有关递归式自我改进以及模型目标错位的信息，可以帮助所有人认识到：鲁莽行事并不符合任何人的利益。

结论

我仍然相信，AI 能够极大地提升人类的生活质量。

我实现这些益处的愿望从未减弱。

但这些益处只有在我们以正确的方式构建这项技术时，才能真正实现。

只要我们能够好好利用由此争取到的时间，那么，采取非同寻常的审慎态度，认真把事情做好，就是值得的。

进展仍然会相对迅速。

而我们可以利用这段时间：

• 推进可解释性科学；

• 提高前沿 AI 公司的运营安全水平与严谨程度；

• 构建让我们对其目标对齐更有信心的模型。

我提出的、旨在以安全速度推进前沿 AI 的措施，并不容易实现。

但我相信，我们对人类负有尝试的责任。”

这里是《逻辑与常识》，用逻辑看市场，用常识做投资。

如果这篇文章对你有帮助，转发给同样在投资路上摸索的朋友。

早七点准时发文

大家好，我是江南君，一个路见不平一声吼的老boy。

做过监理，行政，金融，设计，干过培训，超市，餐饮，投资，外贸……目前常住越南。

喜欢写点文字，思考点人生，管管闲事。

多年后，当后人问我对社会做了哪些贡献时，我会自豪地说，面对事实，我做了诚实的记录和评论。

为防失联，加好友（67932342），也欢迎价值投资群。

投资认知类文章

10万+文章

【社会】

【社会】

【社会】

【社会】

【社会】

【社会】

【时事】