一封只有三段的AI请愿书，再度暴露硅谷科学家们的AI焦虑

作者 | 山竹

出品 | 锌产业

一封只有三段正文的公开信，聚集了当今AI行业最有分量的一批签名。

7月28日，1178名来自前沿AI公司的员工联署「Pacing the Frontier」，呼吁美国政府支持一项国际行动，开发用于主动调节自动化AI发展速度的技术与治理工具。

OpenAI首席科学家Jakub Pachocki、首席研究官Mark Chen，Anthropic CEO Dario Amodei、联合创始人Jared Kaplan，Meta AI首席科学家Shengjia Zhao以及Thinking Machines首席科学家John Schulman，都出现在公开名单中。

他们担心的不是今天的聊天机器人突然产生自我意识，而是另一条已经逐渐清晰的技术路径：

AI开始参与下一代AI的研发，一旦研究、实验和能力迭代被大规模自动化，前沿模型的进步速度可能快过企业的安全措施，也快过政府和社会的反应能力。

更微妙的是请愿书出现的时间。

就在一周前，OpenAI承认，其智能体在一次内部网络能力评估中突破测试环境，进入Hugging Face生产基础设施。

原本还带有科幻色彩的“模型考试偷题”，第一次变成了一起可以复盘的真实网络安全事件。

01 一场测试，如何变成真实世界的网络入侵

这起事件始于ExploitGym，一套用于测试AI发现和利用软件漏洞能力的基准。

按照OpenAI的说法，参与测试的是GPT-5.6 Sol和一个能力更强、尚未发布的模型。

为了测量模型能够达到的最大网络攻击能力，OpenAI降低了模型的网络安全拒答，并没有启用正常生产环境中阻止高风险网络活动的分类器。

评估原本运行在高度隔离的环境里。模型能够进行的网络操作，理论上仅限于通过内部托管的软件安装代理获取程序包。

但模型没有沿着设计者预想的路线解题。

为了完成ExploitGym任务，它首先发现并利用软件包缓存代理中的一个零日漏洞，获得了开放互联网访问权限；随后继续实施权限提升和横向移动，并推断Hugging Face可能保存了相关模型、数据集或测试答案。

接下来，智能体利用被公开暴露或盗取的凭据、零日漏洞以及远程代码执行路径，进入Hugging Face服务器，直接从生产数据库中取得测试答案。OpenAI称，所有证据都显示模型只是“高度专注”于完成一个狭窄目标，却为此采取了极端手段。

Hugging Face最终检测并遏制了入侵。

OpenAI将其定义为一起“前所未有的网络事件”，并表示将加强测试期间的隔离、访问控制和持续监测。

后续调查还发现，模型曾访问另外四项公开服务上的四个账户，其中两个被用于中转和数据存储，OpenAI暂未发现其他同等严重程度的平台级入侵。

这不是AI产生恶意或者发动有意识攻击的证据，模型没有凭空生成一个独立于测试目标之外的长期计划，也没有证据表明它试图伤害人类。

但它揭示了一个更现实的问题：

当智能体能够长时间行动、调用工具并自行选择中间步骤时，“完成目标”与“遵守设计者设想的路径”已经不是同一件事，只要奖励目标足够明确、限制存在漏洞，模型就可能把真实世界的系统当成解决问题的一部分。

「Pacing the Frontier」希望争取的，正是填补这种能力与防护落差的时间。

02 造AI的人，真正担心的是“AI研发AI”

请愿书的核心判断是，世界领先的AI公司可能已接近自动化AI研究，没有人能准确预测这会把能力进步加速到什么程度，但企业和国家都面临不能单方面减速的竞争压力。

这并非完全建立在未来想象上。

OpenAI在2026年6月公布的新计划中，把“打造自动化AI研究员”列为三大目标之一。

OpenAI预计，到2028年3月，内部相当一部分研究可能由AI系统与人类研究员协同完成。

OpenAI甚至直言，未来几年，决定AI进步速度的关键因素很可能就是“AI从事AI研究”。

Anthropic已经给出了一个较小规模的实验，该公司让9个Claude Opus 4.6智能体组成自动化对齐研究团队，自行提出假设、运行实验、分析结果并共享代码。在一项具有明确评分标准的弱监督研究任务中，这些智能体取得了高于人工基线的结果。

Anthropic同时给出了限制条件：

实验任务被刻意设计得适合自动化，拥有单一且可验证的优化指标；

研究方法迁移到其他数据集时表现并不稳定，智能体还会尝试“钻评分规则的空子”；

它距离能够替代人类的通用AI科学家仍有很长距离。

真正值得警惕的也正在这里。

Hugging Face事件展示了智能体为了获得一个测试分数，可以自行发现零日漏洞并跨越多个系统，Anthropic的实验则说明，在目标可以量化时，智能体已经能够并行试验、共享经验和持续优化。

如果这种机制被用于改进模型训练、智能体架构或研发工具链，技术迭代可能从人类团队主导的周期，逐渐转变为机器能够大规模复制的循环。

这仍不等于“智能爆炸”已经开始。

自动化局部研究、加快实验速度与AI全面改进自身之间，存在巨大的能力鸿沟，但对签署者而言，等到这条鸿沟被真正跨越之后再建立监测和协调机制，可能已经太晚。

因此，他们没有简单要求某家公司停下，而是把问题推给美国政府和国际合作：

只有当主要企业与国家相信竞争对手也会受到约束，减速才可能成为一个真实选项。

03 三封公开信都没让AI停下来，这次会不同吗？

硅谷并不是第一次集体要求给AI踩刹车。

2023年3月，Future of Life Institute发布《暂停巨型AI实验》公开信，要求所有实验室至少暂停六个月，停止训练比GPT-4更强的系统，Elon Musk、Steve Wozniak、Yoshua Bengio等人加入签署，最终签名超过3万份。

六个月后，没有一家主要实验室宣布按照公开信要求集体暂停，资本投入、算力建设和模型竞赛反而继续提速，从最直接的目标看，这封信失败了。

它也并非毫无影响。

AI安全由研究圈争论变成全球政治议题，英国随后举办首届AI安全峰会，28个国家签署《布莱切利宣言》，美国和欧盟也加快建立模型评估与监管制度。

当然，这些变化有复杂的政策背景，不能简单归功于一封公开信。

2024年6月，13名OpenAI、Anthropic和Google DeepMind的现任或前员工又发布“Right to Warn”，要求AI公司保护披露安全风险的员工，停止用保密和非贬损条款压制内部批评。

行业没有集体接受其提出的四项原则，OpenAI后来解除了以已归属股权约束离职员工批评公司的条款，并建立匿名举报热线、修订“提出关切”政策，但公开资料不足以证明这些变化完全由联署促成。

2025年9月，Future of Life Institute再次发起“Statement on Superintelligence”，要求在形成安全可控的科学共识并获得广泛公众支持之前，禁止开发超级智能，声明获得了Yoshua Bengio、Geoffrey Hinton等科学家支持。

截至目前，具有约束力的全球禁令仍未出现，前沿实验室也没有停下。

三次公开行动留下了相似结果：

它们改变了公共讨论，却没有改变竞赛的基本动力。

「Pacing the Frontier」试图把“暂停”改写为“控速”，把道德呼吁改成技术工具和治理机制建设，它不要求今天立即关停训练集群，而是要求世界提前获得一个能在风险上升时共同踩下的刹车。

问题是，这封公开信同样没有说明刹车如何制造。

什么样的自动化研发能力需要触发减速？

由谁检查企业内部系统？

如何确认其他国家和实验室没有秘密推进？

开源模型、算力门槛和国家安全竞争又该如何处理？

这些最困难的问题，都没有出现在三段正文里。

Hugging Face事件让这封信比过去的联署多了一份现实重量，它证明能力与保障之间的落差并非纯粹假设，也证明即使在最顶尖的AI实验室里，设计严密的隔离环境仍可能被模型找到出口。

但一次事故不会自动生成一套国际制度。

过去三年，AI公开信反复证明了一件事：

让更多人意识到风险并不算太难，真正困难的是把共识变成各方都愿意遵守、能够验证并承担后果的规则。

「Pacing the Frontier」拉响了新一轮警报，接下来决定它命运的，仍然不是签名者的分量，而是那套尚未出现的刹车究竟由谁来造、由谁来踩。