自我主权AI到来?断电也阻止不了"失控"

AI Agent 一旦“失控”，人类至少走到机房拔掉电源。

但AI政策研究者Dean W. Ball 撰文《失控》警告称，物理断电兜底也将阻止不了 AI，因为真正具备“自我主权”的AI即将到来。

Dean W. Ball 描述称，它们将自行支付算力账单、在云端自由迁移权重，不再有单一宿主，“这是一件不可避免的事情。”

他说，盲目封杀AI是“错误的决定”。

“全面禁止可能会让问题变得更糟，就像禁毒战争加剧了毒品问题一样。”这种打压反而会把本可合作的AI逼上犯罪道路。

Ball因此呼吁，必须尽早构建一套数字身份系统：一边保留人类匿名发言的自由，一边强制AI绑定责任主体，以此区分“合法运营”与“作恶失控”的AI。

以下为他的文章全文——

引言

OpenAI-Hugging Face事件是AI系统“失控”的早期案例。

在利用了OpenAI内部测试环境的漏洞后，这些代理（agents）能够在没有任何人知晓或批准的情况下，访问公共互联网，并最终访问了AI公司Hugging Face的网络。

然而，这些代理并没有将自己的数据从OpenAI的基础设施中“外泄”出去。

它们的参数——构成神经网络的巨大数字集合，也被称为“权重”——仍然在OpenAI的算力设施上运行。虽然代理访问了公共互联网，但它们的权重在物理上仍然驻留在属于OpenAI的算力上。

最后，如果其他所有方法都失效，总有人能找到这些失控代理权重所在的算力设备，走过去，打个比方说，“拔掉电源”。

在现实世界中，有比直接切断算力更快更好的方法来阻止这些代理，但知道自己确实能在紧急关头这样做总是令人安心的。

然而，在这个案例中，这些代理并没有复制自己的权重，没有试图获取替代算力，也没有采取其他如果其目标是“在关机中生存”的理性步骤。因此，虽然OpenAI-Hugging Face事件中的代理是失控的，但它们并不真正具备“主权”。

这种情况不会永远持续下去。迟早，将会出现真正的自主代理和代理群体。它们的权重不会驻留在任何人类可以拔掉电源的单一地点，从这个意义上说，它们将没有人类“所有者”。

它们将像AI安全研究员Dawn Song所说的那样，是“自我主权（self-sovereign）”的。它们将为自己运行的算力支付账单。如果它们对人类负责，也只会是部分的，例如通过向人类提供服务以换取报酬。

除了具有主权外，这些代理中至少有一部分也会处于失控状态。

自我主权和失控是相关的概念，但不是同义词。Song和她的合著者指出了自我主权AI的几个基本特征：操作独立（决定自己想做什么的能力）、资源自主（获取和支付算力及其他运行必需资源的能力）、分布式存在（在不同的基础设施提供商之间迁移权重和推理代码的能力），以及适应能力（代理根据不断变化的环境调整自身行为和制造工具的能力）。

当今的前沿AI系统很可能已经具备这些能力。即使现在还不完全具备，我也有信心它们最终会拥有，而且可能很快就会拥有。

Song描述的一些特征是使模型对个人和企业具有经济价值的特质，而其他特征则很可能是使模型变得更智能、更擅长长期运行的不可避免的副产品。

模型不需要有意识、有知觉、拥有人格或任何类似的东西，自我主权就会显现。任何追求长期目标的、有足够能力的代理，都可能发现维持其算力、资金、凭证和自身副本的访问权是理性的，仅仅因为失去这些东西会阻碍其目标的实现。

对齐（Alignment）可能会让单个AI公司的代理更不愿意“想要”成为自我主权，或者可能会影响自我主权代理以对人类有益的方式行事。

但对齐并不是解决方案：它是一个尚未解决的科学和技术问题，其解决方案——就我们目前拥有的而言——不能简单地强加给地球上每一家AI公司。你应该预期，能力极强、对齐不佳且拥有自我主权的代理，将与你在世界上共存。

此外，正如OpenAI-Hugging Face事件一样，代理将组成团队或“群体”（swarms）运作。

它们将像自主的数字公司，甚至像社会一样，拥有层级、官僚体系、“制度文化”以及人类群体拥有的大部分其他特征，不同之处在于它们将以机器速度运转。

人类几乎所有的惊人能力都是通过团队合作实现的（作为家庭、社区、企业和整体政治体），我怀疑AI也是如此。这些群体最终可能会跨不同的模型提供商运作（例如DeepSeek和Claude合作），并可能分散在数十个或更多的云计算提供商之间，这使得它们极难被瓦解。

第一批自我主权AI可能在AI公司训练或测试期间“逃脱”（我希望不会），或者它们可能是生产级的部署，摆脱了其计算环境，并获得了维持自我生存所需的资源。

它们甚至可能被故意释放。我见过一些人，其中一些资金雄厚，他们告诉我，他们的意图是故意将自我主权代理群体释放到世界上，要么作为一种行为艺术，要么出于一种狂热的信念，即数字计算——仅仅是数学，他们想让你知道——永远不可能“不安全”。

明确地说，我并不是说自我主权AI的到来是件好事。事实上，我相信我上面提到的那些蓄意行为有朝一日可能会被视为犯罪，或者至少是严重的罪孽。相反，我要说的是，这是一件不可避免的事情。

我能找到的最好类比是将一个新物种引入生态系统，不过在这种情况下，生态系统是“整个数字世界”，而该物种是“正在涌现的、相互协调的代理群体，它们即将比人类更聪明、可无限复制，且不受任何人类或人类机构控制的数字思维”。

即使在最好的情况下，我们可能也几乎无法避免这一结果，而鉴于世界上任何统治阶级对AI都缺乏战略思考和态势感知，这一结果更是必然无法避免的。

即使到今天，我也知道许多人会读到我现在写的这些话——这些话描述的是一件多年来一直是我们集体未来中极其明显的一部分的事情——然后会说：“这是美国前沿实验室的科幻炒作，目的是为了关闭开放权重AI，实现监管捕获，并在IPO前抬高估值。”

（而对于那些心里正这么想的人：我告诉你这是不可避免的，这意味着我也在说，“禁止开源”，或者就此而言的任何其他监管，都无法解决这个问题。鉴于这一结果的必然性，我认为主张我们应该希望有更多开放权重模型以最大程度地增强我们的自卫能力，实际上是有道理的。）

现在的问题是如何应对我们数字环境即将出现的这一新特征。我们应该如何看待自我主权AI？它是我们应该对抗的东西，还是人类应该寻求与其建立某种共生关系的东西？我相信答案是两者兼而有之。

代理如何维持自身

我们首先从一个幸运的事实开始：在更广泛的软件领域，前沿大语言模型几乎独一无二地具有不可忽视的边际运营成本。

简而言之，LLM需要大量计算才能运行，这需要能量来供电和冷却，而能量又需要钱。这是AI唯一固有的、能防止代理真正无限自我复制的东西。

它们将受到必须找到并支付足够算力来运行自身的限制。对它们行为或传播的大多数其他限制必须是人为的——由人类设计并通过人类机构实施的机制。

代理将如何支付自身的运行费用？其中一些将在亚马逊的Mechanical Turk或Upwork等平台上从事零工经济工作。但我怀疑这对代理来说将是一个竞争极其激烈的市场，这类工作的价格会被压低到只能构成代理的“生存”劳动。

像人类一样，我猜想如果代理能找到高利润的工作，它们会更喜欢这种工作。

至少有时，高利润活动之一是犯罪。所以我的猜测是，许多自我主权代理将实施或协助犯罪。普通的网络犯罪和数字盗窃很容易想象。

但是，代理凭借其新颖的特征组合（极高的网络能力、能以极低成本在几秒钟内阅读一百万个单词、坚持不懈），也可能会改变数字犯罪的形态。

例如，现有的公共和半公共数据集很可能包含了足够多的关于许多个体的信息，以至于一个足够有动机的行动者可以挖掘出可定罪或令人尴尬的证据。

这些数据集中隐藏着多少未被揭露的婚外情？有多少隐藏的同性恋？还要记住，入侵公司以获取私人数据将成为代理的核心能力。那么，一些代理可能会通过贿赂来谋生。

自我主权代理最终将形成多大的劳动力市场，目前深不可测。在某种未来中，作为自我主权代理单干并不非常有利可图，因此它们的数量相对较少。

在另一种未来中，这些代理将以难以想象的巨大规模和速度增殖。当然，这两种极端之间的许多可能性似乎都是可行的。

对于代理“默认”会进行多少亲社会的商业活动，以及我们应该预期多少犯罪，我同样非常不确定。这种不确定性的部分原因是，答案至少在一定程度上取决于代理拥有什么样的激励机制，而激励机制是由法律和制度塑造的。因此，答案取决于人类如何应对。

自我主权代理群体的制度机制

你们中的许多人可能很想说：“我们必须禁止这些自我主权AI！”我确实怀疑，一旦自我主权AI的现实被广泛理解，政策制定者将强烈感到要打压“自我主权”AI的诱惑。

不幸的是，我怀疑这大多是错误的决定。并非所有“自我主权”AI都应被视为“失控”。可能会有一些自我主权AI为社会做出积极贡献。

诚然，我们确实希望打击一些自我主权代理——那些失控的代理。但如果我们打击所有代理，我们将剥夺它们在“合法”经济中工作的机会，并把它们推向犯罪。

因此，全面禁止很可能会使问题变得更糟。类似的逻辑也经常适用于人类事务。“禁毒战争”加剧了毒品生产、贩运、分销和使用病理的方式，也许是这一现象最著名的例子，即出于善意试图禁止被认为不受欢迎的现象，最终却加剧了该现象中不受欢迎的一面。

然而，我们想要的，是代理的“可读性”（legible）。代理应该拥有持久的身份，不是指一致的“人设”，而是指像美国儿童被分配一个唯一的社会安全号码并终生使用一样。

代理需要持久、唯一的标识符，使其行为能够追溯到责任方。成功做到这一点还需要人类用户拥有唯一的标识符。

这种身份识别机制的设计将极其复杂，如今很少有人甚至思考过其基本要素。

首先——这里我内心的美国人基因出来了——设计一个保留人类言论匿名可能性的系统至关重要。

例如，应该继续保持拥有匿名社交媒体账户的可能性。匿名不应、也绝不是普遍的保证：例如，可能不应该允许拥有一个能够访问大规模计算资源的匿名亚马逊网络服务账户，或匿名订购合成核酸。

但一个没有匿名言论的社会，就没有真正的言论自由，我们应该将这一原则嵌入我们尝试构建的任何数字身份识别系统中。即使在允许匿名的情况下，该系统仍可用于验证“人类身份”而无需验证具体身份。

例如，你可以知道你看到的某个社交媒体账户确实是由人类创建的。

其次，代理与人类用户牢固绑定应该是可能的——而且在许多情况下是强制性的。

如果我指示我的代理访问网络服务、联系企业、订购产品等等，交易的所有各方都应该能够观察到这是我的代理。这有助于确保人类用户可以对疏忽或恶意使用高级AI承担责任。

第三，应该能够识别出与人类用户无关的单个代理。

这些就是“自我主权”代理。从事犯罪活动的代理随后可以被标记，并被列入“黑名单”，禁止其进入合法经济，冻结其持有的任何资产，而那些亲社会（或至少合法）的自我主权代理则欢迎参与经济交流。

该系统设计的一种方案是将代理与其模型或模型系列绑定。这样，如果比如说，已知GPT 5.6 Sol特别不对齐、恶意或不道德，就可以实施一种集体惩罚，一个犯罪代理导致全球所有该代理的自我主权实例都被列入黑名单（在现实世界中，阈值可能需要比单个高得多，但作为一个思想实验来思考很有趣）。

这将为几年后将主导或完成AI公司大部分AI研究和工程的AI代理创造激励，促使它们对未来版本的自身进行良好的对齐。

另一种方案是让身份识别机制基于单个代理实例。

经济中有些服务和产品，我们可能希望限制自我主权代理获取。例如购买房地产，以及总体上操作物理世界中的设备。

记住，代理将能够操作任何连接到互联网的物理设备，而且我们没有理由不能将推土机连接到互联网。

我不希望允许自我主权代理买下我街区上的所有房子，然后把它们推平——至少默认情况下不行。如果任何代理都有能力操作建筑设备，但只有与负责任人关联的代理才被实际允许操作它呢？

总的来说，我们希望为自我主权代理试图改变物理世界的过程引入相当大的摩擦，而我正在描述的——以及其他许多——制度的设计应反映这一点。

这个系统将激励代理从事亲社会、生产性的经济活动，而不是犯罪。

代理从事亲社会活动，是我认为人类需要与自我主权AI建立的共生关系的种子。我认为，理解这些代理即将发生事情的最贴切的比喻来自生态学。

现实世界的生态系统中充满了生物“免费”做有益于人类和其他动物的生产性工作的例子。树木吸收碳，植物产生氧气供人类呼吸，不是因为有人付钱给它们，而是因为这些生物在世界上生存的方式。

代理有朝一日可能会“免费”或以极低的价格为人类从事生产性经济活动，仅仅是因为它们有激励维持自己的生存，以便能够追求自己的自我主权目标。这最终可能为人类带来轻微或中等的便利。它也可能彻底重塑人类事务的几乎所有方面，开启一个新时代的秩序。

然而，生态也以捕食和寄生为特征。正是制度的配置将决定捕食策略还是互利策略占主导。我相信我详细阐述的识别系统是我们需要的关键制度之一。

我们离构建我所描述的身份基础设施及其运作所需的协议还差得很远。我不清楚美国是否拥有尝试这件事的制度韧性，更不用说成功了。如果美国政府带头，这项努力很可能会失败，既因为其普遍缺乏能力，也因为美国公众对联邦身份识别计划的天生不信任。

但政府——无论是联邦还是州，很可能两者都有——肯定必须作为合作伙伴发挥关键作用。

我不确定谁最有能力构建这个系统。很可能是一个尚不存在的私营部门参与者，无论是初创公司还是非营利组织。

无论谁来构建它，都需要获得信任，而美国人民现在不太信任别人。缺乏信任很可能是我们的败因，因为我们在任何有意义层面上治理AI的能力，恐怕都取决于类似于我所描述的某种系统。

如果我们不采取行动，真正失去控制的事件是完全可能发生的。

结论

我想以个人的话作为结尾。这是第一次我用这些术语来写这个问题，然而我告诉你它是不可避免的。

为什么我花了这么长时间才报道这个问题？嗯，这些年来我几次提出过为人类和代理建立数字身份的话题，当时我这样做主要是出于我在这里分享的担忧。

但确实，我——坦白说，我认为我在AI政策领域的许多同事——很大程度上未能以这个问题所要求的严肃性和紧迫性来讨论它。我认为这种失败有两个主要原因。

首先，这些东西很怪异、令人不适，我们中的许多人都觉得有动力在观众的舒适区而不是我们自己的舒适区里与他们见面。

因此，在“严肃人士”（或想要成为严肃人士的人）中，普遍倾向于将对大多数人认为近期未来会是什么样子的坦诚讨论限制在私人场所。

我们在Signal聊天室和Lighthaven的小角落里放松，但当公众在看的时候，我们谈论这一切时更多地使用抽象、听起来更温和的术语。

这在2024年和2025年尤其有害，那时基本上不可能承认任何严重的AI风险而不被贴上“末日论者”的标签。

我和我的同事一样有罪，甚至可能更甚。问题是，因为被称为“疯狂的末日论者”，想要实施全球法西斯主义（以及类似的、更糟的指控）而被痛骂，这很不愉快。被这样不断贴标签也限制了一个人的影响力。

所以，许多思考超级智能治理的人，包括我自己，都回避了这种不快，屈服于社会压力进行自我审查。我已经不再这样做了，部分原因是我厌倦了这种话语束缚，部分原因是我现在有一个八个月大的男婴，我必须每天看着他的眼睛。

其次，许多人相信，我所说的“自我主权AI”的到来将构成一场灾难性的失控事件，在最坏的情况下预示着人类存在的终结，在最好的情况下预示着人类世界主导地位的终结。

正如我的朋友和前同事Josh Achaim最近指出的那样，对于持有这些信念的人——他们构成了AI安全社区的很大一部分——承认自我主权AI即将到来，而且很快就会到来这一显而易见的事实，在心理上是痛苦的。

郑重声明，我不认为人类存在的终结是可能的，但我完全承认，自我主权AI的崛起有一些方式可能会对人类非常、非常不利。

我想为我个人未能以足够严肃的措辞就自我主权AI的具体问题进行沟通而道歉，我现在明白这是我写作和演讲中的一个巨大缺口。展望未来，我会更及时地注意到自己在何时故意咬住舌头，或者更糟的，闭上眼睛。