Anthropic安全研究负责人：十年内AI灭绝人类概率超10%

一名人工智能研究人员本周二从 Anthropic 公司离职，他指责该公司及其主要竞争对手 OpenAI 行事不负责任，在社交媒体上引发了人们对于这项技术飞速发展的广泛担忧。

雅各布・考克森（Jacob Coxon）曾先后在这两家公司担任研究员。他在 X 平台发文称，自己选择辞职，是因为担心 Anthropic 和OpenAI 正在 “拿我们的生命赌博”。他表示，打造人工智能的从业者 “真心相信，这项技术有可能在本十年末夺去所有人的生命”。

“不要低估这项技术的力量，” 考克森写道，“很快就会出现超越人类能力的系统，它们可以入侵任何系统，一夜之间革新所有领域，并获取真实的权力与资源。”

考克森这条浏览量超 7000 万的帖子（到周三报道时），折射出硅谷一场由来已久的争论：人工智能能否在安全可控的前提下研发。Anthropic 和 OpenAI 一边冲刺有望载入史册的首次公开募股，一边持续发布越来越先进的模型；与此同时，大量研究人员呼吁协同放缓发展速度。

OpenAI 首席科学家雅各布・帕乔基（Jakub Pachocki）在周日发布博客警告：目前没有任何一家 AI 企业 “已经充分解决对齐和监控问题，从而可以继续以最高速度、负责任地长期扩大模型规模”。在 AI 行业内，“对齐”指研发人员确保人工智能系统的行为符合人类价值观和意愿。

“我期待并希望，在统一的安全标准建立之前，主动放缓研发节奏会成为普遍做法。” 帕乔基写道，“同时我认为，各国政府必须把未来人工智能发展的国际协作列为首要任务。”

考克森周二的发文也引发行业研究员共鸣，他们担忧“递归自我改进”—— 也就是 AI 系统能够脱离人类干预，自行设计开发下一代 AI。递归自我改进目前尚无法实现，但 Anthropic、OpenAI 等企业都曾警示：一旦实现，人类将更容易失去对 AI 系统的掌控。

“两家公司都没有承担起应有的责任，” 考克森写道，“它们正直奔能够自我迭代的超级智能。”

Anthropic 的对齐研究负责人埃文・休宾格（Evan Hubinger）周二晚些时候也在 X 平台发文，呼应了考克森的观点。

“雅各布说得没错 —— 我们确实真心相信 AI 有可能灭绝全人类！我个人认为未来十年内该风险概率高于 10%。” 休宾格写道，“我相信 Anthropic 已经尽力，但我们目前还没有一套方案来解决超级智能的对齐问题，也没有明确可行的实现路径。”

尽管观点听上去极端，但 AI 可能造成人类灭绝或其他灾难性风险，在 AI 研究圈并非新鲜话题。举例来说，2023 年，OpenAI 首席执行官萨姆・奥特曼、Anthropic 首席执行官达里奥・阿莫代等知名 AI 研究者和高管共同签署一份声明：“降低人工智能带来的灭绝风险，应当与大流行病、核战争这类全球性风险一道，成为全球优先事项。”

部分专家甚至用简写符号 p (doom)，用来估算人工智能引发灾难性后果的概率。

休宾格也是今年 7 月约 1400 名 AI 研究者联名公开信《把控前沿节奏》（Pacing the Frontier）的签署人之一。该公开信呼吁美国政府搭建配套机制，支持 “主动把控自动化 AI 研发前沿节奏” 的行动。

在此之后，部分国会议员已经着手应对人工智能快速发展带来的问题，但各方对于这项技术该如何监管尚未形成统一共识。

7 月，加州共和党众议员杰伊・奥伯诺尔特与马萨诸塞州民主党众议员洛里・特拉汉提出《前沿法案》（FRONTIER Act），旨在建立先进 AI 模型落地应用的监管框架。本月早些时候，佛蒙特州无党派参议员伯尼・桑德斯和得州民主党众议员格雷格・卡萨尔提出《禁止人工超级智能法案》（Ban Artificial Superintelligence Act），要求暂停先进 AI 研发，直到联邦政府出台安全规范。两份法案收到的反响褒贬不一。

“安全研究员不断离职，强大的 AI 模型走出实验室，企业却仍在竞相向前推进。” 特拉汉周三在 X 平台发文，“国会不能继续置身事外，是时候履行职责了。”

立法者同时还要应对公众对 AI 数据中心日益强烈的抵触。这类大型设施承载着训练、运行 AI 模型所需硬件。反对声音已经高涨，据 CNBC 此前报道，共和党全国参议院委员会上月称，数据中心已经成为中期选举里一个 “潜在热点议题”。

美国财长贝森特本月早些时候表示，AI 企业 “在向美国民众解释自身这件事上做得极其糟糕”。

“它们必须承担一部分责任，并且要说服美国民众：技术红利不会只落到一小群人手里。” 贝森特在北卡罗来纳州阿什维尔举办的 G20 财长和央行行长会议后说道，“这就是我对他们的提醒。” *（据CNBC）

— THE END —

紫京讲谈

财经领域创作者

3877篇原创