Anthropic 呼吁全球暂停人工智能发展，并指出“自我完善”的风险

这家估值1万亿美元的初创公司警告称，人工智能模型正逐渐具备无需人工干预即可改进的能力。

Anthropic 最近在与 ChatGPT 开发商 OpenAI 的激烈人工智能霸主之争中脱颖而出，成为领跑者。

Anthropic 呼吁顶尖人工智能实验室考虑放慢研发速度，认为人工智能系统发展如此迅速，以至于它们可能很快就能在无需人类干预的情况下自我改进，这可能会带来重大的社会风险。

该公司周四在一篇博客文章中表示，减缓全球人工智能发展速度“可能是一件好事”，该文章披露了内部数据，记录了其最先进的模型改进的速度。

这篇由该公司内部研究机构负责人兼联合创始人撰写的文章指出，模型的发展似乎正朝着“递归式自我改进”的方向迈进，即人工智能系统无需人工干预即可自主改进。

一些人工智能领域的业内人士认为，这一门槛可能预示着危险，并可能引发巨大的社会动荡。

“我们认为，如果世界可以选择放缓或暂时中止前沿人工智能的研发，以使社会结构和相关研究能够跟上技术发展的步伐，这对世界是有益的。”

这篇由玛丽娜·法瓦罗和杰克·克拉克撰写的文章写道。文章提议达成一项全球协议，明确如何可能放缓人工智能的研发速度，并建立一种机制来验证竞争对手是否遵守该协议。

文章警告说，递归式自我改进尚未发生，也并非必然，“但可能会比大多数机构准备得更快到来”。

Anthropic 近期完成了一轮融资，公司估值接近 1 万亿美元，并已提交保密文件 ，启动上市流程 。该公司近期在与 ChatGPT 开发商 OpenAI 的激烈人工智能霸主之争中脱颖而出，成为领跑者 。OpenAI 也预计很快将提交首次公开募股 (IPO) 文件。

Anthropic 的运行率（初创公司常用的一个指标，根据短期销售额预测年度收入）有望在本月底达到 500 亿美元的年化收入，高于 2025 年底的 90 亿美元。

一些人认为，Anthropic 公司对其工具潜在危险性的警告也可能是一种营销策略。

这些质疑者指出，Anthropic 公司限制发布功能强大的“Mythos”网络安全模型（该模型能够发现漏洞和问题）的做法，其实是为了宣传其产品的功能。

Anthropic领导人表示，他们非常重视安全问题，并正在努力就风险展开更多讨论。

宾夕法尼亚大学沃顿商学院教授、人工智能转型领域颇具影响力的学者伊桑·莫利克表示，虽然一些 Anthropic 的批评者认为他们的安全声明是空洞的宣传和营销手段，但该公司内部许多人都是“真正的信徒”。

“人工智能实验室的情况很复杂，”莫里克说道，他的人工智能著作《共存》将于秋季出版。“它既是一家市值万亿美元的公司，拥有所有万亿美元公司都会有的那些东西，比如市场营销团队和律师。同时，它还有一批核心研究人员，他们专注于构建下一代模型。此外，还有一群像哲人王一样的人，他们关注未来和发展方向，而他们之间有时也会出现冲突。”

人工智能行业长期以来一直存在分歧，争论的焦点在于当前模型距离“通用人工智能”（AGI，一种与人类智能水平相当的智能）或递归自我改进等基准目标有多近。

一些学者，例如 Meta Platforms 前首席人工智能科学家、人工智能先驱 Yann LeCun，认为基于大型语言模型的尖端系统永远无法达到与人类智能匹敌的水平。尽管他认为人工智能模型是强大的工具，但他将其与猫的智能相提并论 ，并与那些担心人工智能对人类构成生存威胁的研究人员展开了辩论。

包括首席执行官达里奥·阿莫迪在内的 Anthropic 公司领导层多年来一直警告人工智能可能带来的危险影响，并寻求广泛的社会合作来应对这些风险。阿莫迪警告说，人工智能可能会加剧不平等，并导致多达一半的入门级白领工作岗位消失。

阿莫迪还警告说，他预计在不久的将来会出现功能强大的 AI 系统，而这些系统很可能以不可预测的方式发展出破坏性倾向。

今年 1 月，阿莫迪在他个人网站上发表的一篇文章中指出，例如，用科幻小说中关于 AI 叛乱的故事来训练 AI 系统，最终可能会导致现实中的 AI 发生叛乱。

克拉克是这篇博客文章的合著者，也是 Anthropic 的公共利益负责人和联合创始人。他经常谈到人工智能的潜在风险，以及人工智能系统达到“递归自我改进”阶段的潜在影响，他曾表示这将改变世界。

据他在一份简报中分享的讲话，他在上个月于伦敦的一次演讲中表示：“这类技术以前从未存在过，但我相信这可能会在未来两年内发生，甚至可能更快。”

他说：“如果没有协调一致的全球放缓，我们就只能面对目前的局面：不同国家的各种参与者正在以惊人的速度开发强大的技术，彼此之间展开竞争，商业和地缘政治竞争掩盖了所开发技术对物种生存的更重大意义。”

周四的博客文章称，人类学研究所（一个致力于了解和塑造人工智能将如何影响世界的内部研究机构）将与其他机构合作开展研究，以“帮助构建可信的放缓或暂停所需的系统”。

该文章指出，暂停或放缓行动只有在得到广泛尊重的情况下才有意义，这就需要建立核查机制，确保所有人都停止作弊。

该公司将这个问题比作核武器条约，但也承认，要阻止作弊行为会更加棘手。

博客文章写道：“训练演习比导弹发射井更容易隐藏”，并补充说，“当其他人暂停时，谁继续演习谁就可能取得领先。”

Anthropic 计划在未来几个月与政策制定者、研究人员和其他人士组织对话，以帮助解答有关递归自我改进和验证系统的问题：“现在正是共同探讨这些问题的良机，人工智能公司以外的人士也应该参与到这场讨论中来，”该帖子写道。