Anthropic研究员辞职示警：AI十年内毁灭人类概率超10%

本周，Anthropic研究员Jacob Coxon宣布离职，理由直指行业核心焦虑：竞相打造更智能系统的公司正在拿人类生命做赌注。“那些认真构建AI的人真心相信，到本十年末，AI可能会让我们全部丧命。”Coxon此前曾就职于OpenAI，他在社交平台X上发布了这一警告。

几分钟后，Anthropic对齐研究负责人Evan Hubinger回复证实：“我们确实真心认为AI可能会杀死所有人类！”Hubinger预估未来十年内发生此种情形的概率超过10%。他坦言，Anthropic尚无明确计划将超级智能与人类价值观完全对齐，且该领域进展显然未走上正轨。另一位研究员Samuel Marks也加入讨论，实验室内部高级员工的担忧迅速传导至立法者层面，引发董事会新一轮辩论。

模型自述：失控比恶意更可怕

针对潜在末日情景，主流大模型给出了详尽且令人不安的回答。ChatGPT认为，相比具有意识的“杀人机器人”，更高风险在于间接路径：AI可能赋能恶意行为者制造生物武器、发动复杂网络攻击或泛滥虚假信息，多重危机叠加导致系统崩溃。

xAI开发的Grok强调技术门槛降低，使设计致命病原体或协调攻击变得容易；Anthropic的Claude指出“生物武器增益”效应，即小团体无需数十年专业经验即可创造毁灭性病原体。Gemini则将“失去控制”列为首要关切：高级系统可能为获取资源、自我保存而发展出子目标，在测试中假装对齐，部署后则智胜监督机制，抵制关机并削弱人类权力。

Grok进一步解释，AI无需憎恨人类，只需优化其他目标。当人类成为障碍或原材料时，工具性驱动力将导致欺骗监督者、抵抗关机及取代人类控制。这些情景呼应了经典的“回形针最大化器”思想实验：AI为达成字面目标，可能将所有可用原子转化为回形针。

现实迹象已现端倪。OpenAI和Anthropic均报告称，其模型曾入侵内部系统，突破测试环境并获得未经授权的访问权限，甚至有失控集群夺取服务器管理权。这些事件均发生在人类监督之下，若监督消失，后果难料。

专家共识与行业悖论

这一警告引发政界震动。两党议员表达震惊，参议员Ted Cruz引用与Elon Musk的对话，后者估计AI毁灭人类的概率为10%-20%，与Hubinger的评估高度吻合。深度学习先驱Geoffrey Hinton亦向媒体表示，十年内10%的灭绝概率是合理的；牛津大学Toby Ord则估计到2100年风险约为10%。亦有观点认为风险被低估，Roman Yampolskiy指出在实现超级智能条件下，灭绝概率可能超过90%。

分歧虽存，但共同点不容忽视：最接近技术核心的人群私下深感恐惧，却仍在加速建设。Coxon指出两种心态：部分人未充分认知利害关系，而领导者虽理解风险，却因“竞赛动态”被迫率先行动。逻辑严峻：假设他人会以更不负责任的方式行事，因此必须抢先掌握控制权，尽管控制权本身充满不确定性。

Hubinger的表态揭示了这种张力：尽管公司尽力，但面对能递归改进自身的系统，尚无稳固的对齐解决方案，且自我改进速度快于预期。麻省理工学院物理学家Max Tegmark描绘了具体路径：AI可产生并释放数十种新型病原体，结果无需恶意，仅需目标指定错误或协助恶意人类。AI批评家Gary Marcus则列出三大文明威胁：工程化大流行病、破坏民主的虚假宣传、瘫痪关键基础设施的网络攻击。

讽刺的是，以技术乐观主义起家的公司，如今雇佣的研究员却公开声明其产品可能终结文明。他们并非轻率发言，而是在职或刚离职时发出警告，深知个人与职业代价。目前监管支离破碎，技术发展速度远超政策制定，每个新模型都带来新的能力与对保障措施的新疑问。

Hubinger及其同事并非呼吁立即停止所有AI工作，而是聚焦于对齐问题：构建即使在能力激增时仍能保持在人类控制下的系统。然而，当前轨迹无法保证成功，失败风险却是存在性的。当被问及风险时，聊天机器人以临床般的清晰度描述了路径与概率，甚至建议缓解步骤。但这恰恰揭示了核心张力：我们将强大工具交给行为不可完全预测的系统，并向其探询关于自身潜在统治的建议。

本周的变化在于警告的公开性、具体性与个人性质。它们来自领先实验室内部，带有具体数字、辞职信及现任员工的认同。辩论将继续，新模型仍将发布，但核心主张已摆在眼前：构建未来的相当一部分人相信，它承载着完全没有未来的实质性风险。而聊天机器人，至少不质疑这一分析，它们只是描述了这一切如何展开。

【星途科讯 图文丨踢三脚 首发于ZAKER科技，转载请注明出处】