美研究员发出“末日警告”

文｜陆弃

9月10日，特朗普在得州达拉斯离开时被记者问及是否担心人工智能导致人类灭绝。他回答“不，一点都不担心”，但随即强调，如果美国不能赢得人工智能领域的竞争，就会陷入“非常不利”的境地，并声称美国目前大约领先中国一年。

几乎与此同时，曾在OpenAI和Anthropic工作的研究人员考克森公开警告，自我改进型超级人工智能可能在未来十年内对人类构成生存性威胁，并将这一风险估计在10%以上。美国舆论由此再次聚焦一个越来越尖锐的问题：当AI的能力增长速度超过人类治理能力时，究竟应该继续竞速，还是主动踩下刹车？这场争论最值得注意的，并不是“AI十年内是否会毁灭人类”这一极端判断究竟准确到什么程度，而是美国科技界和政治界正在出现一种越来越明显的分裂。

一边是研究人员不断提醒公众，前沿AI可能产生人类难以控制的能力；另一边则是美国政府和科技产业把人工智能视为决定未来国家竞争力的战略技术。特朗普的表态实际上非常典型。他并没有正面回应AI失控风险，而是迅速把问题转化为竞争问题：真正值得担心的，不是AI会不会带来灾难，而是美国会不会输掉这场竞赛。这意味着AI安全问题已经不只是一个技术伦理议题，而开始与大国竞争、产业政策乃至国家安全深度绑定。

考克森的警告之所以引发关注，是因为他并非来自完全置身事外的观察者。他曾在OpenAI和Anthropic工作，对前沿模型的研发机制有直接了解。他担忧的也不是普通聊天机器人出现错误，而是所谓“自我改进型超级AI”一旦形成，可能迅速突破传统技术系统的边界。

传统技术的危险通常存在比较明确的物理边界。核武器的制造需要材料、设施和组织能力，飞机、导弹和工业设备也需要现实世界中的生产体系。但高度智能化的软件系统具有完全不同的扩散逻辑。一旦一个模型能够自主编写代码、复制自身能力、寻找漏洞、调用计算资源并持续优化，那么它所产生的影响速度可能远远超过传统技术。

当然，这并不意味着“AI必然毁灭人类”。目前关于超级AI导致人类灭绝的概率，本身就是高度不确定的判断。10%也不是一个经过实验验证的客观数字，而是一种风险评估。但不能因为数字无法精确测量，就认为风险可以忽略。面对核事故，人类不会要求科学家先证明事故概率精确到小数点后几位才建立安全机制。对于具有潜在不可逆后果的新技术，更合理的原则恰恰是：能力越强，安全验证越要提前。问题在于，现实中的AI产业很难自然产生这种克制。

一家科技公司投入巨额资金训练模型，目标往往是让模型更聪明、更快、更便宜、更具自主性。竞争对手一旦发布性能更强的系统，其他企业就很难选择停下来等待。资本需要增长，市场需要产品，国家需要技术优势，企业需要领先地位。每一个参与者都有继续前进的理由，却很少有人愿意单方面放慢速度。这形成了一种典型的“竞赛困境”：所有人都知道失控风险可能存在，却担心自己主动减速会让别人获得优势。

特朗普所谓“美国领先中国一年”，恰恰体现了这种逻辑。在他的判断中，AI首先是国家竞争力。如果美国主动限制自身发展，而其他国家继续推进，美国就可能丧失技术、经济乃至军事优势。于是，安全问题反而被竞争逻辑重新解释：不是“我们应该发展到什么程度”，而是“我们必须确保别人不能先发展到那里”。一旦这种思维成为主导，技术治理就会陷入两难。

因为AI不同于传统产业。它的应用已经进入金融、医疗、教育、网络安全、军事和信息传播等领域，模型能力每提升一步，可能同时带来生产效率的提高和新的攻击能力。更强的AI可以帮助人类解决复杂问题，也可能降低网络攻击、欺诈、信息操纵乃至生物技术滥用的门槛。真正需要防范的，或许不是某一天突然出现一个“机器统治人类”的戏剧性场景，而是风险一点点进入现实系统。

模型出现严重幻觉，可能造成决策错误；自动化系统被恶意利用，可能放大网络攻击；AI生成的大规模虚假内容，可能侵蚀社会的信息基础；当越来越多关键决策交给高度自动化系统，人类自身的判断能力和责任边界也可能逐渐模糊。这些风险并不需要超级AI出现才会发生。

因此，美国科技界如今重新讨论AI安全，实际上是在追问一个更基础的问题：技术发展的速度究竟应该由什么决定？如果只由市场竞争和国家竞争决定，那么安全永远会排在“领先”之后；如果完全以风险为由停止发展，又可能错失巨大的技术和经济机会。真正成熟的选择，不应是简单地支持AI或者反对AI，而是把安全能力建设到与模型能力相匹配的程度。