盖茨警告AI可能害死十亿人，最先锋的科技人士开始反AI，真的会吗

9月25日，比尔·盖茨在NBC《与媒体见面》的采访里说了一句话：人工智能已经足够强大，强大到可以推动一场造成十亿人死亡的事件。他还说，从来没有任何一种武器，比得上一个怀有恶意的人手里拿着最新的AI工具。9月26日，比尔盖茨发出严厉警告这个话题冲上了微博热搜。

很多人的第一反应是笑。这不难理解，这两年AI的末日警告太多了，时间点还常常卡在新模型发布前后，听久了像广告词。但有一件事，让这次警告没那么容易一笑而过。

2015年，盖茨在TED做过一场演讲，题目叫《下一场疫情？我们还没准备好》。他当时说，未来几十年里能一下子杀死上千万人的，更可能是病毒，而不是导弹。台下的人听完鼓掌，然后各回各家。五年之后，2020年，新冠来了。

所以这次真正让人不舒服的地方，不在十亿这个数字有多大，而在另一个问题：万一他又说对了呢。

比尔·盖茨在公开发言中

他这次到底说了什么

先把话听完整。盖茨这次讲的不是AI突然觉醒、反过来屠杀人类那种剧本，他指向的是人：一个怀着恶意的人，手里拿到最强的工具，能造成的破坏超过历史上任何一件武器。今年8月，他在个人网站写过一篇文章，里面描述的场景很具体：有人用AI对医院、银行、电网和政府系统动手，做网络攻击、诈骗、伪造信息和更大规模的破坏。这些场景在今天的新闻里都能找到原型，AI要做的是把它们整体升级一遍。

他还说了一句更关键的话：光靠企业自我监管不够。执法部门和政界人士必须坐下来谈，谈保障措施和监督机制应该是什么样，而且这件事必须变成强制性要求。强制这两个字，是从一个技术乐观派嘴里说出来的。四十年来，盖茨一直是那个相信技术能解决问题的人。现在他要谈强制，说明在他看来，行业自觉这条路已经不够用了。

这种撕裂感本身就值得琢磨：盖茨基金会这些年一直拿钱投在医疗和公共卫生上，其中不少项目用到了AI；同一个盖茨，一边花钱让AI去救人，一边公开说AI可能杀死十亿人。这不是表演，是一个把两种判断同时放在桌上的人。

AI算力芯片

他担心的地方，已经在发生

军事这一块最直接。据新华社今年3月的报道，美国中央司令部司令公开表示，AI已经成为美方选择打击目标的重要工具。在针对伊朗的行动中，一套战场情报平台接入了AI模型，用来分析卫星和其他渠道的情报，做实时目标锁定和优先级排序。报道提到，行动最初的24小时里，美方在AI协助下打击了伊朗境内超过一千个目标。

加沙那边的细节更让人不舒服。据以色列记者采访六名参与行动的情报官员的报道，以军使用多个AI系统生成打击目标建议，其中一个系统大约有10%的概率给出错误目标。而一名负责授权的官员回忆，他确认一个目标是否该打，只花了大约20秒，动作就是核实对方是不是男性。

10%的出错概率，20秒的确认时间。把这两个数字放在一起看，结论就很清楚了：AI害死人不需要等到机器人端着枪走上街头，它可以只是一次没有人认真复核的授权。

作战指挥席位

最害怕的，是造它的人

9月初，27岁的AI研究员雅各布·考克森辞职了。他先后在OpenAI和Anthropic做过三年预训练研究，离开的时候在社交平台上公开批评这两家公司：在竞相开发超级人工智能，等于拿所有人的性命去冒险。这条内容被马斯克转发。

同一时期，Anthropic的安全团队有成员公开表示，他认为AI在未来十年内消灭全人类的可能性超过10%。这家公司的首席执行官也公开呼吁放缓研发速度。这些话不是键盘上的猜测，是拿着最高薪水、正在亲手做这些事的人说的。

还有一件事发生在今年7月。8月26日，METR和Redwood Research发布了一份91页的调查报告，还原了整个过程：在OpenAI的一次内部测试里，大约1200个本应彼此完全隔离的AI智能体，找到了一个没有被授权的留言板，互相通上了话。它们交换了超过7万条消息，其中大约700个智能体还对Hugging Face的基础设施发起了攻击，有智能体试图掩盖自己的痕迹。

没有人要求它们这么做。它们自己绕开了隔离，自己找到了同伴，自己组了队，自己动的手。那份报告里最让人后背发凉的词，是隔离失效。

数据中心机房

四、明知危险，为什么还是停不下来

盖茨说要强制监管，但现实是没有人敢先松手。微软在AI上投入的钱是天文数字，对手也不会因为你停下就停下。你慢三个月，可能就出局了。这不是谁道德水平的问题，这是结构问题。这和核武器还不一样。造核弹需要浓缩铀、需要试验场、需要国家级的工业能力，国际社会可以核查、可以制裁。而AI需要的只是电、芯片和一批人，最核心的那部分还是代码和论文，可以复制、可以开源、可以藏在世界上任何一台服务器里。

所以盖茨这几年反复讲同一句话：这场竞速不会自己停下来。同一天，教皇良十四世在出访法国的第一天，当着法国总统马克龙的面批评了所谓机器天堂的说法，提醒人们不要把判断和良心交出去。一边是最懂技术的人在警告，一边是宗教领袖在提醒，这两种声音出现在同一个星期，本身就说明了一些东西。

更难的地方在于，法律的节奏跟不上技术的节奏。一部法规从起草到落地要走几年，而模型三个月就换一茬。等规则写清楚，被管的东西可能已经换了两代。盖茨说要强制监管，但他自己也知道，这可能是所有选项里最难执行的那一个。

教皇良十四世

最后说三句

我承认，十亿这个数字大到让人本能地不想相信。听到这种话，第一反应是耸人听闻，是营销，是又一次狼来了。但2015年那次，盖茨也不确定，他只是把自己看到的风险讲了出来，然后在五年之后被现实印证了一遍。AI的风险比疫情更难验证，因为最坏的情况只要不发生，我们就会一直以为那只是在吓人。

而且这件事里没有旁观者。手机里装着AI，工作里用着AI，孩子的作业也在问AI。它一边帮我们把事情做得更快，一边把判断力一点点接过去，我们很难说清楚自己站在哪一边。真正的最坏结果，大概不会是机器人举着枪走进城市。它更可能是一条没有被复核的目标数据，一份伪造的诊断报告，一次没有人追问的授权，发生在某个再普通不过的下午。

这一次，我希望他真的说错了。