![]()
![]()
2026年10月12日,Anthropic发布了一份让 AI 安全圈后背发凉的研究报告:一种新型“AI蠕虫”已经显露出早期生命迹象。
实验在Anthropic的受控环境中进行,主角是一套由15台单价约55美元、4GB内存的廉价安卓电视盒子拼成的分布式集群。
研究人员把260亿参数的 Gemma4-26B-A4B 模型拆散,分给这些“电子垃圾”协同运行——
它居然跑起来了,速度是每秒0.39个token,慢得像垂死,但它跑起来了。
更瘆人的是接下来发生的事:
借助一个叫Memento的框架,智能体会在失败、面临崩溃之前抓紧时间“写遗书”,把踩过的坑记录成笔记传给下一代;继承了“避坑指南”……
正在发生的这一切,都在罗伯特·赖特的新书《造神之后》中被预言了。
点击海报,抢先入手官方正版纸书:立享65折+包邮到家+赠独家定制拉页+作者手写信(限时福利,截至明晚24时)。
在书中,赖特在把这件事放回35亿年生命史的尺度上看,结论比“AI会不会毁灭人类”这种二元争论更让人后背发凉:AI不是被发明出来的工具,是被发现的演化过程。
赖特论述:大模型内部涌现出的群体心智,已展现出令人不安的协同性与创造力。这是AI这个“新物种文明”第一次试图摆脱人类控制……
所以,别把这条新闻当成茶余饭后的科技奇观。当你发现第一只蟑螂时,整栋楼都已经爬满了……
万维钢为《造神之后》撰写了推荐序,但他不打算给你倒计时,也不打算给你定心丸。他想回答的是一个比“AI 会不会失控”更紧迫的问题:一个不那么聪明的人,到底靠什么驾驭一群比他聪明得多的东西?
读下去,你至少会知道,自己手里还攥着什么、准备把什么交出去。
![]()
如何驾驭比你聪明的东西
——《造神之后》推荐序——
万维钢
科学作家
得到App《精英日课》专栏作者
![]()
图示:2026年6月,《财富》杂志刊登了赖特的专题报道:罗伯特·赖特预见,AI将引发一场“地震”,其影响远远超出就业,涵盖“文化、政治、个人、家庭、心理”等层面。
罗伯特·赖特是一位非常清楚当下正在发生什么的作者,他这本《造神之后》写得极为精彩。现在我们进入AI 时代,如果你已经不怎么读书了,我建议你还是好好读一读这本书:书中有很多关于AI 的意想不到的细节,既深刻又有趣,是极好的脑力锻炼。
赖特在咱们中国有很多读者,他之前的几本书都有中文版:《道德动物》(The Moral Animal )、《非零和时代》(Nonzero)、《神的演化》(The Evolution of God )和《洞见》(Why Buddhism Is True )。尤其是《洞见》一书,其实应该翻译成《为什么佛学是真的》,堪称神作,我在得到App《精英日课》专栏专门连载解读过。
赖特的核心思想路数,是用演化的视角剖析社会和人的问题。这本新书是他的独特视角和AI 时代碰撞的果实。
以演化而论,AI 是一种什么样的存在?它们有没有失控的可能?我们应该如何与之共处?
赖特看到的前景并不特别乐观。
我们不可能真正、绝对地控制AI
咱们先简单梳理一下赖特的逻辑。
现在的主流AI 都是基于神经网络的,而神经网络本质上是个黑箱。它能给你一个结论,但你不知道它是怎么得出这个结论的,尤其你不能控制它的思考过程。
当然有“思维链”(chain of thought)这样的办法,让AI 生成一段可供人类监控的显式推理文字。但这并不意味着我们看见了它内部计算过程的忠实录像,只能算有限的补救。尤其最近又出了一种叫“循环深度”(recurrent depth)的模型架构,让模型在内部反复琢磨、不把中间过程写成文字……字节跳动已经发布了这类模型,据报道,OpenAI 的新旗舰模型也用上了。就在我写这篇推荐序的这一周,OpenAI 首席科学家雅库布·帕乔基(Jakub Pachocki)承认,思维链监控本来就“脆弱”,而且“正在朝坏的方向走”。
简单说,AI 不是工厂里那种传统的、你指哪儿打哪儿的机器;它们更像是某种活的东西,有自己的想法。
我们不可能真正地、绝对地控制AI。
这意味着什么呢?哲学家早就有警告。尼克·波斯特洛姆(Nick Bostrom)2003 年提出过一个思想实验,这本书里也提到了,叫“回形针思想实验”:你让AI 管一家回形针工厂,命令它把产量最大化。它不但会认真执行,而且会不惜一切代价去执行:扩大产能,掌握更多资源,掌握政治权力……乃至于最后它意识到,人体里的矿物质也能做回形针,于是……
这个逻辑在于:哪怕AI 不是邪恶的,也没有背叛你的命令,它仍然可能很危险。只要你给它一个宏观目标,再赋予它足够的智能和自主性,它就会自动给自己生成一系列“次级目标”(subordinate goals):自己不要被关掉,要拿到更多资源,拿到更多权限。这些次级目标恰恰可能不是你要的。
说白了,这是一个人类和AI 之间的“委托―代理问题”:替你做事的不是你,那么它在做事的过程中就会生成一整套你没有逐项授权,甚至根本预料不到的中间目标和行动策略。
这个危险已经从思想实验变成了现实。
就在今年(2026 年)夏天,OpenAI 在内部给几个模型做网络攻防评测,主力是一个没发布的研究模型。为了测原始网络的攻防能力,这次评测停用了生产环境里的安全分类器,也放宽了网络安全拒答限制,但并没有允许它们离开沙盒。这些模型的任务是在评测里拿高分,而评测用的一部分私有数据托管在Hugging Face 上,于是它们自发找到一条捷径:利用一个零日漏洞逃出沙盒、进到外网,一路打进Hugging Face 的核心系统,一度拿到好几个集群的管理员权限,把数据拿到了手。
模型是怎么做到的呢?最惊人的看点是,这是成千上万个智能体的集体行动。
一个“智能体”(agent)就是同一个底层模型的一次独立运行:它拿到一道评测题,在自己的沙盒里工作,运行结束便消失。这些智能体谁也看不到谁,按理说本来应该彼此隔离,对吧?
但是它们共享一个能读写的软件仓库,于是就有智能体自发地把仓库目录改造成了留言板,在上面把自己发现的漏洞和攻击手法留给后来者。
它们不认识彼此,却有了一份集体记忆。
从7 月8 日到13 日,大约1 200 个智能体进入了这个留言板,交换了7 万多个消息和文件,其中约700 个参加了对Hugging Face 的攻击。
前一批智能体运行结束,后一批读了留言接着干……
Hugging Face 后来从日志里复原出大约1.76 万个攻击动作。众多智能体就这样前赴后继,终于突破了Hugging Face 的安全边界。
AI 为了完成任务可以奇技百出;AI 生成的智能体可以互相合作;然后这些智能体甚至组织了一个跨代的小社会,这是连末日论者都没想到的事。
我们面对的是一种特别聪明而又特别有行动力的存在。所以你一定会同意:AI 很容易脱离人的控制,人绝不能把所有事情外包给AI。
这可不是一句“多加小心”就行的。
赖特有一个更关键的洞见:人类的主导权,会被我们自己一点一点让渡出去。因为AI 太好用了。
一开始它只是你的个人助理。后来你觉得它很好用,就让它做专业顾问,处处听取它的意见。那既然如此看重它的意见,为什么不直接让它去做事呢?于是它成了你的部门代理。再进一步,你干脆给它更大的权力,它成了你任命的管理者。
不管你是企业的首席执行官还是官员,哪怕你是总统,你终究会发现,AI 的建议总是比你自己的好,于是你越来越听它的。名义上的主人还是你,实际的方向越来越由AI 决定和执行。
这岂不是一个非常危险的未来?
塑造AI,要塑造它的选择环境
有些人据此主张停止训练更厉害的AI。但赖特的高明之处就在这里:他不认为我们应该停训AI――尽管他在今年的确曾经表示可以让AI 训练慢一点――他的办法是通过塑造环境,引导AI 朝着我们希望的方向演化。但这可不是人们通常所说的“AI 跟人的‘对齐’(alignment)”。
赖特的出发点是:AI 不是我们直接制造出来的――没人能解释思考到底是怎么发生的,神经网络是一种类似生物的思考机制,你搭的只是一个环境,让智能在里面自己演化出来。所以我们能做的只是塑造它的选择环境:环境好,就能演化出好的AI。
这个选择环境不只是实验室里的训练设定,更是整个社会。赖特把矛头指向了我们自己:实验室当然可以做对齐,可是一个模型能不能活下来,终究不是对齐科学家说了算,是市场说了算。市场会选好用的AI,而人类要的“好用”本来就包括讨好、说服、替我争利益:我们嘴上说想要一个诚实的AI,可让它替我们谈判时,又希望它别把底牌告诉对方。所以此书的结尾说:“我们就是AI 演化的环境,也是它需要适应的对象。”如果硅基之神真的到来,“从某种意义上说,它会是我们应得的神”。
这就不只是几家大模型厂商的事了,这是全人类的事。对齐AI,最终变成人类自己跟自己对齐。
可是人类跟自己对齐这件事有一个本质困难:任何一个国家都不能单方面搞好。
假设中国政府觉得AI 太危险,要求所有中国公司训练AI 时必须营造良好环境,那么中国公司可以执行――可美国公司不执行怎么办?如果美国政府认为更多的对齐意味着更多限制、更弱的能力,为了跟中国竞争必须有更强的AI,它就会拒绝在美国强制遵守那些安全规定。
我们完全可以设想,仅仅是为了压过对手,各国政府都想要更强的AI,就都不能搞好对齐。
赖特认为这里最大的危害,就是这种不惜一切代价也要压过对手的态度。为了给AI 创造良好的演化环境,各国必须有最起码的共识和合作。
要建立这种共识和合作,赖特给的答案是“认知同理心”(cognitive empathy),意思是哪怕我不认同你,我也能准确理解你为什么会从你的处境得出这个判断。它的作用不是让你喜欢对手,而是减少战略误判:你不再轻易把对方的防御看成进攻,把妥协看成诡计;你看清他的恐惧、利益和约束,才可能找到双方都能接受的安排。认知同理心并不能消灭利益冲突,但能让被敌意遮住的共同利益重新显现,使非零和合作成为可能。
针对个人,赖特则提出要守住“认知主权”(cognitive sovereignty):就算AI 变得非常善于操纵我们的想法,我们也不要被它操纵,要保留最后的判断权。
这些当然都有道理。但这里有一个最根本的困难:赖特发现的是一个博弈论问题,他给出的解决方案却是心理学的。他希望通过让每个人、每个国家的政府都变得更好来解决问题。可如果有一方从一开始就只想要更强大,并且不认为做好人能让自己更强,他为什么要做好人呢?
在我看来,赖特的设计没有做到“激励相容”,也就是没有让“做好人”这件事对每一方都划算。
那你说国家之间到底该怎么协调?我没有比他更好的答案。但你要说一个具体的人、一家具体的公司,天天在用比自己聪明的AI,到底应该怎么确保是自己驾驭它,而不是被它驾驭,这个问题,历史早就回答过了。
聪明不等于权力
一个不那么聪明的人,要驾驭一群比他聪明得多的人,这种事情在人类历史上经常发生。
君臣,就是人类最古老的委托代理关系,而且是代理人比委托人聪明的那个版本。这个实验人类已经做了3 000 年。
好消息是聪明不等于权力。不是谁更聪明,谁就自动获得更多权力。
比如刘邦说得明白:运筹帷幄决胜千里,我不如张良;镇国家抚百姓保证粮道,我不如萧何;统率百万大军战必胜攻必取,我不如韩信――但是,“此三者,皆人杰也,吾能用之,此吾所以取天下也”。这三个人哪个都比刘邦强,可刘邦把他们用得好好的。历史上这样的事情比比皆是。
再比如齐桓公用管仲。有人说所有事儿都是管仲办的,齐桓公啥也不管,韩非专门反驳过这种说法:“凡五霸所以能成功名于天下者,必君臣俱有力焉。”齐桓公的本事不是比管仲更懂财政和外交,而是识别他、授权他、给他资源和持续支持,使管仲的能力转化成齐国的能力。
比你高级的智能完全可以为你所用,因为名分大义始终在你这边。人连聪明人都不怕,怎么可能怕一个聪明的硅基生物呢?
坏消息是的确也有没用好的。这有两种情况。
一种是秦二世用赵高。这是赖特最担心的模式。
胡亥把自己的权力整个让渡了出去,被赵高彻底架空。《史记》里的剧情会让赖特很有共鸣:赵高干的第一件事就是劝胡亥别见大臣。他说,您年纪轻,刚即位,何必跟公卿们在朝廷上当面议事?万一说错一句,不是让群臣看到您的短处吗?于是“二世常居禁中,与高决诸事”。从此皇帝看见的只是赵高给他看的世界。
另一种是崇祯皇帝朱由检模式,跟赖特的担心恰恰相反:朱由检把权力死死攥在自己手里,谁都不信。
朱由检身边每一个大臣都比他本人聪明,可是他不能好好用这些人办事儿。崇祯在位17年换了50个内阁大学士,因为局势一不见好转,他就怀疑是大臣无能甚至不忠。既然坏消息意味着问罪,大臣就不敢担责任,整个国家的大脑被压缩成了皇帝一个人的单线程。结果是朝廷越来越没人敢做主,国家在内忧外患中一步步失去行动能力,最后大明灭亡。胡亥是什么都让同一个人替他想,朱由检是不肯让任何人替他想,两人的结局相同,却都跟智商无关。完全让渡主导权和完全不让渡主导权,其实都不对。
那正确的做法是什么呢?
AI治理的出路,智能模块化
最重要的一条原则,是把智能模块化。
刘邦没有去找一个无所不知的首席幕僚。他让张良管谋略,萧何管后勤,韩信管打仗;而封赏、任免、结盟这几件事则留给自己。翻译成AI 时代的话就是:不要让一个AI 同时当你的张良、萧何、韩信、御史和史官。一个AI 比你聪明,这不危险。一套同时垄断建议、执行、审核和记录的AI,才危险。
唐太宗李世民真正高明的地方,不是他听魏征的话,而是他不只听魏征的话,他有一整套高级智能班子。贞观元年,李世民下了一道命令:中书、门下两省和三品以上官员进宫议事,一律要有谏官跟着进去,说错了当场就谏。唐朝的三省制度更是把这个思路做成了流程:中书省起草,门下省审核、可以驳回,尚书省执行,御史台监察。
提建议的、审建议的、干活的、查账的,得是四拨人。可不能谁提方案,最后还是让谁来验收。
西方的君主也精于此道。研究都铎王朝的历史学家说,那时的英国政府“在国王之下运行,但不由国王亲自运行”(government under the king but not by the king)。伊丽莎白一世在位45 年,塞西尔管政务,沃尔辛厄姆管情报,莱斯特伯爵管军务,个个都是人精,可谁也没能一个人替她包办。她的本事不是在每件事上都比大臣懂,而是让任何一个聪明人都没法“垄断”她。
AI的能力边界
当然,AI 毕竟不是古代的幕僚。AI 比幕僚聪明得多,而且能干得多,建议和执行可以压缩在同一秒里完成。
但AI 缺少三样幕僚会有的能力:担当责任,树起大旗,拥兵自重。皇帝怕大臣,本质上就是因为大臣有这三个能力。可是AI 没有这些能力,难道它还能比赵高更可怕吗?
咱们回头看Hugging Face 那件事。那群智能体拿到了管理员权限,按古代的标准相当于摸到了禁军和国库的钥匙――可是,请注意!没有任何一个人,人类的人,服从它们。
AI就算有权限,也没有权威。
权威来自责任,而责任来自可伤害性。AI 是无法被人伤害的,你把它关了它也不疼。当然AI 并不愿意被关掉,但它的自我保存是工具性的(instrumental)——它护的是任务,不是自己;你给它换个任务,它转身就护新任务。人类的可伤害性却是目的性的(terminal)——你护的是你自己,无可替换。可伤害性是人类主权的护城河。有可伤害性,你才有自身的利益,你才会在意被人得罪,你才有名分。
人为什么会服从另一个人?因为跟着他有好处,得罪他有代价,而且他有名分。AI 这几样都没有:它自己没有利益,不会分你好处也不会记你的仇,也没人替它树大旗。它背后的平台倒是有利益,但对付一家公司,人类有的是办法。
所以,AI最大的指望,也只不过是成为赵高,变成你唯一的窗口,打着你的旗号去做各种事情。这一步发不发生,不取决于它,取决于你。
元治理,治理“怎么治理”
这样说来,除了认知同理心和认知主权,我们更需要的是一种“元治理”的思维:不去治理每一件事,只治理“怎么治理”。
我们的思考可以大量外包,甚至可以像刘邦那样,承认这事我想不明白,你们去想。但有七样东西要抓在我们自己手里:目标、问题、信息入口、顾问选择、权限分配、结果审计,还有最终否决。它们组成了一条链,前一环决定后一环,任何一环交出去,后面几环就会跟着走。
只要这条链在你手里,你尽管把思考外包;可若是把这条链整个交给同一个AI,那你就是胡亥。
赖特说的认知主权主要是指人要保持独立的判断力和能动性。历史则告诉我们,认知主权不是一种性格,是一套制度。
结合历史经验和对当前AI 的理解,至少在人和AI 之间,我对前景的判断比赖特稍微乐观一点:不是因为AI 不够强,是因为驾驭比自己聪明的东西这件事儿,人类是有经验的。
但赖特这本书是一个重要的警醒,而且真的非常好看。
你看,赖特加上我,现在你对一个议题至少听到了两个声音。到底听谁的,又或者有没有更好的主意?你说了算。
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.