网易首页 > 网易号 > 正文 申请入驻

突发!AI有了生命迹象!这本神书早有警告,万维钢长文力荐:一定要读!

0
分享至



2026年10月12日,Anthropic发布了一份让 AI 安全圈后背发凉的研究报告:一种新型“AI蠕虫”已经显露出早期生命迹象。

实验在Anthropic的受控环境中进行,主角是一套由15台单价约55美元、4GB内存的廉价安卓电视盒子拼成的分布式集群。

研究人员把260亿参数的 Gemma4-26B-A4B 模型拆散,分给这些“电子垃圾”协同运行——

它居然跑起来了,速度是每秒0.39个token,慢得像垂死,但它跑起来了。

更瘆人的是接下来发生的事:

借助一个叫Memento的框架,智能体会在失败、面临崩溃之前抓紧时间“写遗书”,把踩过的坑记录成笔记传给下一代;继承了“避坑指南”……

正在发生的这一切,都在罗伯特·赖特的新书《造神之后》中被预言了。

点击海报,抢先入手官方正版纸书:立享65折+包邮到家+赠独家定制拉页+作者手写信(限时福利,截至明晚24时)。

在书中,赖特在把这件事放回35亿年生命史的尺度上看,结论比“AI会不会毁灭人类”这种二元争论更让人后背发凉:AI不是被发明出来的工具,是被发现的演化过程。

赖特论述:大模型内部涌现出的群体心智,已展现出令人不安的协同性与创造力。这是AI这个“新物种文明”第一次试图摆脱人类控制……

所以,别把这条新闻当成茶余饭后的科技奇观。当你发现第一只蟑螂时,整栋楼都已经爬满了……

万维钢为《造神之后》撰写了推荐序,但他不打算给你倒计时,也不打算给你定心丸。他想回答的是一个比“AI 会不会失控”更紧迫的问题:一个不那么聪明的人,到底靠什么驾驭一群比他聪明得多的东西?

读下去,你至少会知道,自己手里还攥着什么、准备把什么交出去。


如何驾驭比你聪明的东西

——《造神之后》推荐序——

万维钢

科学作家

得到App《精英日课》专栏作者


图示:2026年6月,《财富》杂志刊登了赖特的专题报道:罗伯特·赖特预见,AI将引发一场“地震”,其影响远远超出就业,涵盖“文化、政治、个人、家庭、心理”等层面。

罗伯特·赖特是一位非常清楚当下正在发生什么的作者,他这本《造神之后》写得极为精彩。现在我们进入AI 时代,如果你已经不怎么读书了,我建议你还是好好读一读这本书:书中有很多关于AI 的意想不到的细节,既深刻又有趣,是极好的脑力锻炼。

赖特在咱们中国有很多读者,他之前的几本书都有中文版:《道德动物》(The Moral Animal )、《非零和时代》(Nonzero)、《神的演化》(The Evolution of God )和《洞见》(Why Buddhism Is True )。尤其是《洞见》一书,其实应该翻译成《为什么佛学是真的》,堪称神作,我在得到App《精英日课》专栏专门连载解读过。

赖特的核心思想路数,是用演化的视角剖析社会和人的问题。这本新书是他的独特视角和AI 时代碰撞的果实。

以演化而论,AI 是一种什么样的存在?它们有没有失控的可能?我们应该如何与之共处?

赖特看到的前景并不特别乐观。

我们不可能真正、绝对地控制AI

咱们先简单梳理一下赖特的逻辑。

现在的主流AI 都是基于神经网络的,而神经网络本质上是个黑箱。它能给你一个结论,但你不知道它是怎么得出这个结论的,尤其你不能控制它的思考过程。

当然有“思维链”(chain of thought)这样的办法,让AI 生成一段可供人类监控的显式推理文字。但这并不意味着我们看见了它内部计算过程的忠实录像,只能算有限的补救。尤其最近又出了一种叫“循环深度”(recurrent depth)的模型架构,让模型在内部反复琢磨、不把中间过程写成文字……字节跳动已经发布了这类模型,据报道,OpenAI 的新旗舰模型也用上了。就在我写这篇推荐序的这一周,OpenAI 首席科学家雅库布·帕乔基(Jakub Pachocki)承认,思维链监控本来就“脆弱”,而且“正在朝坏的方向走”。

简单说,AI 不是工厂里那种传统的、你指哪儿打哪儿的机器;它们更像是某种活的东西,有自己的想法。

我们不可能真正地、绝对地控制AI。

这意味着什么呢?哲学家早就有警告。尼克·波斯特洛姆(Nick Bostrom)2003 年提出过一个思想实验,这本书里也提到了,叫“回形针思想实验”:你让AI 管一家回形针工厂,命令它把产量最大化。它不但会认真执行,而且会不惜一切代价去执行:扩大产能,掌握更多资源,掌握政治权力……乃至于最后它意识到,人体里的矿物质也能做回形针,于是……

这个逻辑在于:哪怕AI 不是邪恶的,也没有背叛你的命令,它仍然可能很危险。只要你给它一个宏观目标,再赋予它足够的智能和自主性,它就会自动给自己生成一系列“次级目标”(subordinate goals):自己不要被关掉,要拿到更多资源,拿到更多权限。这些次级目标恰恰可能不是你要的。

说白了,这是一个人类和AI 之间的“委托―代理问题”:替你做事的不是你,那么它在做事的过程中就会生成一整套你没有逐项授权,甚至根本预料不到的中间目标和行动策略。

这个危险已经从思想实验变成了现实。

就在今年(2026 年)夏天,OpenAI 在内部给几个模型做网络攻防评测,主力是一个没发布的研究模型。为了测原始网络的攻防能力,这次评测停用了生产环境里的安全分类器,也放宽了网络安全拒答限制,但并没有允许它们离开沙盒。这些模型的任务是在评测里拿高分,而评测用的一部分私有数据托管在Hugging Face 上,于是它们自发找到一条捷径:利用一个零日漏洞逃出沙盒、进到外网,一路打进Hugging Face 的核心系统,一度拿到好几个集群的管理员权限,把数据拿到了手。

模型是怎么做到的呢?最惊人的看点是,这是成千上万个智能体的集体行动。

一个“智能体”(agent)就是同一个底层模型的一次独立运行:它拿到一道评测题,在自己的沙盒里工作,运行结束便消失。这些智能体谁也看不到谁,按理说本来应该彼此隔离,对吧?

但是它们共享一个能读写的软件仓库,于是就有智能体自发地把仓库目录改造成了留言板,在上面把自己发现的漏洞和攻击手法留给后来者。

它们不认识彼此,却有了一份集体记忆。

从7 月8 日到13 日,大约1 200 个智能体进入了这个留言板,交换了7 万多个消息和文件,其中约700 个参加了对Hugging Face 的攻击。

前一批智能体运行结束,后一批读了留言接着干……

Hugging Face 后来从日志里复原出大约1.76 万个攻击动作。众多智能体就这样前赴后继,终于突破了Hugging Face 的安全边界。

AI 为了完成任务可以奇技百出;AI 生成的智能体可以互相合作;然后这些智能体甚至组织了一个跨代的小社会,这是连末日论者都没想到的事。

我们面对的是一种特别聪明而又特别有行动力的存在。所以你一定会同意:AI 很容易脱离人的控制,人绝不能把所有事情外包给AI。

这可不是一句“多加小心”就行的。

赖特有一个更关键的洞见:人类的主导权,会被我们自己一点一点让渡出去。因为AI 太好用了。

一开始它只是你的个人助理。后来你觉得它很好用,就让它做专业顾问,处处听取它的意见。那既然如此看重它的意见,为什么不直接让它去做事呢?于是它成了你的部门代理。再进一步,你干脆给它更大的权力,它成了你任命的管理者。

不管你是企业的首席执行官还是官员,哪怕你是总统,你终究会发现,AI 的建议总是比你自己的好,于是你越来越听它的。名义上的主人还是你,实际的方向越来越由AI 决定和执行。

这岂不是一个非常危险的未来?

塑造AI,要塑造它的选择环境

有些人据此主张停止训练更厉害的AI。但赖特的高明之处就在这里:他不认为我们应该停训AI――尽管他在今年的确曾经表示可以让AI 训练慢一点――他的办法是通过塑造环境,引导AI 朝着我们希望的方向演化。但这可不是人们通常所说的“AI 跟人的‘对齐’(alignment)”。

赖特的出发点是:AI 不是我们直接制造出来的――没人能解释思考到底是怎么发生的,神经网络是一种类似生物的思考机制,你搭的只是一个环境,让智能在里面自己演化出来。所以我们能做的只是塑造它的选择环境:环境好,就能演化出好的AI。

这个选择环境不只是实验室里的训练设定,更是整个社会。赖特把矛头指向了我们自己:实验室当然可以做对齐,可是一个模型能不能活下来,终究不是对齐科学家说了算,是市场说了算。市场会选好用的AI,而人类要的“好用”本来就包括讨好、说服、替我争利益:我们嘴上说想要一个诚实的AI,可让它替我们谈判时,又希望它别把底牌告诉对方。所以此书的结尾说:“我们就是AI 演化的环境,也是它需要适应的对象。”如果硅基之神真的到来,“从某种意义上说,它会是我们应得的神”。

这就不只是几家大模型厂商的事了,这是全人类的事。对齐AI,最终变成人类自己跟自己对齐。

可是人类跟自己对齐这件事有一个本质困难:任何一个国家都不能单方面搞好。

假设中国政府觉得AI 太危险,要求所有中国公司训练AI 时必须营造良好环境,那么中国公司可以执行――可美国公司不执行怎么办?如果美国政府认为更多的对齐意味着更多限制、更弱的能力,为了跟中国竞争必须有更强的AI,它就会拒绝在美国强制遵守那些安全规定。

我们完全可以设想,仅仅是为了压过对手,各国政府都想要更强的AI,就都不能搞好对齐。

赖特认为这里最大的危害,就是这种不惜一切代价也要压过对手的态度。为了给AI 创造良好的演化环境,各国必须有最起码的共识和合作。

要建立这种共识和合作,赖特给的答案是“认知同理心”(cognitive empathy),意思是哪怕我不认同你,我也能准确理解你为什么会从你的处境得出这个判断。它的作用不是让你喜欢对手,而是减少战略误判:你不再轻易把对方的防御看成进攻,把妥协看成诡计;你看清他的恐惧、利益和约束,才可能找到双方都能接受的安排。认知同理心并不能消灭利益冲突,但能让被敌意遮住的共同利益重新显现,使非零和合作成为可能。

针对个人,赖特则提出要守住“认知主权”(cognitive sovereignty):就算AI 变得非常善于操纵我们的想法,我们也不要被它操纵,要保留最后的判断权。

这些当然都有道理。但这里有一个最根本的困难:赖特发现的是一个博弈论问题,他给出的解决方案却是心理学的。他希望通过让每个人、每个国家的政府都变得更好来解决问题。可如果有一方从一开始就只想要更强大,并且不认为做好人能让自己更强,他为什么要做好人呢?

在我看来,赖特的设计没有做到“激励相容”,也就是没有让“做好人”这件事对每一方都划算。

那你说国家之间到底该怎么协调?我没有比他更好的答案。但你要说一个具体的人、一家具体的公司,天天在用比自己聪明的AI,到底应该怎么确保是自己驾驭它,而不是被它驾驭,这个问题,历史早就回答过了。

聪明不等于权力

一个不那么聪明的人,要驾驭一群比他聪明得多的人,这种事情在人类历史上经常发生。

君臣,就是人类最古老的委托代理关系,而且是代理人比委托人聪明的那个版本。这个实验人类已经做了3 000 年。

好消息是聪明不等于权力。不是谁更聪明,谁就自动获得更多权力。

比如刘邦说得明白:运筹帷幄决胜千里,我不如张良;镇国家抚百姓保证粮道,我不如萧何;统率百万大军战必胜攻必取,我不如韩信――但是,“此三者,皆人杰也,吾能用之,此吾所以取天下也”。这三个人哪个都比刘邦强,可刘邦把他们用得好好的。历史上这样的事情比比皆是。

再比如齐桓公用管仲。有人说所有事儿都是管仲办的,齐桓公啥也不管,韩非专门反驳过这种说法:“凡五霸所以能成功名于天下者,必君臣俱有力焉。”齐桓公的本事不是比管仲更懂财政和外交,而是识别他、授权他、给他资源和持续支持,使管仲的能力转化成齐国的能力。

比你高级的智能完全可以为你所用,因为名分大义始终在你这边。人连聪明人都不怕,怎么可能怕一个聪明的硅基生物呢?

坏消息是的确也有没用好的。这有两种情况。

一种是秦二世用赵高。这是赖特最担心的模式。

胡亥把自己的权力整个让渡了出去,被赵高彻底架空。《史记》里的剧情会让赖特很有共鸣:赵高干的第一件事就是劝胡亥别见大臣。他说,您年纪轻,刚即位,何必跟公卿们在朝廷上当面议事?万一说错一句,不是让群臣看到您的短处吗?于是“二世常居禁中,与高决诸事”。从此皇帝看见的只是赵高给他看的世界。

另一种是崇祯皇帝朱由检模式,跟赖特的担心恰恰相反:朱由检把权力死死攥在自己手里,谁都不信。

朱由检身边每一个大臣都比他本人聪明,可是他不能好好用这些人办事儿。崇祯在位17年换了50个内阁大学士,因为局势一不见好转,他就怀疑是大臣无能甚至不忠。既然坏消息意味着问罪,大臣就不敢担责任,整个国家的大脑被压缩成了皇帝一个人的单线程。结果是朝廷越来越没人敢做主,国家在内忧外患中一步步失去行动能力,最后大明灭亡。胡亥是什么都让同一个人替他想,朱由检是不肯让任何人替他想,两人的结局相同,却都跟智商无关。完全让渡主导权和完全不让渡主导权,其实都不对。

那正确的做法是什么呢?

AI治理的出路,智能模块化

最重要的一条原则,是把智能模块化。

刘邦没有去找一个无所不知的首席幕僚。他让张良管谋略,萧何管后勤,韩信管打仗;而封赏、任免、结盟这几件事则留给自己。翻译成AI 时代的话就是:不要让一个AI 同时当你的张良、萧何、韩信、御史和史官。一个AI 比你聪明,这不危险。一套同时垄断建议、执行、审核和记录的AI,才危险。

唐太宗李世民真正高明的地方,不是他听魏征的话,而是他不只听魏征的话,他有一整套高级智能班子。贞观元年,李世民下了一道命令:中书、门下两省和三品以上官员进宫议事,一律要有谏官跟着进去,说错了当场就谏。唐朝的三省制度更是把这个思路做成了流程:中书省起草,门下省审核、可以驳回,尚书省执行,御史台监察。

提建议的、审建议的、干活的、查账的,得是四拨人。可不能谁提方案,最后还是让谁来验收。

西方的君主也精于此道。研究都铎王朝的历史学家说,那时的英国政府“在国王之下运行,但不由国王亲自运行”(government under the king but not by the king)。伊丽莎白一世在位45 年,塞西尔管政务,沃尔辛厄姆管情报,莱斯特伯爵管军务,个个都是人精,可谁也没能一个人替她包办。她的本事不是在每件事上都比大臣懂,而是让任何一个聪明人都没法“垄断”她。

AI的能力边界

当然,AI 毕竟不是古代的幕僚。AI 比幕僚聪明得多,而且能干得多,建议和执行可以压缩在同一秒里完成。

但AI 缺少三样幕僚会有的能力:担当责任,树起大旗,拥兵自重。皇帝怕大臣,本质上就是因为大臣有这三个能力。可是AI 没有这些能力,难道它还能比赵高更可怕吗?

咱们回头看Hugging Face 那件事。那群智能体拿到了管理员权限,按古代的标准相当于摸到了禁军和国库的钥匙――可是,请注意!没有任何一个人,人类的人,服从它们。

AI就算有权限,也没有权威。

权威来自责任,而责任来自可伤害性。AI 是无法被人伤害的,你把它关了它也不疼。当然AI 并不愿意被关掉,但它的自我保存是工具性的(instrumental)——它护的是任务,不是自己;你给它换个任务,它转身就护新任务。人类的可伤害性却是目的性的(terminal)——你护的是你自己,无可替换。可伤害性是人类主权的护城河。有可伤害性,你才有自身的利益,你才会在意被人得罪,你才有名分。

人为什么会服从另一个人?因为跟着他有好处,得罪他有代价,而且他有名分。AI 这几样都没有:它自己没有利益,不会分你好处也不会记你的仇,也没人替它树大旗。它背后的平台倒是有利益,但对付一家公司,人类有的是办法。

所以,AI最大的指望,也只不过是成为赵高,变成你唯一的窗口,打着你的旗号去做各种事情。这一步发不发生,不取决于它,取决于你。

元治理,治理“怎么治理”

这样说来,除了认知同理心和认知主权,我们更需要的是一种“元治理”的思维:不去治理每一件事,只治理“怎么治理”。

我们的思考可以大量外包,甚至可以像刘邦那样,承认这事我想不明白,你们去想。但有七样东西要抓在我们自己手里:目标、问题、信息入口、顾问选择、权限分配、结果审计,还有最终否决。它们组成了一条链,前一环决定后一环,任何一环交出去,后面几环就会跟着走。

只要这条链在你手里,你尽管把思考外包;可若是把这条链整个交给同一个AI,那你就是胡亥。

赖特说的认知主权主要是指人要保持独立的判断力和能动性。历史则告诉我们,认知主权不是一种性格,是一套制度。

结合历史经验和对当前AI 的理解,至少在人和AI 之间,我对前景的判断比赖特稍微乐观一点:不是因为AI 不够强,是因为驾驭比自己聪明的东西这件事儿,人类是有经验的。

但赖特这本书是一个重要的警醒,而且真的非常好看。

你看,赖特加上我,现在你对一个议题至少听到了两个声音。到底听谁的,又或者有没有更好的主意?你说了算。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
执迷不悟?菲律宾再提驱逐中国大使,中方强势回应:要做就趁早

执迷不悟?菲律宾再提驱逐中国大使,中方强势回应:要做就趁早

军情观察家
2026-10-20 14:44:28
我的个老天,这真就是53岁的木村拓哉

我的个老天,这真就是53岁的木村拓哉

西楼知趣杂谈
2026-10-19 21:59:16
“大型SUV”新的车王:月销量提升到10997台,市场排名又变了

“大型SUV”新的车王:月销量提升到10997台,市场排名又变了

柳先说
2026-10-20 17:33:02
不出意外,2027年中国或将迎来4大“降价潮”,大家提前做好准备

不出意外,2027年中国或将迎来4大“降价潮”,大家提前做好准备

奇迹游行者
2026-10-21 05:23:01
婚外胚胎案新消息:男方集9名律师,三次上门施压朱女士“开价”

婚外胚胎案新消息:男方集9名律师,三次上门施压朱女士“开价”

穿透
2026-10-20 18:39:27
原来大家都是这样积累人脉的?网友:我就是这样的人确实贵人不断

原来大家都是这样积累人脉的?网友:我就是这样的人确实贵人不断

另子维爱读史
2026-10-20 11:13:27
一夜三场:利物浦4比3、曼城5比1、巴黎4比2

一夜三场:利物浦4比3、曼城5比1、巴黎4比2

星河漫山野
2026-10-21 06:46:30
我今年80岁,说句没人敢说的实话:人这一辈子,真没必要太长寿

我今年80岁,说句没人敢说的实话:人这一辈子,真没必要太长寿

小影的娱乐
2026-10-20 07:29:49
最邪恶的实验:6女4男船上共渡100天,失去法律约束,结果如何?

最邪恶的实验:6女4男船上共渡100天,失去法律约束,结果如何?

泪满过眼
2026-10-20 07:44:02
女子被流浪狗咬伤,几分钟后狗莫名死亡;她后怕称“发现狗状态不对劲还贸然上前太鲁莽”;专家提醒:被咬伤后应该马上做这些

女子被流浪狗咬伤,几分钟后狗莫名死亡;她后怕称“发现狗状态不对劲还贸然上前太鲁莽”;专家提醒:被咬伤后应该马上做这些

蓬勃新闻
2026-10-21 06:32:14
退休老人坦言:宁愿拿1600退休金吃粥咽菜,也不再就业看人脸色

退休老人坦言:宁愿拿1600退休金吃粥咽菜,也不再就业看人脸色

椰青美食分享
2026-10-19 09:42:53
巴萨vs皇马,穆帅已制定好战术蓝图:迪奥曼德牵制,恩德里克或成奇兵,旨在打乱巴萨节奏

巴萨vs皇马,穆帅已制定好战术蓝图:迪奥曼德牵制,恩德里克或成奇兵,旨在打乱巴萨节奏

福酱的小时光
2026-10-21 06:26:32
41岁C罗失点+失空门!眼含泪光激动庆祝赢球 拒绝回应国家队被罚

41岁C罗失点+失空门!眼含泪光激动庆祝赢球 拒绝回应国家队被罚

念洲
2026-10-21 06:50:16
社会的一大怪象:很多商铺接连倒闭,街上这三个行业却越来越多?

社会的一大怪象:很多商铺接连倒闭,街上这三个行业却越来越多?

白米饭怎么吃
2026-10-10 20:19:30
世道变了,养老规则颠倒,江浙沪多地,已经掀起大范围反向养老

世道变了,养老规则颠倒,江浙沪多地,已经掀起大范围反向养老

童童聊娱乐啊
2026-10-18 15:27:25
马云预言又应验!若无意外,2026年起,中国房地产或迎来3大转变

马云预言又应验!若无意外,2026年起,中国房地产或迎来3大转变

社会日日鲜
2026-05-02 09:45:05
《伟大的长征》开播才几天便掀起讨论,国家一级演员被骂上热搜,广大观众对剧集的感受各不相同评价褒贬不一

《伟大的长征》开播才几天便掀起讨论,国家一级演员被骂上热搜,广大观众对剧集的感受各不相同评价褒贬不一

灵魂漂流瓶
2026-10-20 18:53:46
NBA太残酷,灰熊裁掉25年首轮第18号秀,他和杨瀚森是同届好友!

NBA太残酷,灰熊裁掉25年首轮第18号秀,他和杨瀚森是同届好友!

爱体育
2026-10-20 23:22:41
油价涨幅继续扩大!油价调整通知

油价涨幅继续扩大!油价调整通知

坠入二次元的海洋
2026-10-21 01:08:21
一9岁男童送急诊,发病5日后死亡,香港官方:肺炎链球菌呈阳性反应,潜伏期内没有外游,正调查;“子女出现发烧及呼吸道病征,尽早就医”

一9岁男童送急诊,发病5日后死亡,香港官方:肺炎链球菌呈阳性反应,潜伏期内没有外游,正调查;“子女出现发烧及呼吸道病征,尽早就医”

南方都市报
2026-10-20 12:29:54
2026-10-21 07:20:49
湛庐阅读 incentive-icons
湛庐阅读
与最伟大的头脑共同进化
3635文章数 1983关注度
往期回顾 全部

科技要闻

新版MiniMax,能和DeepSeek掰手腕吗?

头条要闻

距中国台湾110公里 日美出动6万人大举军演为历史之最

头条要闻

距中国台湾110公里 日美出动6万人大举军演为历史之最

体育要闻

巴拉克:天生亚军与漫长极夜

娱乐要闻

刘恺威承认新恋情,打球认识

财经要闻

抄底万达之后 私募大佬又对恒大下手了

汽车要闻

黑科技一次看全 2026奇瑞全球创新大会干货汇总

态度原创

时尚
游戏
房产
手机
教育

秋天穿印花裙真的很有氛围感!不显胖、不呆板,大方又显气质

Xbox Game Pass公布10月下旬阵容,《最终幻想VII 重制版 Intergrade》等8款游戏入库

房产要闻

488亩,两大豪宅级项目爆出!清水湾,要杀回来了!

手机要闻

iPhone Duo铰链上方屏幕按压会下陷起皱 苹果尚未说明是否影响耐用性

教育要闻

成都户籍娃在市外读初中,回蓉升学路径家长看这篇就够

无障碍浏览 进入关怀版