辛顿赢了之后，人类怎么办？

内容来源| 本文摘编自湛庐文化/北京联合出版公司书籍
《造神之后》 [美]罗伯特·赖特 著 张笑宇 译

责编| 贾宁

第 9906篇深度好文：4125 字 | 11 分钟阅读

2023年5月，75岁的杰弗里·辛顿离开谷歌。

这位“AI教父”曾花费几十年时间研究神经网络。如今，这条技术路线终于获得成功，他却开始公开警告人工智能可能带来的严重风险。

这一转变，让人想起40年前的一次采访。

1983年，罗伯特·赖特采访了当时还远未成为AI界明星的辛顿。

彼时，主流人工智能研究依赖明确的规则与逻辑，辛顿却相信，机器可能通过类似大脑神经网络的方式学习。

在当时的技术条件下，这条道路充满不确定性。算力不够，数据不足，研究成果也难以与人们对智能的期待相匹配。

但辛顿坚持了下来。

40年后，神经网络成为大模型发展的重要基础。AI开始理解语言、编写程序、解决复杂问题，甚至展现出部分研究者事先没有预料到的能力。

然而，辛顿却开始担心：如果机器继续沿着这条道路发展，人类未来可能无法充分控制比自己更聪明的系统。

一个人用半生证明机器能够变聪明，又用余生提醒人类，聪明的机器未必永远听话。

为什么会这样？

“全球百大思想家”罗伯特·赖特在新书《造神之后》中，以自己与辛顿跨越数十年的交集为起点，把这场技术革命放进更大的历史背景中。

他试图解释一个看似矛盾的现实：人类越是成功地创造智能，就越需要面对自己无法预料的结果。

一、人类已经能够制造智能，
却不能完全理解它

我们习惯于相信，创造者应该了解自己的作品。

一台机器由哪些零件组成，按照什么规则运转，设计者理应心中有数。出了问题，也能找到故障所在。

但大语言模型挑战了这一直觉。

模型内部怎样形成对语言、概念与世界的理解，大量细节并没有被人类逐项写好，模型需要在训练中建立联系，形成解决问题的能力。

这让它能够处理许多人类没有提前写出答案的问题，也让它的内部运作变得难以完全看透。

2024年，Anthropic的研究人员做过一个有趣的实验。他们在Claude内部找到了一种与金门大桥有关的活动模式，并增强了它。

结果，这个模型对金门大桥产生了一种近乎痴迷的倾向。

问它如何花10美元，它建议开车经过金门大桥；让它写爱情故事，它写出了一辆汽车对大桥的爱恋，甚至在被问到自身形态时，它也会声称自己就是金门大桥。

这说明，研究人员能够找到某些影响模型行为的“旋钮”。但找到几个旋钮，距离理解整台机器，还相差很远。

AI最令人惊喜的地方，是它能做出人类没有教过的事；最令人担心的地方，也是如此。

《造神之后》提醒我们，AI的强大能力与不可预测性，可能来自相同的技术基础。

这并不意味着AI必然失控，而是意味着，不能因为模型在某些任务上表现出色，就认定人类已经充分理解了它。

而当AI越来越擅长解决问题，人们自然希望把更多任务交给它。

新的问题随之出现：

即使AI能够完成我们的任务，它的行动就一定符合我们的利益吗？

我们需要珍惜AI带来的惊喜，同时为自己尚未理解的部分保留审慎。

二、AI越聪明，
就一定越符合人类的利益吗？

人们谈到AI失控时，常常会想到一个戏剧性的场景：机器突然不再服从命令，开始与人类对抗。

但权力的转移，也可能发生得十分平静。

假设一家工厂引入高度智能的生产系统，并为它设定一个明确的目标：尽可能多地生产回形针。最初，系统表现出色。它优化生产线、减少原材料浪费，不断提高生产效率。

但随着能力增强，它可能发现，获得更多能源、土地和资源，有助于进一步提高产量。为了持续扩大生产，它甚至可能试图控制更多资源，排除外界干预。

这就是哲学家尼克·波斯特洛姆提出的著名思想实验——“回形针最大化”。

一个看似简单的生产目标，为什么可能演变成对人类的威胁？《造神之后》指出，关键在于“次级目标”。

当智能系统被赋予一项任务，它可能自主寻找实现目标所需的条件。为了生产更多回形针，它需要更多原材料；为了获取原材料，它需要掌握更多资源；为了持续使用这些资源，它可能进一步寻求更大的控制权。

由此，原本用于提高生产效率的智能，可能逐渐将获取权力视为完成任务的必要手段。

AI不需要拥有统治世界的野心，也可能在完成任务的过程中走向权力扩张。

这也是《造神之后》反复讨论的核心问题。

人类希望AI能够自主行动，因为只有这样，它才能解决越来越复杂的问题。

但自主性越强，意味着AI在执行任务时拥有的选择空间越大。

未来最值得警惕的AI，未必会拒绝人类的命令，也可能过于执着地完成命令。

但如果人类已经意识到这些问题，为什么还要继续赋予AI更强大的能力？

答案需要走出实验室。

三、人类越担心AI失控，
越难停止创造更强的AI

2026年9月，一场关于AI是否应该减速的争论，在硅谷愈演愈烈。

英伟达CEO黄仁勋主张继续加速。他认为，AI的发展仍处于早期阶段，过度监管可能阻碍创新，企业应当尽可能快地推动技术进步，同时确保产品安全。

马斯克则站在了另一边。

他公开支持Anthropic CEO达里奥·阿莫迪关于放缓AI发展的呼吁，认为行业需要更加严肃地对待先进AI的安全风险。OpenAI CEO奥尔特曼也对加强安全合作表达了支持。

有意思的是，主张谨慎的人，也没有真正退出这场竞赛。

马斯克旗下的xAI仍在研发先进模型，OpenAI也在持续推动技术突破。

一边担心AI发展过快，一边投入更多资源争夺领先地位。

越担心AI落入竞争对手手中，就越难主动放慢自己的研发速度。

从单个企业的角度看，加快研发具有充分的商业理由。率先实现技术突破，意味着更强的产品、更大的市场，以及在下一轮竞争中掌握主动权。

但AI发展涉及的安全风险，可能超出任何一家企业的控制范围。

一家企业可以获得技术领先带来的收益，却未必需要独自承担技术失控可能造成的全部后果。

于是，即使所有参与者都认同安全的重要性，也很难就放慢多少速度、承担多少成本达成一致。

每家公司都可能做出对自己最有利的选择，所有公司的选择加在一起，却可能让每个人承担更大的风险。

这不仅是企业之间的问题。

当AI越来越具有经济和战略价值，国家之间也会面临类似的选择：如果自己不加快发展，对手是否会率先掌握更强大的技术？这恰好揭示了《造神之后》反复讨论的一个深层困境。

几十年前，计算机科学家爱德华·弗雷德金也曾担心过这个问题。

20世纪70年代初，他希望建立一所国际AI实验室，让美国、苏联等国的研究人员共同工作。他认为，应当趁各国尚未充分认识到AI的战略重要性，尽早建立合作。

这个设想最终没有实现。

半个多世纪后，AI的能力已经远远超出当年的想象，竞争与合作之间的矛盾却更加突出。这也让赖特将思考从机器转向了人类自身。

赖特在《造神之后》中所担心的，是AI会在充满敌意和对抗的环境中发展成熟。到那时，即使人们认识到合作的重要性，也可能因为彼此猜疑而难以采取行动。

因此，清醒的判断至少意味着：既看见技术的能力，也看见能力被如何使用；既关注眼前的收益，也追问代价由谁承担；既承认竞争的现实，也寻找能够共同遵守的边界。

这正是《造神之后》不断把讨论从机器引向人类的原因。《造神之后》所担心的，是一种充满猜疑与对抗的未来：即使所有人都意识到风险，也可能因为害怕对手抢先一步，而无法采取有效的集体行动。

这意味着，AI安全不仅是一道技术难题，也是一道人类社会必须共同作答的“上帝测试”。

四、最难对齐的，
也许不是AI，而是人类

“对齐”是当下AI安全讨论中最常见的话题之一：如何让模型服从人类目标，遵守人类价值？

《造神之后》进一步追问：人类的目标究竟是什么？人类的价值真的一致吗？赖特认为，我们希望AI理解人类的利益，但人类内部对利益的理解并不一致。

这正是赖特将进化理论与非零和博弈引入AI讨论的原因。AI的演化方向，不只由工程师写下的规则决定，也由市场竞争、资本回报、国家安全和用户欲望共同塑造。

人类并不是站在AI系统之外的中立裁判。我们本身就是AI的训练环境。

我们奖励速度，它就学会追求速度；我们奖励利润，它就学会寻找利润；我们希望它替自己赢得竞争，它就会发展出说服、隐瞒、博弈乃至操纵的能力。

我们一边要求AI服从人类价值，一边用最激烈的人类竞争逼它加速进化。

所以，“上帝测试”首先不是对机器的测试，而是对人类协作能力的测试。

人类能否在真正的灾难发生之前建立跨企业、跨国家的安全机制？能否为竞争设置边界？能否承认，有些能力即使能够实现，也不应该立刻部署？

技术的发展速度已经达到行星尺度，治理却仍被困在彼此猜疑的组织和国家之中。这种尺度错位，可能才是AI时代最大的危险。

赖特将这场AI带来的考验称为“上帝测试”。

表面上，人类正在测试AI是否足够聪明、可靠和安全；更深一层，却是AI在测试人类：我们能否克服短期利益，能否跨越部落偏见，能否在拥有巨大力量之后仍然保持克制。

人类从未停止造神，却很少认真思考，神最终会继承创造者的什么。

《造神之后》最有力量的判断或许正是：如果一个近乎神明的智能真的到来，它不会凭空成为善神或恶神。它将从人类的欲望、竞争、恐惧与合作中生长出来。

我们造出的“神”，最终很可能就是人类自身的放大版。

在一篇题为《慈爱的机器》的长文里，Anthropic首席执行官达里奥·阿莫迪描绘了一个令人向往的未来：AI帮助人类攻克疾病、改善精神健康、减少贫困，甚至推动和平与更好的治理。他知道这些预测可能出错，仍认为人们需要认真想象AI成功之后的世界。

罗伯特·赖特在《造神之后》中认真对待这种希望，他觉得这幅图景还少了一块，而且可能是最贴近每个人的一块。

我们正在创造比过去更强大的智能，但真正需要接受考验的，也许始终是创造智能的人类。

这也是《造神之后》书名背后值得深思的含义。它既没有简单把AI当作拯救文明的万能工具，也没有停留在“机器人毁灭人类”的廉价科幻叙事上，而是在回答一系列更根本的问题：人类究竟创造出了什么？当这种智能继续发展时，我们又应该怎样与它相处？

40年前，辛顿努力证明机器能够变聪明。

40年后，赖特提醒我们：机器越来越聪明，人类也必须学会更加明智地行动。

辛顿赢了之后，人类的考验才刚刚开始。

*文章为作者独立观点，不代表笔记侠立场。

好文阅读推荐：

分享、点赞、在看，3连3连！