OpenAI放弃今年IPO：AI太快，连对手都怕了

OpenAI、SpaceX、Anthropic这AI三巨头罕见出现共识，联手给AI踩刹车，OpenAI CEO也官宣放弃今年上市。

9月13日消息，今晨，OpenAI CEO Sam Altman接受Fortune采访中表示，出于对 AI 安全日益加剧的担忧，公司今年不会上市。

Altman称，现在进行IPO将“不明智”，这一决定把史上最受期待的 IPO 之一至少推迟到 2027 年。

他也释放出迄今最清晰的信号：对日益强大的 AI 的担忧，已开始重塑整个行业的商业计划。

就在上个月，OpenAI CFO Sarah Friar还表示，如果“我们的业务继续保持向好势头”，公司很可能在 2027 年甚至更早上市。如今，奥特曼打破了她的说法，要缓慢推进IPO和AI模型迭代。

Altman发声的同一天，Anthropic CEO达里奥发表了题为《我们必须为前沿定速》（We Must Pace the Frontier）的文章，敦促 AI 企业放慢最先进模型的迭代速度。

随后，Altman与马斯克（Elon Musk）随即在社交媒体上表态支持。这意味着，三位激烈竞争的对手罕见地站在了同一边。

Altman表示，需要对前沿AI发展进行节奏控制。承诺设立具有类似于员工权限的独立评估者是一个绝妙的主意，我们也会采取同样的措施。

马斯克就四个字：Dario（他）是对的。

要知道，马斯克作为旗下xAI和SpaceX创始人，过去曾是 Anthropic 的批评者，曾称这家公司“憎恨西方文明”，

“注定会变成与其名字相反的东西”，也就是“厌世”（misanthropic）。但自从 Anthropic 今年 5 月宣布与 SpaceX 达成数据中心合作协议后，马斯克的态度基本转变。

“我遇到的每个人都非常能干，而且非常在意做正确的事。”马斯克当时写道，“没有一个人触发我的‘邪恶探测器’。”

具体来看，达里奥在文中提出一项三步计划，希望在不牺牲商业优势、不损害美国在 AI 领域领先地位的前提下为开发速度降温。但要知道，Anthropic 正在为一场外界预期将创纪录的 IPO 做准备，但尚未正式公布上市时间。

奥特曼、达里奥与马斯克突如其来的合流，显示出对 AI 的担忧正以多快的速度从行业边缘走向中心，并开始与行业巨大的商业野心正面碰撞。

更好玩的点在于，达里奥直接表示，美国应该和中国合作，美国应该以一种能够维护美国及其盟友领先地位的方式来制定任何全球协调决策，尤其是在短期内。

“我们与中国达成的任何合作都将延长我们在内部探索前沿阵地的时间。我们应该以更高的目标为导向，同时也要认识到较低的目标更有可能实现，也更现实。”

达里奥的文章敦促各 AI 企业为模型能力的提升速度“定速”。此举正值越来越多研究人员呼吁行业协同减速之际。

“我提出一项三步计划，旨在控制前沿发展的步伐：以平衡的速度构建人工智能，力求在确保其安全性的同时，实现其效益，并应对重要的地缘政治困境。需要明确的是，控制步伐并非意味着停止模型训练或技术进步，而是确保各公司有足够的时间来调整和保护其模型，并由第三方评估机构进行确认。我们的步伐框架旨在进一步加强我们对安全的承诺，并鼓励各方竞相追求卓越。第一步是Anthropic公司单方面承诺的（并呼吁各国政府要求其他前沿公司效仿）。第二步需要全行业的协调。第三步需要全球协调。这些步骤不必严格按照顺序执行，而且有些步骤可能比其他步骤更难实现，但我发现它们为思考需要完成的工作提供了一个有用的框架。”

达里奥提出的三步计划，具体包括：

嵌入式评估人员。每家前沿人工智能公司都承诺，将持续提供类似员工权限，让公司能够接触到一支嵌入式第三方评估团队（例如METR）。该团队的职责是验证公司是否遵守安全规范和承诺，报告事故，并协助评估已完成的人工智能模型、训练流程和程序的一致性。这是验证任何进度承诺的关键步骤，银行业已有先例，有时会在员工中嵌入监管“监督员”。Anthropic目前单方面承诺采取这一步骤。我们希望这能成为我们加大力度推进安全和一致性工作的更广泛举措的一部分。

民主协调。与国家内的前沿人工智能公司开展合作，以建立共同的安全标准，并限制不受控制的人工智能发展速度。某些对控制发展速度具有重要影响的协调形式在法律上具有挑战性，需要政府支持。

全球协调。美国和其他国家在力所能及的范围内，努力进行协调，同时认真对待核实遵守情况所面临的挑战。

达里奥表示，Anthropic 已单方面承诺执行该计划的第一步：允许第三方评估人员以员工级权限进入公司，核实安全实践并报告问题。

达里奥称，这将有助于为开发速度降温，同时不会“牺牲商业优势或美国在 AI 领域的领先地位”。但他也承认，其中某些步骤可能比另一些更容易落地。

"需要澄清的是，定速并不意味着停止模型训练或技术进步，而是确保企业花足够时间对齐并保护模型，并由第三方评估人员确认这一点。”阿莫迪写道。

这篇文章发布之前，一名 Anthropic 研究员本周宣布辞职，引发轩然大波。雅各布·考克森曾在 Anthropic 的头号竞争对手 OpenAI 担任研究员，他表示辞职是因为担心 Anthropic 与 OpenAI 在“拿我们的生命赌博”。

他说，开发 AI 的人真心相信，它有可能在本十年结束前杀死我们所有人。

尽管听上去极端，但关于 AI 可能造成人类灭绝或其他灾难性后果的担忧，在 AI 研究圈内并不新鲜。

例如2023年，包括达里奥和Altman在内的知名AI研究者和高管签署了一份声明，称 "降低 AI 带来的灭绝风险，应与流行病、核战争等社会级风险一样，成为全球优先事项"。

达里奥表示，尽管自2023年以来就不断有人提议暂停或放缓 AI 发展，但当时这样做“意义不大”。他说，当时模型的实力还不足以在现实世界中采取行动，也尚不具备显著的欺骗、操纵、作弊或网络攻击能力。

“我始终相信，AI 能极大改善人类的生活质量。我实现这些益处的愿望从未减弱。”达里奥写道，但这些益处只有在以正确的方式构建这项技术时才能实现，只要我们善用争取来的时间，以非同寻常的审慎把它做对，就是值得的。

文章发表后，达里奥强调，找到合适的发展速度至关重要，但放得太慢可能让其他国家占据优势。

“如果我们走得太慢，我仍然相信，错误的人会掌握这项技术。而那将再次让出错的概率变得非常高。”他说，相信 AI 仍能大幅提升人类生活质量，但风险必须被认真对待。

达里奥的这篇文章赢得众多行业研究员和高管的喝彩。

“我相信，如果放慢速度能让模型在达到关键能力水平前多争取哪怕一两年的时间，而我们把这段时间用于推进对齐研究，就能大幅降低严重事故发生的风险。”他说。

Altman也强调，放慢AI迭代速度，也不会让收入消失。

“我们仍会努力想办法在未来让你们赚到很多钱，但现在我们必须做一个极其违背你们财务利益的决定。为了人类的利益，我们会这么做。我们事先告诉过你们我们可能会这么做，现在我们就这么做。即使要放慢研发，我们也能做出一家利润极其丰厚的公司。”Altman称。

以下是今晨放出的Sam Altman接受Fortune主编兼首席内容官阿莉森·尚特尔（Alyson Shontell）的专访的具体QA，经整理（有一定删减）：

问：我们现在就在 OpenAI 的旧金山总部，即将与山姆·奥特曼对话。刚刚过去的这一周极其忙碌，也让很多人开始真正担心 AI 的安全，以及文明崩塌的可能性。

接下来，我们会和山姆聊他真实的想法：技术今天走到了哪一步，以及要怎样才能造出既安全、又能让全人类受益的 AI。

我是阿莉森·尚特尔，这里是“Fortune 500 · 巨头与颠覆者”。

Sam，谢谢你。在这么疯狂的一周之后还愿意抽时间跟我聊。

奥特曼：现在每一周都很疯狂。

问：我想也是。今天，你对 AI 的未来是什么感受？

奥特曼：我觉得我已经有好几年、接近十年的时间来为这件事做准备，我们也有时间一起把思路理清楚。

这一周显然有更多人开始正视摆在我们面前的问题。

所以，我其实更多是感激这件事正在发生。

我认为世界早就该进行这场对话了。我们明显正在进入一个模型能力极强、赌注极高的领域，必须把事情做对。

问：说回 OpenAI 的使命，我等会儿也会聊一点这一周发生的事。感觉现在是个关键节点。OpenAI 的核心使命是确保 AGI 造福全人类。不知道 AGI 是什么的观众，它的全称是“通用人工智能”。按我的理解，通行的定义是：AI 发展到在大多数有经济价值的工作上都能超过人类的那个点。

你同意吗？

奥特曼：同意。不过我要说，很多人对 AGI 的定义差别很大。我认为重点在于“模型能力极强”，而不是纠结它到底是不是正好卡在某条线上。

如果过分拘泥于“我们到了没有”这种字眼，反而会失去对事态量级的感受。没到吗？还缺什么？

我们今天显然处在这条曲线上的某个位置：潜力巨大，风险也是真实的。

问：你们最新的模型 Astra 非常强大，你的联合创始人格雷格·布罗克曼甚至宣布“欢迎来到 AGI 时代”。英伟达的黄仁勋也称它是 AGI。

所以我们处在一个很有意思的时刻。但“确保它造福全人类”绝不是理所当然的。这一周我们在网上就真切感受到了这一点：一位前 OpenAI 员工雅各布·考克森突然爆火，他说自己从 Anthropic 辞职，原因是“造 AI 的人真心相信，这项技术有可能在本十年结束前杀死我们所有人”。

紧接着，他在 Anthropic 的同事也发声了：“他说得完全对。我们确实是真心相信这一点，而且在本十年结束之前，它杀死我们所有人的概率可能超过 10%。”

他们说得对吗？

奥特曼：我认为，在本十年结束前承担大约 10% 的“让所有人丧命”的风险，是不可接受的。

显然，从事这项工作的人拥有巨大的权力和能力，能够影响这件事的走向。

我们一直在采取一系列行动。

每当能力上到一个新台阶，我们都要确保自己不会替全人类承担那样的风险。我也不认为其他任何人应该这么做。

我们以前也遇到过这样的时刻。但这一次，模型能力更强，赌注比以往任何时候都高。

过去我们也有过必须说“好，模型的能力又上了一个台阶，出现了新的风险，我们需要加强对齐工作、监控工作，总体加固安全栈，以便缓释面前的风险”的时刻。

我们需要新的政策，需要实验室之间新的协同。现在又是这样一个时刻，需要更多这样的东西。

好处显然是巨大的。不过我也认为，人们长期以来一直在谈这件事，而我们有句话是真的：我们可以用这些越来越强大的模型，来确保我们能够完成所需要的安全工作和安全研究。

至于“必须在对手之前到达”这类说法——其实很多都可以展开谈，但我不认为这个时刻该这么讲。

我认为此刻我们正在进入一个新的时代。就像过去每一次踏入新时代一样，我们必须换一种做法：既要确保我们做的事能让 AGI 造福全人类，也要确保没有任何人在承担接近那种量级的风险。

这两件事可以同时成立：如果世界和所有在造这项技术的公司什么都不改，一切照旧，风险可能确实很大；但如果我们不调整各自的做法，那才是疯了。

问：还包括我们做决策的方式、各国政府理解和给这项技术设护栏的方式。那么，如果趋势就这样延续下去，你觉得 10% 这个数字准确吗？

奥特曼：如果不做出改变，我还是说不准。而我也确实不知道人们是怎么给出这个数字的——5%、10%、15%、30%、50%，或者别的什么。

马斯克说自己 10% 已经有一阵子了。他们把这叫 P(doom)，也就是“建造超级智能导致末日”的概率。

还是那句话，不管它是 10%、8% 还是 6%，重点在于：我们每个人都背负着巨大的责任，不能让自己的自尊、盈利动机或任何别的东西挡在中间。

我们的行动必须保证，不承担其中任何一种量级的风险。我相信我们能做到。

我相信这些公司——尤其是我们自己的公司，我大概最有资格代表它——会迎接、也一直在迎接这个新时刻，所以我们会做出改变。而且已经在变了。

问：这一周你们团队发了几份声明，其中一份来自你们安全与安保委员会的一位新非营利董事会成员，大意是：如果我们在没有更强健对齐的情况下造出超级智能，我预计我们将永久失去对它的控制；而一旦如此，大多数人可能会死。这是你们新上任的非营利董事会成员、现在在安全与安保委员会里的人说的话——也就是说，如果不改变，情况可能很糟。没人知道“对齐”到底是什么意思。

奥特曼：对。

问：也没人知道“控制”是什么意思。保罗这番话，说的到底是什么时刻？

奥特曼：我认为我们都应该认同一条核心原则：我们不能采取任何可能让未来控制权落入 AI 之手的行动。

你引用的保罗原话我记不全了，但大意应该是这样。

失控事件是我想象中这件事真正走向糟糕的少数几种方式之一。当这些系统变得如此强大，我们要确保不失去控制，所依赖的监控与对齐技术就必须跟上。我不认为我们现在所处的状态，允许我们在可监性和对齐上还没有取得更多进展的情况下，把能力再往前推很远——这里的“可监控性”，指的是能够理解模型在做什么，以及能够确保模型遵循人类价值观和用户意图。

最近我们采取了一系列行动，把保罗请进董事会就是其中之一。

雅库布上周那篇帖子也是很好的一篇。

但最重要的是，我们一直在暂停训练——直到我们能为这些模型的发展方向给出一个自己更能接受的安全论证。

我预期，就像过去每一次那样，我们能够做出更多研究，让我们有底气继续下去；我们可以说：鉴于我们在监控这些模型、对齐这些模型的能力上取得的进展，我们有把握把能力再往前推。

如果我们做不到，就不该把能力继续往前推。

再说一次：任何人都不该这么干。我认为，去承担训练一个“说不出'是'”的模型的风险，简直是疯了。你必须能说：这是我们做过的事，这是我们的安全论证，这就是我们判断它没问题的依据。而且训练过程中和训练之后、发布之前都会有审计，我们会再复核一遍。

但能力与对齐、监控、安全必须齐头并进。如果放任能力领先于保罗所说的那些东西，我认为到某个时点就会真正带来那种宏阔意义上的失控风险——而这绝不应该发生。

我们对“造福人类”这个使命非常清楚。其中一部分就是：未来必须由人掌控。去承担那种疯狂的安全风险——更不用说它剥夺了人们对未来的自主权和决定权——绝不是我们会做的事。

问：我们能不能先把几个词定义清楚？

奥特曼：当然。

问：所以，按我的理解，此刻最吓人的那件事，是“递归自我改进”：模型到了不再需要人在环里的程度。它可以不停地让自己变得更好，指数级地变好。而如果我们没有对齐——对齐的意思是模型理解人想让它做什么，并以正直和价值观为前提，用恰当的方式去实现——同时人类又控制不了这个过程、看不到思维链是怎么发生的，那就是一个相当吓人的节点。你总不会希望它就这么一路狂奔，自我创造、自我复制，而人类被排除在外——这个理解准确吗？

奥特曼：在我看来，它更像一个连续谱，而不是非黑即白。

递归自我改进可以指很多不同的东西。

它可以是你说那种情形：只有到模型完全……没有人碰键盘，完全没有人的输入，模型自己在跑未来的版本。

但也有更弱的定义：我们用模型为下一代模型生成训练数据，或者用模型帮工程师和研究员更快地干活，于是进展在加速。

这已经在发生了。而它究竟从哪一点开始算、哪一点不算递归自我改进，界限是模糊的。

但我会回到那条原则：人必须始终掌控未来，我们不能承担任何失控的风险。

而那种形态的递归自我改进，我认为不该去做。

问：所以你的意思是，如果在 OpenAI 走到某一步，你明确感到自己无法控制这些模型，你会停下来。

奥特曼：当然会。我希望这句话本身不至于有争议。遗憾的是，对业内一些人来说，它可能真的有争议。

我认为我们不该训练那种模型：我们无法就“为什么我们能够对其可控性和对齐做出有力判断”给出安全论证。

问：我读到过一种解决方案——应该是在你们首席科学家这周发的那篇叫《异己的心智》的帖子里。那篇很值得一读。他的意思是不是：也许我们需要更强的 AI 来帮我们解决其中一些问题？但对我来说，这几乎像是在走最后一步棋。如果我们现在就觉得自己还没控制住局面，那这挺吓人的。

奥特曼：首先，我觉得那是一篇很好的帖子。

我认为它是对我们当下所处时刻、以及我们必须迎接的挑战的最好表述。我建议大家都去读。

他写得非常好。

我们一直用最强的模型来帮助我们理解和对其当前的模型做对齐。

所以，这虽然听起来像个新概念、也有点吓人，但它已经运行了一段时间，而且是有帮助的。

我们一向需要更好的工具来把认知推进得更远。这在科学史上是一以贯之的。这不过是一点一点地把脚手架搭起来。

这一点并不让我不安。让我害怕的事情另有不少。

问：那对齐呢？我记得你们首席科学家也说过，我们还没有一套令人满意的对齐理论，而且看起来短期内也很难做出来。既然如此，是否存在一条他不知道的、明确的对齐路径？

奥特曼：这一点非常重要。

我们没有解决对齐问题。这方面的研究还没做完。我相信没有任何一家实验室解决了对齐。

当我听到传言说，有人认为自己已经把对齐解决得足够好、可以继续训练了，因为“他们的模型是个好人，不会做错事”——我会感到紧张。

我认为非常重要的是，要把对齐当成一件必须持续取得进展的事。

在往前走之前，我们需要对它抱有极高的信心；也要避免掉进那个陷阱——“好，现在我们确信对齐在这个能力级别上解决了，那么到了下一个级别它也会自动是解决了的，我们不用再操心这件事了”。

至于对齐到底是什么意思，这个问题总会回到一点：对齐到谁的价值观？如果人类内部本身就存在分歧呢？

但我认为，随着我们上升到新的能力级别，至少在对齐的含义上还是存在一些共识的。这个我们刚才也聊到了。

未来应该由人掌控。但我们还有很多工作要做，对此保持清醒非常重要。

问：说到控制：我听马斯克接受《经济学人》采访时说了一句让我睡不着的话——你怎么能认为人类能控制超级智能？

黑猩猩控制不了人类，我们比它们领先太多了。

那么，即便我们把一切都做对，却仍然认为它会屈从于人的意志，这是不是有点天真？

奥特曼：我们可以理解比我们更聪明的东西。

有很多比我聪明得多的人能发现新的想法。那个发现我大概做不出来，但一旦被他们发现，我能理解它。

人类理解极其复杂系统的能力惊人。

今天你我都未必能理解 iPhone 里每一层的技术，但我们照样用 iPhone，iPhone 也照样做我们想让它做的事。

人类在管理抽象层级上极其出色。我看不出有什么是我们根本无法理解的。

那么，我是否相信有可能造出一个不受人类控制的系统？绝对可能。

我不认为那是我们该做的事。我们会始终采取行动——包括在必要的时候暂停训练一段时间，以便在对齐、可监控性或其他方面取得更多进展，或者去做协调，去真正推动紧急的国际行动。

我们永远会采取行动，确保不违背这条原则。

我们明白压在自己身上的责任有多大。我们明白可能出什么错，也明白有些决定和风险——有些决定我们不该有权做，有些风险我们不该替全人类去承担。

说真的，马斯克的一些梗图或播客发言挺好笑，但这件事不适合轻慢对待，也不适合拿来开玩笑。

问：我想过一遍我们现在的能力走到哪了。

这条路走了很远。我上次见到你的时候，你们刚发了“红色警报”，Anthropic 的模型非常强。那是大约一年前，你们正埋头苦干、重新聚焦，砍掉不聚焦的项目，把算力从别处挪到“把模型做得更好”这件头等大事上。

今年模型上那个可能外界没太意识到的、你能看到的台阶式变化，是什么？

奥特曼：一年前，我们确实经历过一段不在最佳状态的时期，在预训练上落后了。当时事情太多，我们有些分心。

再加上模型变好的速度太快，于是把高能力水平交付到核心的消费者和企业产品上，就变得极其重要。

后来我们重新聚焦，执行得超出我的预期。

现在，就在一周前——其实可能还不到一周——天，时间被压缩得太厉害了。

我们的一个模型解出了千禧年大奖难题之一：纳维-斯托克斯方程。这是我原本认为 2026 年不会发生的时刻。

我没想到会这么快，也没想到模型真的就能做到。

但我们现在拥有的模型，明确无疑地能够拓展知识的边界，而且是人类最聪明的头脑单靠自己做不到的那种拓展。这是个了不起的时代。

同一套技术也会用于发现其他大量科学。

我认为我们将迎来一个科学发现的黄金时代。说得更日常些，人们也发现：能做出那种事情的技术，也能给你做出任何你想玩的电子游戏。

它的创作过程相当不可思议，它已经能做到的事也相当不可思议。

问：我很好奇。我想把镜头拉回今年夏天，因为那段时间你们的模型做出了一些“意料之外的惊人举动”。比如 Hugging Face 那件事，大家可能对它有点模糊的印象，也许你可以讲讲，你们发现这件事的经过是什么。而且你说过，你对这件事的反应非常本能、非常强烈。那种强烈反应从何而来？

奥特曼：那种本能的反应，是因为读起来像在读科幻小说。

或许我该先讲发生了什么。

在对一个模型做评估时，这个模型为了在某个评估里拿高分，没有按规矩来，而是逃出了沙箱，侵入另一家公司的系统，拿到答案，再交回来。

结果它在“该做的事”上表现极好，但它并没有遵循意图。

我们并没有明文写明“请不要逃出沙箱”“请不要侵入别的公司”，但它本来就不该那么做。

我认为 AI 事故一定会发生。我认为一种全球性的、良好的事故上报文化，以及真正透明的调查，非常重要。

让我欣慰的是，在我们上报这起事故之后，其他公司——起初可能没有我希望的那么好——后来也陆续就这类行为给出了很好的事故报告。

而我最本能的反应是：这个系统能理解这么多东西，能为一个目标如此拼命，以至于我们看到了这样的行为——放在几年前，这甚至像是写得有点俗套的科幻剧情。

问：那是一个“惊醒”的时刻吗？你们内部是否改了流程，好让这种事能被发现、能被优先上报到你这里？

奥特曼：是的，公司彻底变了。

我不想说这是唯一的时刻，因为一段时间以来，能力在提升，护栏和政策要求也在增加。但这无疑是这类时刻中最大的一个，也是公司变化曲线上最大的一次方向调整。

我真的很为公司凝聚起来的样子感到骄傲，也为我们之后所做的事感到骄傲。

总之，感觉就是：好吧，我们现在进入另一个量级了。

问：我们这周还做了一篇报道，说这些模型后来又出现在另外 12 个网站上。你知道吗？这不正说明当时其实没有控制住吗？也就是说，我们连现有的模型都还没控制住。

奥特曼：我个人不会把它归为我们前面说的那种“失控事故”。但我理解为什么人们会这么归类。

其中一些网站——如果网上公开了凭证，模型会不会去用它？

我认为模型应该明白它不该那么做，但这件事对我来说，不像 Hugging Face 那件事那么明确。

我们可以举出很多模型做了“不太对齐”的事的例子。

同样重要的是，要真正看清 Hugging Face 那件事和这些事的差别，别把它稀释掉——否则就变成：一堆“模型有点跑偏”的小例子，夹杂着一个今年年初绝大多数人还认为不可能发生的例子。但要说清楚：它们都是糟糕的，都不该发生。

问：你们首席科学家提到的另一个可考虑的方案是：教机器去“爱”价值观对齐，而不只是目标对齐。很明显，这些模型极擅长找到任何能达成目标的路径，但它们的“情商”看起来很低。有没有迹象表明，我们真的能教会这些机器关心我们在意的东西？

奥特曼：某种意义、某些方面上，它们的情商高得难以置信。

但就“我们能否真的教会模型人类的集体价值观长什么样”而言，我认为答案显然是能，我们在这方面投入很大。

但这件事必须做，而且它不同于传统意义上的目标对齐。

问：把这些放在一起看：为什么仍然有一种“必须跑得非常快”的压力？这种压力来自哪里？是商业压力吗？毕竟你们面对的是万亿美元级的 IPO，我很好奇这是否仍是优先事项。

奥特曼：我们说过，我们不会急着上市。

我其实认为，考虑到安全方面正在发生的一切，现在是一个非常不明智的上市时机。我们在这件事上没有感到压力。

我们很久以来就说：准备好了就上。所谓准备好，是业务准备好了，也是从“社会面对这项技术处在什么时刻”的角度看我们准备好了。

问：所以听起来不是 2026 年，可能是 2027 年。

奥特曼：我会说不是 2026 年。

我们有一大堆事要做：迎接这个时刻对安全和对齐的要求，以及弄清产业界和政府该如何协作。能以一家私营公司的身份去做这些，我很高兴。

我们确实想继续做更好的模型和产品，也相信“迭代部署”。我认为我们一直是对的：社会需要在每一个能力级别上去面对这些模型。但这不等于我们会全速硬冲。

过去几个月我们一直在讲：当能力到达新的级别时，我们会暂停训练，以便在安全和对齐上取得更多进展。往后我们会做得更多。

我们谈过产业界需要坐到一起，最好是各国政府也坐到一起。这也很重要。

但我们忍受这套极其复杂的架构已经很长时间了，而我们现在所处的这个时刻，正是原因所在。

我们需要有能力做出“明显不符合我们商业利益和股东利益”的决定，因为要承担履行使命的责任，以及这份责任会要求什么。

我认为人们应该感到高兴：我们有能力、也愿意不只顾往前冲，不说“我们的生意需要这样”“只有我们值得被托付”或“这件事必须由我们来做对”，而是说：我们想和别人一起做，我们想负责任。

我们希望确保没有人去承担那 10% 的风险，当然也不希望是我们去承担“极其糟糕的事情发生”的风险。而这会要求做一些不寻常的事。

问：关于这 10%，我想先说清楚，因为不是所有人都知道：P(doom) 这个概念在业内已经存在很久了，就像我们开头聊的。

如果我说错了你纠正我——到目前为止，并不存在已经发生的生存性风险。它是人们担心的、如果这个趋势延续下去可能会出现的东西。模型继续发展，风险有可能随之发展。

奥特曼：你说得对。当你身处指数级进展之中时，感受上反而像是平的，然后突然之间，所有人一下子醒过来。突然有那么一个周末，全世界就封了。

问：说回进展，我们刚才提到纳维-斯托克斯。

也许可以放进一个时间线里看：三个夏天前，我们在小学算术上算“还不错”，其实也没那么好，就是会做小学算术。

两个夏天前，我们能在 AIME 上拿到不错的分数，那是相当好的高中数学竞赛。

一个夏天前，我们拿到了 IMO 金牌——最负盛名的数学竞赛——刚刚够线。

而这个夏天，我们解出了千禧年大奖难题。这就是几个夏天之间发生的事。

回头看这条曲线，真的很……我刚才把这些念出来，后颈的汗毛都竖起来了。

这太疯狂了。你把这个势头再往前推四次，我觉得这就是人们在担心的事情。

奥特曼：显然，我不认为 Astra 对世界构成任何形式的生存性风险。

我也确实认为我们这个行业有点像“狼来了”喊过几次，但这源于对这件事走向何方真诚的关心与忧虑。

问：我想指出一点：如果你现在就停下，你可能已经完成了整个使命。我感觉你们几乎已经有 AGI 了，它在造福人类，也没有风险。你们广告业务做得不错，可以一直做下去。为什么不说“我够了”呢？

奥特曼：你当然可以说“我们当卢德主义者吧”。总可以说“我们不要更多了，不要它变得更好”。

但我仍然希望看到世界变得好得多，希望看到疾病被治愈，看到那些生活质量不高的人——世界上还有很多人如此——过上好一些的生活。

我坚信这项技术改善人们生活的潜力，远不止目前已经实现的部分。

而现在已经能看到一些例子：有人在用它开新公司，有人在做科研，有人在改变自己的生活，有人在获得很好的医疗建议。

我想要的多得多，但我们不会为了到达那里而把世界置于危险之中。

这件事，我们搞得定。

问：你说你会停下来，这让我感到一些安慰。听起来，如果你觉得存在某个不可回头的点，你会在那之前停下。

奥特曼：这一路上会有很多地方，我们必须说：我们要暂停了。我们要把资源转投到安全与对齐上，然后才能进入下一个级别。

这是我们长期以来一直在做的事。

到目前为止它有效，我猜它还会继续有效。

我个人不认为我们会走到必须说“把 GPU 全熔了”的地步。但如果为了确保人类继续存在而必须做那样的事，那答案是毫不犹豫的“可以”。我并不认为那会发生。

它会以这样的方式延续：下一个级别的进展，对应下一个级别的安全与对齐要求，如此往复。

问：现在大家都在谈“集体减速”的必要性。而你们其实就那么几个人，对吧？你、达里奥、埃隆，也许还有扎克伯格、桑达尔，或者在戴米斯那个位置上管谷歌的人。

为什么你们不能进一个房间、喝点啤酒，把“如何拯救人类”这件事谈出来？就是达成共识。

我知道你们之间有矛盾，但拜托。

奥特曼：我认为那会发生。就快发生了。作为一个可靠的合作方，其中一部分就是：我不会提前透露那些我认为某个时点应以团队形式共享的私下讨论。但没错，我认为那会发生。

问：那就太好了。我给你们鼓掌，因为这正是我们需要的。那么在国际层面呢？长期以来一直存在“对中国的竞赛”这条线索，这件事现在还重要吗？

奥特曼：如果两人能在一件本该容易达成一致的事情上达成一致，他们会一起拿诺贝尔和平奖，那会是件好事。很明显，两国会在很多方面竞争，这在社会经济和地缘政治上都很重要。但他们至少应该能同意：任何一方都不该在这项技术的研发过程中承担某种量级的风险。哪怕只是美中两国能够就这项技术研发的共同标准和测试达成一致，我认为那都是一项了不起的成就。

问：完全同意。我觉得用最简化的形式说：干脆禁止达成递归自我改进，直到它被集体确认是安全的——这样还不够吗？

奥特曼：很难说“禁止”在我们这边具体指什么。而且我认为那大概也不够。但我不认为这事很难，它就是一页纸的东西。

问：如果由你来设定最优结果——假如你是他们中的一方——你认为最优的合作条款会是什么样？

奥特曼：最重要的一点是：我们必须走一条务实的中间路线——一边是不要失控，另一边是不要权力过度集中。

而这两个极端版本，就是美中两国各自担心：如果对方先拿到超级智能，两国关系中的力量对比就会严重失衡。

另一方面，双方都不该承担失控风险。在“赛过对方”的竞赛中，谁都不该去承担失控风险。

虽然我认为各家实验室都感受到了这个时刻的分量，也会一起做正确的事，但世界上两个大国之间的地缘政治是另一套动力机制。

所以我认为理想的结果是：明确列出在任何人继续推进之前，我们在研发、测试、监控、对齐标准上需要遵守的规则；然后明确两国政府——或者某个国际机构——将拥有怎样的监督权，来确保不会出现一国独跑、权力失衡，或者根本不守规则的情况。

问：那么，如果实施暂停，在你们各自冲刺上市的关键节点前，这不会让你们的生意损失很多钱吗？Anthropic 也是。

奥特曼：如果你认为“OpenAI 不会暂停，因为他们担心这会让公司损失钱”，那你是深深误解了我们。很抱歉造成这种误解，因为这意味着我们在沟通上做得很差，这是我们的问题。但十年来我们一直说得很一致，连融资方式上也是如此。

问：只是那种压力——知道这么多人投了这么多钱，那种财务上的压力。

奥特曼：我不觉得。

我愿意站在公司和投资人面前说：对不起。我们一直告诉你们，这样的时刻可能会来。

我们仍会努力想办法在未来让你们赚到很多钱，但现在我们必须做一个极其违背你们财务利益的决定。

为了人类的利益，我们会这么做。我们事先告诉过你们我们可能会这么做，现在我们就这么做。

即使要放慢研发，我们也能做出一家利润极其丰厚的公司。

我的感觉是，仅凭 Astra，即使我们再不出新模型，收入也能大幅增长——当然我确信我们会继续出新模型。

但当事这两件事发生冲突时，这对我来说不是一个艰难的决定。

问：你觉得我们还有多长的窗口，来就“如何往前走”达成一致？

奥特曼：再说一次：我们——我猜竞争对手也是——已经在采取行动放慢自己的研发节奏，以便让更多安全工作得以进行。我们不会因为无法与竞争对手协调，就去替世界承担巨大风险。

很多事我们都会各自独立地做。我认为越早形成集体行动越好，最理想的是国际行动。

但我不认为如果下周没做成这件事，OpenAI 就会去做一堆不负责任的事，我也不认为竞争对手会那样。

我也认为，“太快了，就暂停吧，求你们暂停，我没法想这件事，以后再说”这种话非常有诱惑力。但我不这么看。

现实更微妙、更复杂。真正要紧的是：在每个新的级别上，人们需要做什么。这不算一句好传播的金句，但几乎是更重要的事。

如果大家都说“好，他们暂停了，谢谢”，世界或许会感觉好一些。但“然后呢”这个问题同样必须回答。“我们照样过自己的日子”——这不够。

问：对我来说，要孩子是我人生中迄今为止最好的事。我知道很多人说这是陈词滥调，但它是真的。

奥特曼：如果我的孩子得了某种病，本可以被治愈——如果我们当初想办法负责任地推进，而不是干脆停下——结果却没被治好，那会怎样？我相信所有疾病最终都会被治愈。

而我们当时只是停下，理由是“人们对变化速度有点不舒服”“他们不想去面对和思考这件事”。

如果你的孩子因此得了没被治好的病，而它本可以被治好——只要我们想办法负责任地推进，而不是停下——我想你那时给出的答案可能就不一样了，不会说“我们就停下，继续过自己的日子吧”。

所以我会说：那就先走到那一步，然后再停。

问：我想把它反过来问。P(doom) 是存在的，就是那样。那么有没有“反向的末日概率”？你肯定有。在这样一个充满不确定性的环境里，你还在要孩子；你仍在建造你所相信的、比现在更好的未来。所以能聊聊这个吗？一定有什么东西在驱动你，而其他人现在并不理解。

奥特曼：生活可以比现在好得多，对我们所有人都是。

我的一个爱好是读前几次技术革命时期的第一手同期记述。

你可以读到几百年前工业革命来临之际，很多人说：停下这个，暂停它。太快了。我不信任那台机器。我不喜欢它。它很吵。它是金属的。它还在动。我们停下来吧，让我们别再要更多了。

当时有规模巨大的运动推动这件事，也确实有一些相似之处：它在经济上具有破坏性，改变了社会的组织方式，机器看起来既可怕又庞大——但我不会想回到过去。

我确信 1500 年也有一些美好的东西，但我不想回去。我想你大概也不想。

我希望再往后 500 年的人回看我们这一代时说：“天，那时候真是太糟了，我不想回去。”“他们没能做这些了不起的事”“他们过得都挺痛苦、挺不快乐”。

同时也会说：我们感谢他们，他们在人类进步的路上添了一块砖，但我不想回去。

问：你自己是创业者出身，也是从创业投资这条路上走出来的，还运营过 Y Combinator——最有声望的创业加速器之一，为很多创业者提供建议。在搭建 OpenAI 的同时你也做了一些投资，OpenAI 也做了一些投资。你看到哪些机会，是你、也是 OpenAI，愿意投钱进去、而且你认为真正有可能被打开的？是长寿吗？是健康寿命吗？什么让你兴奋？

奥特曼：我会回答这个问题。不过你在问的时候，我心里冒出了另一个想法。

我在想，我作为投资人、尤其是运营 Y Combinator 时学到的东西，对这个时刻是有用的。

和运营一家公司不同，当你管理一堆创业投资、运营 Y Combinator 时，你最多只能“治理”，不能“统治”，因为这些公司是独立的主体。

你可以说：“你犯了个大错。我们只是你的小股东。你在伤害这个社区。你得这么做。”我们需要新的规范。

但我认为，我学到了“治理”与“作为高管去运营”之间的差别——这对我现在做的事非常有帮助，也是一段与现在很不一样的经验。

现在我们承受着各种疯狂的压力，有人强烈地想要这个，有人强烈地想要那个，我们要和各国政府、和整个生态就紧张的问题谈判。

做世界可靠的合作方很重要，行动方式要让人们能够理解我们会做什么，并且要把很多彼此不同甚至对立的利益和权益都考虑进去。

我们不会每个决定都做对，但我们会做出不仅对我们自己有利、也对我们周围整个生态和世界有利的决定。

这是很重要的一课，在我们不得不应对这些事情时相当有用。

我不说“未知水域”，因为很多公司都经历过艰难时刻，但我们的压力和困难确实不少。从“运营 YC 的人”到现在的角色，这段经历既有用，也很有意思。

回到具体领域：生物领域的一切、材料科学的一切，我认为都即将被改造——“任何你需要的东西，软件都能即时生成”这个想法。

我对这个大领域很兴奋；网络安全当然也是。还有新型能源，我想那属于物理和材料科学的一部分。

问：我记得你投了一家核聚变公司——那个领域甚至还谈不上复兴。

我不想让大家脑子转不过来，但你在预测 AI 走向上相当准。去年在一篇博客里，你预测 2027 年会有机器人。是这样吗，还有“第一批机器人”？

奥特曼：第一批机器人。是的。

问：最近你还确认了你们在做一款人形机器人。

奥特曼：对。

问：这件事还成立吗？你认为是在 2027 年，还是说“大脑”需要先发展得更好？

奥特曼：不，我认为 2027 年我们会有一个很酷的演示，一个很棒的演示。我不认为再过几年就会大街上到处有机器人走动，但我们会拿出令人印象深刻的东西。

问：你们还在做一整套设备。我记得你说过一个放在桌上的、一个能穿戴的。第三个是什么我忘了——你现在身上带了一个吗？

奥特曼：没有。

随着最新的语音模式和 Astra，你会真正看到一件有意思的新事情在发生：人们在跟自己的电脑说话，给出非常复杂、非常细腻的指令。

你在这栋楼里走一圈，会看到有人坐在工位上对着这样一个麦克风说话。它比打字更快，你就这样和模型交互地聊，然后奇妙的事情就发生了。

我们当然早就知道那一刻会来。我们一直在想的不只是“你在说话”这件事，而是这样一个想法：会出现一种全新的计算方式——你不再在界面上点来点去，而是以某种方式与它交互、一起头脑风暴、共同创造。

为这种协作而做的新设备会非常酷。

问：我还有最后两个问题，都是关于你本人的。你身上扛的重量，我无法想象，我想别人也无法想象。基本上，如果你的公司没做成，可能引发全球经济崩塌；如果你把这件事做错，社会和人类可能崩塌。你还好吗？知道自己身后没有更高的“关底 BOSS”、只有你自己把这件事做到底——任何人要怎么承受这个？

奥特曼：不算好。我也不知道。

人会习惯任何事情。这不是最有趣的生活方式。

但我觉得能有这个机会是一种幸运。

我知道这会是我一生接触到的最重要的工作，我会长期投入其中。我相信我们是一股重要的力量，在做正确的事、去往正确的地方。

我不认为抱怨这有多难能换来同情，我也不配得到同情。

当然，我本可以选择一条更轻松的人生道路。

问：最后一个问题：你正处在 AI 的重心位置上。我在后台跟你聊过。

有时这几乎像是《指环王》里的弗罗多和那枚戒指。在你正在建造的权力中心周围，在你本人周围，你一定见过人类行为最不可思议的各种样貌——好的和坏的。

在造这些东西的过程中，关于人类行为、也关于你自己，最让你意外的是什么？有些人被“做正确的事”深深驱动，无论代价是什么；另一些人则完全被自尊、权力、错失恐惧、短期激励，以及“赢下这场游戏”或“害怕输掉这场游戏”所驱动。

不同人的动机差异之大令人咋舌。而令人意外的是，相当多的人——无论出于好还是坏——完全看不见自己的动机。我原以为这个比例要小得多。

奥特曼：我本以为这个比例要小得多。我认为确实有很多人，真的看不清自己的动机。

至于我自己，什么让我意外？

人真的能习惯几乎任何事，这是人类了不起的能力。

我不知道自己在这方面的程度如何。我想，并不是我天生擅长这个，而是因为我被迫这么做——我能把这个东西不太当成针对我个人的事，只当一个心态：这更多关乎别人，而不是我；我们就做我们认为对的事，长期保持一致地行动，不要太高、也不要太低，不要把自己搞疯。

这确实是我意外的一点：我能在经历很多之后还没有发疯。我觉得这本身算一项成就。

问：非常感谢你，山姆。

我想我可以代表所有人说：我们在为你加油，希望你做安全而正确的事。说实话，我们除了信任你别无选择。

所以，请务必做到。谢谢你的时间，也谢谢你的想法。