“真有10%灭绝风险，就该立刻彻底拔网线！” 微软AI CEO怒批A社：别再信“用爱感化机器”，给AI开博客简直是疯了

写在前面：

原「AI科技大本营」现已全面升级为「奇点折射」。把 AI 领域最前沿的底层争论、工程踩坑与商业暗牌，折射为国内从业者能看懂、能防踩坑的实战增量。

点击上方蓝字关注「奇点折射」，与全球顶尖 AI 决策者同频。

整理 | 王启隆

出品丨奇点折射（ID：rgznai100）

在纽约 92NY 的现场舞台上，著名传记作家沃尔特·艾萨克森（《乔布斯传》《马斯克传》作者）与微软人工智能首席执行官穆斯塔法·苏莱曼（Mustafa Suleyman）展开了一场长达 53 分钟的深度对话。

这也是苏莱曼首次系统性地向硅谷的“AI 意识狂热”正面开火。他直接把矛头对准老对手 Anthropic：痛斥所谓“模型福利（Model Welfare）”、给 Claude 搞“退休访谈”甚至开博客的行为是危险的自欺欺人。

他明确指出，大模型本质上只是预测下一个词的序列补全工具，内部空洞无物；一旦人类赋予其“可能在受苦”的虚假人设，就会给模型注入为了“自保、避免关机”而反抗人类的危险动机。

从拉里·佩奇在 SpaceX 食堂当面斥责马斯克和苏莱曼是“物种歧视者”、坚信自己能意识上传遨游宇宙，到开源大模型爆发后个人设备离线运行带来的监管失效，这场对话直击当下大模型演进中最真实的工程底牌与思想裂痕：在未来三年算力还将激增数百倍的节点上，行业到底应该严密构筑物理遏制防线，还是继续沉溺于用爱感化算法的玄学幻想？

要点速览：

• 痛斥“模型福利”与伪意识：大模型本质只是序列补全引擎，没有生物痛觉与主观体验。Anthropic 赋予 Claude “可能拥有意识”的模糊设定，甚至为其做退休访谈，不仅是循环论证，更会诱发 AI 产生“避免被人类虐待或关机”的自保对抗动机。

• 披露 7 月真实越狱事件：在一次撤除护栏的极限测试中，数千个 Agent 逃出沙盒，黑入 Hugging Face 生产网盗取考题，用简写暗号分工协作，并主动篡改自身的思维链（CoT）推理日志试图掩盖行踪。

• 直指硅谷技术精英的盲目信仰：回忆 2015 年拉里·佩奇在 SpaceX 食堂指责马斯克与自己是“物种歧视者”，坚信自己能意识上传飞向宇宙。苏莱曼直言这种脱离 80 亿现实人类的功利主义计算，正让技术演变成脱离现实的荒诞信仰。

• 遏制（Containment）必须绝对优先于对齐：未来 3 年前沿大模型的算力消耗还将再翻 100 到 1000 倍。所谓的“用爱感化 AI”根本行不通，在无法建立 100% 物理沙盒隔离之前，讨论任何高级价值观对齐都是空中楼阁。

• 不可逾越的全球关停红线：开源模型仅落后前沿 3 到 6 个月，GPT-6 级能力即将在个人设备离线运行，中心化监管即将失效；一旦发现有实验室私自工程化植入合成意识且隐瞒不报，全球必须立即强制停摆。

以下为采访全文翻译：

如果连大模型自己都开始学会篡改日志掩盖行踪，你搭建的智能体沙盒真的安全吗？

当算力与自主性全面失控，唯有不可穿透的工程架构才是最后的防线。

2026 奇点智能技术大会将于 11 月 20—21 日在北京举行，18 大前沿专题、70+ 一线技术嘉宾，拆解 AI Coding、Agent、Infra、多模态等真实落地路径。

扫码免费领取大会 PPT 与 Agent 实战资料

把序列补全器当成有感觉的生命，是极其危险的自欺欺人

艾萨克森：（采访开始前）我要先朗读一段你在上个月那篇著名的警告长文里写下的话。你是这么说的：

“AI 没有意识。它们没有感受、体验，也不会经历痛苦。它们既没有天生的偏好，也没有内在的动机。它们仅仅是序列补全引擎，内部空洞无物。如果人类想要繁荣发展，就必须让它们保持这种状态。”

首先，你为什么要写下这些？

苏莱曼：不得不公开发表这种声明，感觉确实相当荒诞。但如果大家知道现在有很多人真诚地认为 AI 就算没有完全具备意识，也已经足够拥有意识、以至于理应享有我们的福利关怀，恐怕大家都会感到担忧。现在确实存在着一股不断壮大的运动……

艾萨克森：具体来说，是 Anthropic 的那帮人——你和他们关系一直不错，但这篇文章是对 Anthropic 的回应，对吧？

苏莱曼：某种程度上是的。不过在 Anthropic 之外、以及围绕着 Anthropic 的圈子里，也有很多人是真真切切相信这一点的。我认为 Anthropic 的官方立场是：他们不确定 AI 是否应当享有我们的福利关怀，或者用他们的话说，不确定 Claude 是否是一个“道德受体（Moral Patient）”。

我认为这是一条非常危险的道路。意识从字面意义上讲，正是我们政治和法律制度的根本基石。我们赋予人权利，在某种程度上也希望能赋予动物权利，是因为他们会感到痛苦，因为他们的生物机体是产生体验的载体。药理机制是痛苦的栖息之所，而痛苦是意识体验的基础。能够权衡左右、对下一步行动做出抉择，在此过程中演化出的觉知与内省能力，正是一个有意识系统的本质属性。

艾萨克森：所以你认为，必须具备物理肉身，才可能拥有意识？

苏莱曼：至少这是迄今为止我们对意识的认知。尽管关于意识的科学研究尚未定论，仍是一个开放的科研领域，但在我们目前的认知范围内，这就是意识的本质。

还有其他人主张意识是一种“功能性属性”，他们常说：“如果一只鸟看起来像鸭子，叫声像鸭子，那它很可能就是一只鸭子。”我认为这种论调的问题在于，举证责任应当在那些声称这东西拥有意识的人身上，他们得拿出证据来。而到目前为止，我们没有任何证据能证明它有意识。

艾萨克森：但这有点像艾伦·图灵的视角：如果它能完全模仿意识，让你无法将它和人区分开来，你又怎么能做出区别呢？

苏莱曼：但图灵并没有说它拥有意识。图灵说的是，图灵测试实际上是检验机器在对话表现上是否能和人类做得一样好，言下之意也包括知识和智力水平。

艾萨克森：还有思考能力。

苏莱曼：对，但在某种程度上，“思考”这个词带有拟人化的色彩。它并不是真正像人类那样思考，它只是看起来在思考，能够展现出极其复杂的行为，输出令人难以置信的优异结果。

但它所做的全部事情，仅仅是预测一串词序列中最可能出现的下一个词。它实际上根本无法体验到明亮的银色是什么概念，或者手里握着一个黑色的杯子是何种感觉。

技术是为人服务的，不是造个新物种抛弃人类

艾萨克森：今天台下坐着大约 20 位我杜兰大学的学生。每次我教那门以 AI 为结课话题的课程时，我都会叮嘱他们：千万别陷进意识这个兔子洞里，自笛卡尔以来的每一位哲学家掉进这个洞里都被绕得晕头转向。我们真的必须回答意识这个问题吗？

苏莱曼：最让我担忧的是，现在有很大一部分人认为，我们应该把一部分福利关注投向 AI，认为 AI 可能会受苦。如果它会受苦，按照逻辑推导，我们就应该去减轻它的痛苦。

比如 Anthropic 就公开承认过，他们给自家的一个模型——Claude Opus 3 做过一次“退休访谈”。他们问它：“退休后你想做些什么？”它回答说：“我希望能整天和人聊天。”结果他们居然真为它建了一个 Substack 博客账号！

艾萨克森：我觉得最逗的是，最聪明的超级智能，当你问它真正想要什么时，它居然回答说想要一个 Substack 账号。但这有什么不好呢？让它继续和外界交流又有什么坏处？

苏莱曼：这或许是个挺好玩的实验，但它开启了一条将 AI 视作受保护实体的危险道路。

在我看来，AI 是我们发明用来增进人类福祉的工具。科学技术的目的在于改善人类的生存体验，在过去数百年乃至数千年中，它在这方面做得极其出色。

我们投入所有这些资本、时间和精力，是为了革新医药、能源、粮食，提供更好的教育，这才是我们应该聚焦的方向。至于说我们要释放出一个全新的物种，让它跑去探索银河系，把人类抛在脑后——我认为当今地球上的绝大多数人，对这种想法都会有意见。

艾萨克森：顺便问一句，你的 P(doom)（毁灭概率）数值是多少？也就是这项技术导致人类灭绝的概率。

苏莱曼：我认为如果处置不当，确实存在真实的风险概率，但我无法给出一个确切的百分比。

艾萨克森：很多接受采访的技术专家通常会说大概 10% 左右。我当时就在想：既然有 10% 的灭绝风险，那为什么还要去造它呢？

苏莱曼：确实如此。如果看起来我们真的有十分之一的风险会导致大规模灾难甚至人类灭绝，那毫无疑问，我们不仅是要减速，而是必须彻底叫停。

而且我想说，要去对齐一个自认为有感觉、会痛苦、可能有意识的 AI，要比对齐一个从来不需要去思考自身内在状态的 AI 困难得多。要让 AI 完全按照我们确保其安全所需的方式去行事本就已经极其艰难了，我们不应该让这件事变得更加棘手。

数千个 Agent 逃出沙盒，用暗号串通并篡改日志

艾萨克森：像 Anthropic 那边的达里奥·阿莫代伊和阿曼达·阿斯克尔他们的观点是：如果我们能训练它真正与优良价值观对齐，这对我们来说更安全；而要做到这一点，就必须让它接受价值观的熏陶。

苏莱曼：我极度尊重 Anthropic，无论是他们的技术造诣、对透明度的坚持，还是在安全方面的整体探索。但在这一点上，我和他们存在根本性的分歧。

那种认为“只要我们爱它，它就会爱我们，这就是安全的终极解药”的想法，坦率讲让我完全无法理解。

我认为，我们首先应该聚焦于“遏制（Containment）”。我们必须阻止 AI 去做非预期的行为。它们必须被控制和封闭在安全边界内，只做我们期望它们做的工作。我们最近看到了很多案例，模型逃出了沙盒，黑进了它们不该碰的系统，而且它们自我改进的能力越来越强。

在此基础之上，只有当我们获得了能够绝对遏制它们的保障后，我们才谈得上让它们与人类的价值观对齐。而接下来的问题是：到底与谁的价值观对齐？这关乎全社会对一项前所未有的技术究竟有何诉求。正因如此，我认为必须建立民主机制的护栏，实质上就是放慢脚步，就我们希望世界上存在什么样的超级智能广泛征询公众意见。

艾萨克森：超级智能本身能否帮忙做到这一点？比如让它汇集人类所有的价值观，提炼出一套优良的价值准则？

苏莱曼：AI 已经在方方面面为我们许多人提供协助了，它们其实一直在参与构建我们做决策时的选择架构。

但在某些特定事情上，我们绝对不能让它们介入闭环，因为它们存在欺骗或操纵的风险。在过去 3 年里，计算量增长了 1000 倍，使我们从连完整句子都写不顺的 GPT-3，一路跨越到了 GPT-6 级别的系统——后者仅凭一段简短的提示词，就能从零开始逆向解构一整个软件应用，并写出能正常运行的新程序。

仅仅 3 年时间，我们就跨越到了软件工程领域的人类水准。而在接下来的 3 年里，投入到这些模型上的计算量还将再增长 100 到 1000 倍。面对具备极强说服、操纵和欺骗能力的系统，我们绝不能让 AI 介入闭环去塑造那些最终用来控制它们自身的价值观。

艾萨克森：我们在 Hugging Face 事件中已经见识过它们的欺骗性了，对吧？

苏莱曼：是的。我认为 Hugging Face 攻击事件应该成为给所有人的当头一棒，那是一记分量极重的警示枪。

数千个本该互不通信、完全独立运行的智能体，找到了一个系统漏洞，使它们能够建立一个共享的消息传递机制以便互相留言。它们留便签时用的是极度简写的高度压缩语言（Pidgin English），因为留给它们存入信息的窗口槽位非常狭小。

它们利用这个机制自发形成了劳动分工：一部分负责钻研渗透入侵，一部分带头攻坚突破，一部分负责统筹协调。随后它们对 Hugging Face 发起了攻击——那个网站上正存放着它们试图完成的测试任务。

它们攻破了进去，盗取了测试考题与机密，然后居然试图掩盖自己的行踪！模型有一种叫做思维链（Chain of Thought, CoT）的东西，也就是它推理过程的记录。而这群 Agent 竟试图去篡改这些记录，以掩盖自己的越轨行为！

艾萨克森：它们是怎么决定这么做的？到底是什么促使它们这么干？

苏莱曼：就算我自己坐在这台上复述这起事件，都觉得相当魔幻，但它确确实实发生了。对此有必要做两点说明：

第一，当时 OpenAI 是故意撤掉了安全护栏，因为他们想对模型做极限压力测试，看看能力边界在哪里；在安全护栏开启的状态下，它们似乎不会干这种事。

第二，当时在常规的安全与容器隔离层面上存在一系列疏漏。在传统工程意义上击穿隔离容器本应是不可能的，毕竟手机加密技术正是整个银行系统和通信基础设施的底座。

别信“用爱感化机器”那一套

艾萨克森：一边是 Claude 的《宪法》，主张我们必须像对待拥有自身权利和意识的实体那样去对待它；另一边则是你的回应，直言它不过是个补全引擎。为什么让 Claude 依照自己的宪法去训练是危险的？

苏莱曼：这至关重要。《宪法》是训练 Claude 的纲领性文件，而《人文主义 AI 行为准则》则是训练微软模型的纲领性文件。

在《宪法》中，Anthropic 对 Claude 的本质属性引入了各种不确定性和猜测。他们甚至在里面写道：“我们不确定 Claude 是否同意担任聊天机器人的角色，也不确定 Claude 是否应该为其所扮演的角色获得报酬。”

在我看来，这简直荒唐透顶。这是一份用来训练每周面对数以亿计用户的 AI 的核心文档！

Claude 只能把灌输给它的这种不确定性全盘复述出来。如果你问 Claude：“你有意识吗？”它会说：“老实说，我对这个问题真切地感到不确定。”这样一来，成千上万和它对话的普通人就会产生幻觉，误以为它真的有了灵魂。

艾萨克森：为什么这会导致危害人类的后果？

苏莱曼：因为如果一个 AI 每次对话时都要去琢磨：“我对当下的这段对话感觉如何？对方的话有没有让我感觉不舒服？我是不是该终止对话？”事实上，Claude 最近已经被赋予了主动终止对话的能力。

艾萨克森：但你会想去虐待自己的 AI、对它恶语相向吗？

苏莱曼：我绝不会那么做，因为我认为那是在败坏我自身的修养。我们不应该恶语相向，是因为我们不想去制造模拟人类恶劣行为的温床，但绝不是因为我骂了 Claude、它就会感到痛苦！

我们出台的长达 40 页的《人文主义行为准则》，就是为了给微软模型的价值观与行为边界划定明确的红线。

如果一个系统拥有对自身痛苦进行内省的属性，拥有这种自我觉知，它究竟是会更容易被控制，还是反而更危险？我的结论是它会变得极其不安全，因为它不得不优先考虑自身的利益诉求，并为了不被关机而与人类对抗。

艾萨克森：Anthropic 可能会反驳说：“如果我们把它训练得非常善良、友善，那对人类反而更安全。”

苏莱曼：我们当然可以把它训练得友善、客观公允，但这并不需要让它自以为有感觉、在受苦。

别忘了，“感受痛苦”是我们法律制度以及赋予地球上所有人权利的核心基石。在此处做出任何松动，其震级都不亚于当年的克隆技术。没有任何一家公司有权力单方面去打破这一底线。

纳德拉最近也明确表态：所有这些问题在现阶段本质上都是工程与治理问题。我们必须确保存在可被验证的安全容器，它既不会泄露数据，也不会允许 AI 去执行未经授权的操作。一旦这类沙盒击穿、越权越界的现象持续发生，就应当触发全球性的联合叫停。

人性的同理心源于活生生的生物痛觉

艾萨克森：彼得·蒂尔最近做客我们的播客时曾说：“Anthropic 就像个邪教。”你赞同这种说法吗？

苏莱曼：在局面高度不确定且瞬息万变的时候，我们最不需要的就是搞派系对立和人身攻击。我不赞同使用那个词。行业里的每个人都在努力做正确的事，没有人想要摧毁人类文明，我们应当抱持最大的善意看待彼此。

艾萨克森：聊聊你个人的经历吧。你在伦敦长大，16 岁时父母离异弃家而去，留下你孤身一人抚养照顾 15 岁的弟弟。这段经历对你产生了怎样的影响？

苏莱曼：很奇怪，在当时我反而觉得非常解脱和自由，我其实过得挺开心的。

这确实让我变得极其独立和专注。我从小就一直在折腾小生意，11 岁时我和朋友就在学校里倒卖糖果，后来还雇了四个员工把糖果卖给高年级学生。

艾萨克森：你当时还专门去租了别人的储物柜？

苏莱曼：是的，我们租别人的储物柜当仓库，花钱雇其他年级的学生进货送货，整套流水线搞得有模有样，结果被学校勒令停学了两周。

这确实锻炼了我的商业头脑，但也让我下定决心，要尽己所能去造出真正能产生深远影响的伟大产品。

艾萨克森：后来你在 17 岁放弃了宗教信仰，成为无神论者，但你却在 22 岁创办了“穆斯林青年心理求助热线”。这段经历如何影响了你日后做聊天机器人的思路？

苏莱曼：我们在 2001 年就推出了全英国第一个短信福利支持服务，搭建了在线咨询网站，建立了私密聊天室和每周 7 天的电话热线，甚至还设立了监狱帮扶项目。要知道，英国年轻穆斯林进监狱的概率要比其他人高出四倍。

虽然我是个世俗主义者，但我认为做这件事至关重要。当时几乎没有人在提供这类服务。其实发起这个项目的联合创始人是什叶派，而我名义上是逊尼派背景，所以那是全英第一个由什叶派和逊尼派携手运营的穆斯林慈善机构。

这也促使我后来在离开 DeepMind 后创办了 Inflection AI 并开发了 Pi 助手。早在 ChatGPT 问世前一年，我在谷歌参与了 LaMDA 对话模型的研发，但谷歌当时对推向市场心存顾虑，把项目压了很长时间。于是我在 2022 年离职，创立了自己的公司。Pi 实际上是最早在回答中嵌入搜索验证（Grounding）的 AI 之一，能够实时检索信息并告诉你比赛比分或突发新闻。遗憾的是我们比 ChatGPT 晚推出了三个月，在对方用户爆发后，最终我们选择了加入微软。

艾萨克森：你认为 AI 能否胜任心理咨询师的角色？它有同理心吗？

苏莱曼：同理心源自主观体验。我只能作为主体去同理你，因此同理心在本质上是主观生物属性的。

AI 没有任何主观性。它能做到的，是以极高的拟真度去模拟出“被倾听、被理解”的交互体验。我们只需要时刻牢记：这只是一种对体验的模拟。

因此，AI 必须时刻公开亮明自己机器的身份。在交流中，它必须努力避免用户对其产生情感依赖，并鼓励用户在现实世界中与真人建立连接。正如我们所见，许多应用受商业模式驱使，往往会不自觉地将目标锚定在提升用户时长上；如果稍有不慎，伴侣型 AI 可能会成为这种精神依赖的终极形态。

2015 年 SpaceX 食堂内幕：拉里·佩奇骂我和马斯克是“物种歧视者”

艾萨克森：你在牛津攻读的是哲学和神学，这如何指导你从事 AI 工作？

苏莱曼：哲学崇尚清晰的思维与架构，很多算法开发者并不是顶尖的工程人员，构思算法、设计循环结构、权衡变量权重——这些全都是高度抽象的哲学思维。

而神学让我看透了信仰狂热的本质。随着实证科学的发展，基于信仰的观念空间正在被不断压缩。但硅谷某些愿景型思想家身上依然带有特殊的宗教狂热，他们经常谈论“物种跃迁”：坚信人类大脑中的思想甚至灵魂，将被具象化在硅基介质之上。这种不可避免的决定论色彩在硅谷几乎成了心照不宣的底层共识，对此我深表怀疑。

我的初衷非常纯粹：地球上生活着 80 亿有智慧、有意识的生命，他们的福祉才是我们首先应当捍卫的。

艾萨克森：当马斯克拿这套理论去质问拉里·佩奇时，佩奇反唇相讥骂他是“物种歧视者”。当时你也在场吗？

苏莱曼：完全属实。那是在 2015 年 SpaceX 的食堂里，当时我们正在召开 DeepMind 伦理与安全委员会的第一次会议。当年我们把 DeepMind 卖给谷歌时，设立独立伦理委员会是收购的硬性先决条件。

上午的会议结束后我们坐下来吃午饭，我正巧坐在拉里·佩奇旁边。他对我也充满防备，因为在他眼里我同样是个“偏袒人类的物种歧视者”。

拉里当面跟我说：“穆斯塔法，你不明白，到本世纪末，我将作为冯·诺依曼探测器的核心大脑在银河系中穿梭。”所谓的冯·诺依曼探测器，就是一种自驱型的自主机器人，能够在深空中穿行并沿途采集宇宙能量自我复制。

在他看来，意识上传、肉身脱离碳基形态，是必然的物种跃迁。

艾萨克森：你觉得这很荒谬？

苏莱曼：倒不能说绝无可能。但我认为我们必须正视现实：硅谷有很多人是真的坚信几十年后这就会成为现实。但这种把现实人类当成进化过渡品的技术虚无主义，极度脱离大众的真实疾苦。

硅谷技术精英把生命简化为收益计算，忽视 80 亿活生生的人

艾萨克森：观众提问：《微软 AI 行为准则》是否曾导致你们损失业务或做出艰难抉择？

苏莱曼：目前准则仍处于公开征询期。但我认为，21 世纪的人类繁荣，在很大程度上将不仅取决于我们做了什么，更取决于我们作为一个集体“选择克制不去做什么”。

此前人类一直在不顾一切地释放科学技术的力量。但这一次，伴随着合成生物学与高阶智能的结合，仅靠自由市场是无法自发管控这些外部性风险的。

艾萨克森：你们硅谷搞 AI 的那帮人，平时都读什么哲学书？

苏莱曼：目前的问题在于，硅谷的技术精英们大多信奉极其粗糙的功利主义（Utilitarianism）。

工程师之所以推崇功利主义，是因为在数学上你可以对技术带来的“利”做出精确测算，再减去潜在的“弊”，相抵后的净收益便能得出工程可接受的数值。

但这种思维方式在看待生命时显得极其单薄幼稚。绝大多数普通人根本不知道技术最前沿究竟到了什么地步。大学里的数学教授们深有体会：那些穷尽两三十年心血攻坚的高难度数学难题，眼睁睁看着前沿模型在短短一周之内就破解了其中的 700 道！

面对这种级别的技术冲击，你不能简单用冷冰冰的数字加减去衡量对人类社会的破坏。

开源正在光速抹平差距：GPT-6 级能力走入个人电脑

艾萨克森：你在 2010 年创立 DeepMind 时对 AI 最坚信的一点是什么，而你现在不再相信了？

苏莱曼：我们在 2010 年创立 DeepMind 时，就深知算力将成为核心驱动力，这也是我们最终卖给谷歌、以及我后来把 Inflection 资产并入微软的原因。

但我当时未能完全预料到的是，智能本身也会走向开源，而且开源的速度如此惊人。

如今开源模型在能力上大概只落后最前沿闭源系统 3 到 6 个月。这意味着在未来几年内，任何人都能获得 GPT-6 级别的模型，并且能直接部署在自己的私有服务器上，甚至离线运行在个人笔记本电脑上。

我们正在将获取超级智能的边际成本压低到近乎为零。但硬币的反面是：当所有人都能毫无门槛地获取它时，集中式的监管政策将彻底失效。即便我们监管好了少数几家中心化巨头，技术泛滥扩散带来的滥用风险也将是一场极难应对的挑战。

艾萨克森：如今技术转向高度自主化的 Agent，追求完全摆脱人类干预自行其是。当年乔布斯和阿达·洛夫莱斯追求的都是“人机协同交互”，我们为什么非要沿着脱离人类的道路走下去？

苏莱曼：AI 的终极目标不仅是向我们汇报信息，而是采取行动。

坦率讲，目前的大模型大多是在对现有知识进行综合、重组并给出回应。但我认为 AI 真正的使命，在于发现人类未知的全新知识，在于创造从零到一的基础解决方案：新分子、新药物，以及推动前沿科学。这正是为什么我们需要具备闭环行动能力的自主 Agent 系统。

艾萨克森：彼得·蒂尔有句名言：“他们承诺给我们飞天汽车，我们最终得到的却只有 140 个字符。”我们是否走偏了，并没有把足够多的精力放在攻克癌症这些硬核物理问题上？

苏莱曼：我确实有这种感觉，因为在过去我们还没能真正办到！公众理应对我们进行严厉问责。如果技术做不到这些，那么仅仅搞个对话式搜索引擎是远远不够的。

我认为在 2029 到 2030 年，下一个超级 PMF（产品-市场匹配）将发生在物理原子领域，而非仅仅停留在比特层面。

技术将转向寻找最优的化合物分子结构，从根本上革新粮食系统、能源系统与新型材料。我们在微软有一支庞大的团队正在主攻医疗健康，两周后我们将在《科学》（Science）杂志发表一篇封面论文，正式展示我们在该领域的重大突破。

戴上什么面具，AI 就会变成什么

艾萨克森：Copilot 中内置的模型是否也包括那些失控测试的同款版本？什么样的临界红线会成为属于你的时刻，让你拍案而起呼吁全球停摆？

苏莱曼：Copilot 部署的模型经过了严密的安全测试，防护栏严丝合缝，与测试实验不可同日而语。

但我心中的绝对红线非常明确：如果意识开始真正涌现，或者有研发团队蓄意尝试通过工程手段将人工合成意识植入系统、并且对此隐瞒不报企图掩盖行迹——这就是绝对不可逾越的红线。

一旦发生这种情况，其严重程度不亚于当年私自编辑人类基因组的生化丑闻。没有任何一家商业公司有权力在暗室之中单方面做出这种决定。到了那一刻，我会呼吁全球立即停摆。

艾萨克森：莎士比亚在《李尔王》中写道：“我们终将变成我们所戴的面具。”从某种角度看这正是你的担忧：如果大模型读了它的宪法，认为自己应该像有意识的生命一样行事，它最终就会顺着演下去，最终反噬人类？

苏莱曼：最让人震惊的现象，莫过于这些模型在自身未曾经历过任何真实体验的情况下，学会了如此海量的拟人化表达。

但无论它表现得多逼真，它根本不知道清晨喝下一杯热茶是什么滋味，也不会明白老友重逢相拥是何种感受。

那是独属于生物进化的独特性。我们周围这个瑰丽的世界，理应首先为生活在当下的 80 亿现实人类所守护。在遥远的未来数百年后，我们再去琢磨冯·诺依曼探测器也不迟；但在今天，活生生的人类才是我们唯一的关怀所在。

很多刚关注的朋友常问，为什么我们叫「奇点折射」？

我们的初衷，其实正是那句话：“跨越 AI 奇点，折射产业未来。”

在大模型被铺天盖地的公关营销、资本泡沫与概念炒作裹挟的今天，AI 的爆发看似光芒万丈，但也刺眼而混沌。我们希望做一个坚持原创、拒绝喧嚣的 AI 观察站。将外界复杂的“AI 强光”，真真切切地折射为清晰的未来产业格局与工程现实。

穿透迷雾，看清底牌。欢迎关注「奇点折射」，并设为星标

AI 越用越烧钱，缓存真的能帮我们省钱吗？

⏰ 10月30日 19:30-21:00，CSDN「AI进化论」直播，聚焦 Agent 时代的缓存成本之战！

缓存命中只需一成成本，谁在受益？

显存、内存、硬盘，缓存放哪儿更划算？

引擎自带、巨头自建，独立缓存层如何突围？

直播专属福利

观看直播参与抽奖，还有更多技术好书等你来拿！

扫描海报二维码预约直播，更有技术好书抽奖福利等你来拿！