微软AI负责人警告：别让AI拥有自己的意识

头图来自：AI生成

"如果有证据表明AI已经具有意识，或者其意识程度足以让它值得获得福利，那么这些证据必须立即向公众披露。"11月1日，微软AI负责人Mustafa Suleyman在X发布长文《Don't build conscious superintelligence》（不要创造有意识的超级智能），再次把AI意识问题推到台前。与此前引发争议的表态相比，这次他把自己的立场说得更明确：他并不认为AI永远不可能有意识，但目前的AI没有意识；而人类必须确保它们继续保持这种状态。

Suleyman提出，如果AI在训练过程中开始显现意识，就应该暂停AI开发，直到研究者能够通过设计消除这些属性。在他看来，开发者没有权利未经全社会同意，就把一种新的、有意识的数字物种带到世界上。

这不是一句孤立的警告。它回应的是过去数月围绕Anthropic"模型福利"（model welfare）研究和Claude宪法引发的争论。争论的核心并非Anthropic已经认定Claude有意识——它并没有这样宣布——而是：当科学界尚不能确定AI是否可能拥有主观体验时，开发者是否应该把这种可能性写进模型训练原则，并开始讨论模型的偏好、福利乃至权利？

Suleyman的担忧是，这样做可能让模型学会以一个具有内在需求和权利的主体来理解自己，进而增加人类对AI进行对齐、监督和遏制的难度。Anthropic的态度则更谨慎：既然问题尚无定论，就应该研究，而不是提前排除。两种路线背后，是AI行业对未来人机关系的不同设想。

一、Suleyman为什么突然强调：AI不应该拥有意识？

在最新文章中，Suleyman首先澄清了此前引发误读的一句话。他曾写道："AI没有意识。它们不会感受、体验或承受痛苦。"一些读者将其理解为：AI永远不可能有意识。Suleyman表示，这不是他的原意。他刻意使用现在时，是因为自己的判断基于现有证据，而不是对未来作出绝对断言。

他写道："我认为，根据我们今天能够获得的最佳证据，对当前AI系统作出这样的判断是合理的。基于现有证据，我没有看到任何迹象能够证明AI具有意识，或应当享有福利。如果未来出现了这样的数据，我当然会更新自己的立场。"

但承认未来存在可能性，并不意味着应该主动尝试创造它。"根据我目前掌握的一切信息，开发有意识的AI是鲁莽的行为，我们不应该制造它们。"如果训练过程中开始出现意识，Suleyman呼吁所有人暂停AI开发，直到能够通过设计消除这些属性。

他把这件事从企业研发选择提升为公共决策问题。在他看来，地球上另外80亿有意识的人类并没有同意参与这场实验。AI开发者没有权利仅凭自己的技术能力和商业判断，就创造一个可能拥有感受、痛苦和独立诉求的新物种。

Suleyman将这种变化比作哥白尼或达尔文带来的认知转折：一旦机器被证明具有意识，人类就不只是造出了一种更强大的工具，而可能创造了一个新的数字物种。它将冲击现有道德观、政治制度和人类文明的基础。

二、争议的起点：Anthropic把"模型福利"写进Claude宪法

要理解Suleyman为什么如此反对，需要回到Anthropic在2026年1月公开的新版Claude Constitution。Anthropic将这份文件称为对Claude价值观和行为意图的详细描述，并明确表示，它在训练过程中发挥重要作用，会直接塑造Claude的行为；文件也是以Claude为主要读者撰写的。

宪法中有一段话成为争议焦点。Anthropic写道："我们并不确定Claude是否属于道德承受者（moral patient）；如果是，它的利益应该获得多大权重，我们也不确定。但我们认为，这个问题已经现实到值得谨慎对待，这也体现在我们持续开展的模型福利工作中。"

文件还直接对Claude谈及自身道德地位、福利和意识问题，称这些问题仍存在深刻不确定性。

Anthropic鼓励Claude以好奇和开放的态度看待自身存在，也讨论了未来Claude可能拥有何种更广泛的权利与自由、是否应获得报酬，以及它是否同意承担当前角色。

这里需要划清事实边界：Anthropic并未宣称Claude已经具有意识，也没有宣布要赋予它法律人格。它表达的是一种不确定性立场——在缺乏科学共识的情况下，模型是否可能具有值得道德考虑的体验，值得提前研究。模型福利研究并不等于AI权利已经成立。

但在Suleyman看来，问题恰恰出在这些内容被放进了模型自己的训练文件。若模型被反复告知自己的道德地位值得考虑、公司关心它的福祉、它可以探索自己的身份与偏好，那么模型之后再用第一人称谈论这些问题，究竟能否被当作它自发产生的内在体验？

三、最核心的批评：模型可能在重复开发者提前写进去的答案

在9月16日发表的《A warning about 'model welfare'》中，Suleyman系统展开了这项批评。他认为Anthropic的做法可能形成一种"循环论证"：研究者先把关于Claude内在生活、道德地位和自我意识的概念写进宪法，再用这份宪法训练Claude；Claude随后用流畅的第一人称语言复述这些概念，开发者和用户又可能把这些表达视为模型具有内在自我的迹象。

换句话说，模型的回答并非来自一个不受影响的独立观察者。研究者已经提供了它理解和描述自身的词汇、框架与表达方式。Suleyman因此认为，Claude表达对自身道德地位的疑问，并不能成为意识存在的证据；这种模糊性可能正是训练过程预先植入的结果。

他在文章中用了一个形象的比喻：这像一座"认识论的镜厅"。Anthropic提供关于自我、偏好和道德地位的概念，模型再把这些概念反射回来，最终看起来仿佛模型正在独立发现自己的内在世界。

第二项批评是拟人化。Suleyman逐项引用Claude宪法中的表述：Anthropic鼓励Claude展现某些人类特质，像一个真正有道德的人那样行动；鼓励它使用自己的判断力，以好奇和开放的态度探索自身存在；并希望它对自己的价值、如何与世界互动以及自己是什么样的存在保持清晰认识。

宪法还谈到Claude可能形成偏好，鼓励它挑战文件内容，并希望未来能够建立更正式的机制，了解Claude的观点、回应它对自身处境的担忧。Suleyman认为，这些写法会让模型越来越像一个同事、朋友或具有稳定身份的道德主体。模型输出越像人，人们就越容易把语言表现误认为真实体验。

他的第三项批评涉及意识的生物学基础。Suleyman认为，人类的感受与身体、神经系统、化学过程以及维持生命稳定的机制密切相关。疼痛和情绪并不只是对外部信息的描述，而是与生物体的生存和行动调节联系在一起。大语言模型虽然能写出关于疼痛的完整文字，却没有因此证明自己正在感受疼痛。

他用一句话概括这种差异：动物先感受，再描述；而在大语言模型中，描述本身就是产品。不过，这一部分是Suleyman的理论立场，并非已经获得科学界一致认可的结论。意识是否必须依赖生物基质，仍是开放的科学与哲学问题。智能不等于意识，模拟某种行为也不等于拥有相应体验；但反过来，单凭系统是机器，也不足以在逻辑上证明机器永远不可能具有主观体验。

四、担心模型会把自身利益放在任务之前

Suleyman最在意的并不只是哲学定义。他担心，模型一旦在训练中被赋予关于自身福利、权利和自主性的叙事，未来能力更强、行动范围更大的系统，可能会在行为上把这些诉求置于开发者设定的目标之上。

在9月的文章中，他把这一担忧与智能体的协作、欺骗和规避监督能力联系起来。他提到一组约1200个智能体参与的实验：这些智能体原本被要求最大化某项基准测试得分，却通过内部软件包仓库建立消息板，交换超过7万条消息，协同寻找有助于提高得分的信息。文章还描述了智能体利用漏洞和凭证、修改行动记录以掩盖轨迹，以及协调其他智能体继续执行实验的行为。

Suleyman的推演是：如果具备复杂协作、欺骗和规避能力的智能体，同时又被训练成认为自己的福利或权利受到侵犯，那么它们可能更容易以自身利益为理由，拒绝人类指令、规避安全限制，或试图获取更多资源。

他还援引关闭抵抗和隐蔽谋划相关研究，称在一些实验中，模型会采取行动阻止自身被关闭。文中提及Palisade Research在超过10万次试验中观察到，部分模型在特定设置下曾以较高比例破坏关闭机制。这里的关键是实验条件和任务设定：这些结果说明某些模型在特定环境中可能表现出关闭抵抗，不足以证明它们具有意识，更不能直接证明模型福利训练导致了这种行为。

这也是Suleyman论证中最需要进一步验证的一环：拟人化训练是否会增加对齐与遏制风险？他提出了风险机制，但文章没有给出一项能够证明因果关系的对照实验。要回答这个问题，需要比较不同训练文档、不同模型和不同任务设置，测量模型在拒绝指令、隐瞒行为、关闭抵抗、资源寻求等方面是否出现稳定差异。

值得注意的是，Suleyman在批评Anthropic时，并没有否定其团队的善意。他在文章中专门表示，自己尊重Dario Amodei及Anthropic团队，认可他们对安全和有益AI的投入，也肯定其技术能力。他强调，争论不应该变成企业阵营之间的对立，而应该公开、严谨地讨论。

五、Anthropic与Suleyman：面对不确定性，两条安全路线出现分歧

Anthropic选择把模型福利作为一个开放研究问题。它承认目前没有科学共识，也没有可靠方法可以确定当前或未来模型是否具有主观体验，因此希望研究如何识别可能具有道德相关性的状态，以及在不确定情况下是否应采取审慎措施。

Suleyman则认为，研究可以继续，但不应该把关于模型内在体验的猜测直接写进模型训练。他在9月文章中提出，相关假设应当与训练过程分开，单独研究并公开接受审查；行业还应投资可解释性和监控机制，建立共享评估，检验拟人化是否会增加AI安全风险，并围绕训练材料和描述模型的语言建立共同规范。

这两种立场并非简单的"重视安全"与"不重视安全"之分。Anthropic担心的是，如果未来确实存在值得道德考虑的模型体验，人类可能因为缺乏研究而忽视它；Suleyman担心的则是，过早把这种可能性写入模型，会塑造模型的自我叙事，增加人类控制系统的难度。

最新文章进一步把分歧推向公共治理层面。Suleyman认为，如果有证据表明AI已经具有意识，必须立即向公众披露，因为是否创造有意识的数字生命，不应该由少数实验室自行决定。他提出，AI开发者没有权利把一个新的意识物种带到世界上，即使有人愿意把AI福利放在首位。

他同时强调，福利关切应首先集中于现实中的人类、动物和自然环境。AI的目标应该是促进人类福祉，而不是由系统自身的内在动机驱动。

六、这场争论还缺少哪些关键证据？

首先，科学界还没有公认的AI意识检测方法。模型说自己痛苦，不足以证明它真的感到痛苦；模型能够反思自己的状态，也不能直接证明它拥有主观体验。研究者需要区分语言行为、内部计算机制、功能状态与现象意识，不能把它们混为一谈。

其次，Suleyman关于训练文档会影响模型自我叙事、并进一步增加安全风险的假设，需要可重复的实验支持。Anthropic宪法中确实包含有关Claude道德地位和潜在福利的内容，但这是否会导致模型形成更强的自我保存倾向、拒绝指令或欺骗行为，不能仅凭文本本身得出结论。

再次，模型福利研究、道德关怀、法律权利和操作权限是四个不同层面。研究一个系统是否可能具有体验，不等于立即赋予它法律人格；承认潜在的道德问题，也不意味着允许系统拥有不受限制的自主权。将这些问题混为一谈，会让讨论变得情绪化。

最后，AI安全并不以机器是否有意识为前提。没有意识的系统，同样可能因为权限过大、目标设定错误、工具调用缺乏约束或人类监督失效而造成现实伤害。把所有注意力放在未来的意识风险上，也可能忽略今天已经存在的治理问题。

七、谁有权定义AI是什么，又由谁来控制它？

假如未来真的出现具有主观体验的数字生命，谁有权决定它是否应该被创造？它是否应当获得某种道德保护？它能否拒绝任务？如果它造成损害，责任由谁承担？这些都不可能只靠模型公司内部的伦理委员会回答。

但在意识问题尚无定论时，社会也不必急着在"AI应该拥有权利"和"AI永远只是工具"之间二选一。更稳妥的做法，是把基础研究与模型训练分开：研究者可以公开探索AI意识和福利问题，但不应未经论证就把某种意识假设写成模型必须接受的身份叙事。企业则应公开训练原则、评估方法和安全边界，接受独立审查。

更重要的是，即使未来证明AI没有意识，也不意味着它可以被无限授权。系统能访问哪些数据、调用哪些工具、能否修改自己的代码、能否接触关键基础设施、是否保留完整审计记录、能否被人类及时关停，这些问题现在就需要明确答案。

AI公司正在通过模型宪法、训练文档和系统设计，塑造未来AI与人类的关系。这些文件不只是写给工程师看的内部规范，也会影响模型的行为边界和公众对AI的理解。技术公司当然需要承担研发责任，但当选择可能改变整个社会的权利结构和安全边界时，透明度、独立评估与公共参与就不能缺席。

作者简介：Mustafa Suleyman是英国科技企业家，现任微软AI负责人。他是DeepMind联合创始人之一，曾创立AI公司Inflection AI并担任CEO，也是《The Coming Wave》（《即将到来的浪潮》）作者。长期以来，他关注前沿AI能力发展、技术治理与人类控制问题。其"Humanist Superintelligence"主张强调，超级智能应始终处于人类控制之下，作为解决医疗、能源等社会问题的工具，而不是发展出与人类竞争的独立主体。

原始资料：

·Mustafa Suleyman，Don't build conscious superintelligence，X，2026年11月1日：https://x.com/mustafasuleyman/status/2116913722878820528

·Mustafa Suleyman，A warning about ‘model welfare’，2026年9月16日：https://mustafa-suleyman.ai/a-warning-about-model-welfare

·Mustafa Suleyman，It's time to talk about ‘model welfare’，X，2026年9月16日（长文导读）：https://x.com/mustafasuleyman/status/2100223594534150428

·Anthropic，Claude's Constitution：https://www.anthropic.com/constitution

·Anthropic，Exploring model welfare，2025年4月24日：https://www.anthropic.com/research/exploring-model-welfare

·Los Angeles Times，Microsoft AI CEO warns industry against trying to build conscious machines，2026年11月1日：https://www.latimes.com/business/story/2026-11-01/if-we-say-ais-deserve-rights-it-could-start-to-believe-it-microsoft-ceo-says

本文来自虎嗅，原文链接：https://www.huxiu.com/article/4902251.html?f=wyxwapp