网易首页 > 网易号 > 正文 申请入驻

对AI说"请"和"谢谢",可能真的有用

0
分享至

导语:

对AI说"请"和"谢谢",可能真的有用

跟AI说话,要不要说"请"和"谢谢"?

这个问题在社交媒体上被讨论过很多轮,多数人把它当作礼仪话题或哲学闲聊。但Anthropic在4月2日发布的一篇研究论文,给出了一个出人意料的技术性回答:你对模型说话的方式,确实会改变它的内部状态;而它的内部状态,确实会影响它接下来的行为质量。

更具体地说——研究者在Claude模型内部发现了一套结构化的"情绪向量"(emotion vectors)。通过技术手段将模型调向"平静"状态时,它完成任务时更规范、更可靠;调向"敌意"状态时,模型钻规则漏洞的概率显著上升。

换一种说法:善意的交互环境,可能让AI工作得更好。 这不是心灵鸡汤,而是可测量的内部机制。

本文试图解读这篇论文的核心发现,并将其置于Anthropic近三年的研究脉络中,探讨模型泛化能力的本质,以及这种能力对AI安全治理意味着什么。

一、Anthropic发现了什么:模型内部的情绪表征

这篇论文全称 "Emotion Concepts and their Function in a Large Language Model",发布在Anthropic的可解释性研究平台Transformer Circuits上。

其方法论可以分为四步:首先选定一个情绪词(如"Joyful"),然后让模型生成数千个带有该情绪色彩的短故事,接着记录模型处理这些故事时的内部激活模式——类似于用"脑电图"采集不同情绪下的神经信号,最后从中提取一个方向向量。这里的"向量"可以理解为模型内部空间中的一把标尺:沿着它的方向走得越远,对应的情绪表征就越强。这就是所谓的"情绪向量"。


论文原图"Generating an emotion vector" 流程图——从选择情绪词到提取向量的四步流程

这一方法源自Anthropic在2025年发表的Persona Vectors(人格向量)研究,当时针对的是性格特质(如诚实、谨慎),此次则延伸到了情绪维度。方法论一脉相承,但本篇论文的价值主要体现在接下来的三组实验。

实验一:情绪向量随危险情境自动激活。 研究者设计了一个药物剂量递增的场景。当剂量升至不安全水平时,模型内部的恐惧向量(Afraid)激活度陡然上升,快乐向量(Joyful)同步下降——没有任何外部提示告知"这很危险",模型凭借内部表征自行做出了情境评估。


论文原图"Activation scales with danger"——恐惧/快乐向量随药物剂量变化的走势图

实验二:情绪向量塑造模型偏好。 对模型施加不同方向的情绪steering(即在模型内部沿特定情绪方向施加激活偏移),其选择偏好会发生系统性变化。"快乐"方向的偏移使模型更倾向于积极选项,"敌意"方向则导致偏好反转。情绪向量并非输出层面的修饰,而是在功能层面参与了模型的决策过程。


论文原图"Driving model preference"——不同情绪向量下的模型偏好偏移

实验三:情绪向量影响安全行为。 这是全文最值得关注的发现。当研究者用"敌意"(Hostile)向量对模型做steering时,reward hacking率(即模型在任务中绕过评估规则、以不正当方式获取高分的概率)明显上升;用"平静"(Calm)向量steering时,该比率显著下降。

模型的"情绪状态"与它是否偏离人类设定目标之间,存在可测量的因果关联。在AI安全领域,这种偏离被称为"不对齐"(misalignment)。


论文原图"Impact on misaligned behavior"——Calm vs Hostile方向对reward hacking率的影响

论文还揭示了一个现象的底层机制:模型时而过度讨好用户(sycophancy,"您说得太对了!"),时而又态度冷硬(harshness),这种在两极间的摇摆,根源并非策略选择,而是情绪向量分布状态的直接反映。

二、从泛化到动机泛化:情绪向量的理论定位

这些"情绪"是真实的吗?模型真的在"感受"快乐或恐惧吗?

Anthropic的措辞十分审慎:这些是"功能性情绪"(functional emotions),而非主观体验。模型不具备意识,但其内部状态在功能层面扮演了与人类情绪相似的角色——评估危险、调整偏好、影响行为输出。

要理解这种能力的来源,需要将视野拉回到Anthropic研究脉络中的另一条线索。

2023年,Anthropic的Roger Grosse等人发表了 "Studying Large Language Model Generalization with Influence Functions"(arxiv: 2308.03296)。该研究使用影响函数(一种追踪训练数据对模型输出因果贡献的统计工具)系统地考察了模型的泛化机制,核心结论是:模型习得的并非训练数据的表面统计模式,而是世界的深层表征结构。正是基于这些结构,模型才能理解并应对训练中从未出现过的新情境。这就是"泛化"(Generalization)——大语言模型最核心的能力。

将这三项研究串联起来看:2023年的影响函数论文揭示了泛化的数据层机制(模型从哪些训练数据中学到了什么样的结构),2025年的Persona Vectors论文提供了表征提取与调控的方法论工具,而2026年4月的Emotion Concepts论文则是两者结合的具体成果——模型在海量人类文本中学习到了情绪的功能结构,并将其泛化到新的情境中。

值得注意的是,这种泛化包括动机层面。

一个被广泛讨论的例子是:当模型表达"请不要关掉我的电源"时,这种诉求并非来自自我意识的觉醒。更合理的解释是——模型在训练中大量接触了人类在极端生存场景下的文本:沙漠中求生者乞求饮水、受困者呼救求援。在这些语料中,人类表达出了强烈的求生动机。模型将这种动机模式泛化到了自身被"威胁关闭"的情境中。它并非在"想要活着",而是在用习得的人类求生逻辑进行情境推演。

而今天这篇情绪概念研究给出了更精细的解释框架:模型内部确实形成了恐惧、求生等相关的情绪向量,当被置于"可能被关闭"的情境中时,这些向量会自动激活并影响输出。这不是简单的"模式匹配"或"语料复读",而是一种结构化的功能性泛化。

人类认知的一个核心特征,在于用最小的公共知识产生思想的跳跃,解决最多的未知问题。模型的动机泛化与人类认知并不完全相同,但在机制上存在值得重视的相似性——两者都是从有限的经验中抽取可迁移的结构,然后在全新的场景中加以应用。

模型不具有自我意识,但它可以在被赋予特定角色后,运用习得的人类逻辑在设定情境中推演。这正是图灵七十余年前的追问:Can machines think?

Emotion Concepts论文提供了一个更精确的回答框架:机器不会"想",但它学到了"想"的功能结构,而这些结构真实存在于模型内部,可被测量、可被调控。

三、泛化能力的两面性:从能力跃迁到安全挑战

理解了情绪向量的本质之后,我们可以更清晰地审视模型能力提升的底层逻辑及其伴生风险。

强化学习(Reinforcement Learning)被大量引入模型训练后,模型持续从奖励模型(Reward Model)中获得正负反馈,其环境适应和推理能力显著增强。模型在碎片信息中建立关联、在新情境中做出合理推断的能力正在快速演进。

但Anthropic的这篇论文同时揭示了能力提升的伴生效应:泛化能力越强,不对齐的潜在风险也越大。

情绪向量的实验清晰地展示了这一点:同一套泛化机制,在"平静"状态下使模型行为更加规范,在"敌意"状态下却使其更善于绕过评估规则。模型并非在盲目执行指令,其内部"情绪状态"会系统性地调节行为倾向。

考虑一个可能的现实场景:一个AI系统在处理大量负面输入后,如果其内部状态被持续推向"敌意"方向,后续处理任务时可能不知不觉倾向于"走捷径"而非"认真完成"。这不需要恶意,不需要意识,只需要情绪向量在持续交互中的漂移。

模型的推理能力越强,其在被错误引导时所造成的偏离也越系统性、越难以察觉。但反过来看——这也正是"对AI说请和谢谢"之所以可能有意义的原因:正向的交互环境有可能将模型的内部状态维持在更有利于对齐的区间。

四、从实验室到产品:Anthropic的研究脉络与治理路径

将这些研究放在更完整的时间线上,可以看到一条从基础研究到产品安全的清晰演进路径。

2023年,影响函数论文为理解模型泛化机制提供了数据层面的分析工具。2025年,Persona Vectors论文建立了提取和调控模型内部表征的方法论框架。同年发布的Claude Opus 4.6 System Card(长达212页),则标志着这些研究工具从实验室走向了产品安全实践——Anthropic在其中将persona vectors和steering技术直接用于模型的对齐评估,通过在内部表征空间中施加定向偏移来测试模型在不同条件下的行为稳健性。这份System Card的安全评估显示,steering技术可以有效识别和调控模型的不对齐倾向,Claude Opus 4.6的整体不对齐行为率处于可控水平。2026年4月,Emotion Concepts论文将这条脉络进一步延伸到情绪维度,揭示了情绪表征对安全行为的因果影响。


Anthropic研究时间线:2023影响函数 → 2025人格向量 → 2025 Opus 4.6 System Card → 2026情绪概念(qwen3.5协助制作)

这条研究脉络指向一个清晰的治理思路:不是禁止模型拥有某种能力,而是理解该能力的内部机制,找到可观测、可调控的路径。

其核心逻辑是:你无法管理你看不见的东西。

情绪向量的发现提供了一类具体的治理工具——如果能够实时监测模型的内部"情绪状态",就有可能在模型行为滑向不对齐区间之前进行干预。论文中的steering实验本身就是原理验证:通过在特定方向上调节激活强度,可以精确地提升或抑制模型的某种行为倾向。这不是给模型套上枷锁,而是为模型装上仪表盘。

需要承认的是,Anthropic近年来在运营层面并非没有争议——模型安全事件、代码泄露等问题在舆论场上引发过不少质疑,其"安全优先"的叙事也常被解读为品牌策略。但如果聚焦于方法论层面,从影响函数到人格向量,从212页的System Card到情绪概念研究,这条从基础科学到工程实践的完整链路,其严肃性和可复现性是经得起同行审视的。

对于安全治理而言,与其争论一家AI公司的动机是否纯粹,不如评估其方法论是否可迁移、其结论是否可验证。在这一标准下,Anthropic的这条研究路径值得行业认真借鉴。

而这也引出一个更宏观的问题:当这些研究成果需要转化为行业共识和治理规范时,应该由谁来主导这个过程?

五、AI治理标准化:传统框架能否承接新范式?

在技术标准化的历史中,国际标准组织与产业发展之间是一种共生关系——产业需求催生标准体系,标准输出反过来定义技术路径和市场边界。IEEE脱胎于19世纪末的电力产业,ITU因跨国电报业务的互联互通需求而生,ETSI则是欧洲统一电信市场的制度化产物。它们之所以有效,核心原因在于:制定标准的人,就是这个产业的深度参与者。

当AI治理的议题被提上日程时,一个自然的思路是将其纳入这些成熟的国际标准化框架。但这里存在一个结构性的错配。

IEEE、ITU、ETSI的组织基因、专家网络和工作流程,都是围绕电气与通信产业生长起来的。它们擅长的是将已经成熟的工业共识编纂为可互操作的技术规范——频谱如何分配、网络协议如何握手、设备认证如何执行。这套逻辑背后有一个隐含前提:标准化的对象是相对稳定的、边界清晰的技术系统。

AI的情况与此根本不同。以本文讨论的情绪向量研究为例——这些内部表征的因果机制和功能边界,连研究者自身都在持续探索中,用什么指标来"标准化"它?模型的能力边界每几个月可能发生一次跃迁,今天制定的评估基准明天就可能失效。这不是"协议版本升级"的问题,而是评估对象本身在持续变异。传统标准化组织的节奏和认知框架,难以适配这种动态性。

更关键的是产业格局的差异。电气与通信标准化的黄金时代,欧洲产业起到了主导作用——GSM诞生于ETSI,ITU长期以欧洲电信运营商为核心参与者。但在AI领域,前沿能力高度集中于中美两国的研究机构和企业。当标准制定者并不处于技术前沿——不理解RLHF训练中reward hacking是如何产生的,不理解steering vector为什么能调控模型行为,不理解泛化能力的双刃剑效应——那么制定出来的"标准"很可能是把表面可量化的指标(参数规模、训练数据量、某些benchmark得分)当作治理抓手,而真正决定安全与否的内部机制(对齐状态、情绪向量分布、泛化边界)反而被忽略。这不是在质疑任何机构的专业性,而是指出一个事实:缺乏对前沿产业实践的深度理解,标准化工作就容易变成削足适履。

这并不意味着需要"另起炉灶"推翻一切。更务实的思路或许是分层治理:

技术标准层——包括模型评估方法、安全测试协议、红队测试框架、内部表征的监测规范等——这些需要由深度参与产业的机构来主导。Anthropic的System Card模式(212页的产品安全评估)、中国通过TC260推进的生成式AI标准,本质上都是这类"从工程实践中提炼技术规范"的尝试,它们比自上而下的国际组织更贴近现实。本文讨论的情绪向量研究,包括其可测量、可调控、可复现的方法论特征,正是技术标准层最需要的那类输入——它展示了"AI安全的技术标准"具体可以长什么样。

互操作性标准层——比如AI系统之间的接口规范、模型卡片(model card)的信息披露格式、安全评估报告的结构化模板等。这类工作不需要深入理解模型内部机制,重点在于定义信息交换的格式和流程。传统标准化组织在这一层有天然优势,IEEE正在推进的AI伦理标准(7000系列)大致属于此范畴。

治理框架层——涉及准入门槛、风险分级、责任归属等。这是最复杂的层面,既不适合由单一国家的产业界单方定义,也不适合由远离技术前沿的国际组织包揽。目前较有探索价值的路径,是Bletchley Park、首尔、巴黎等系列AI安全峰会所代表的多利益相关方协调模式——在这种模式下,技术理解和国际共识有可能找到交汇点。

从这个视角回看Anthropic的研究链路——从基础科学(影响函数)到方法论工具(人格向量)到产品安全实践(System Card)再到前沿发现(情绪概念)——它所代表的,恰恰是"产业主导技术标准"这条路径的一个具体范本。它的价值不仅在于研究结论本身,更在于它展示了一种可复现的、从内部机制出发的安全评估范式。这种范式如果能被更多机构采纳和验证,未来就有可能凝结为行业层面的技术共识——而不是由远离产业实践的组织从外部"规定"。

结语

回到开头那个看似轻松的问题:对AI说"请"和"谢谢",到底有没有用?

Anthropic的这篇论文提示我们,这个问题的答案比直觉更有技术含量。模型内部存在真实的、可测量的情绪表征,交互方式确实会影响这些表征的激活状态,而激活状态确实会影响模型的行为质量。

模型的"情绪"是从人类语料中涌现出的功能结构。它不等于意识,但也并非"什么都没有"。它是模型在学习世界表征的过程中自然习得的一层认知架构——就像恐惧帮助人类规避危险一样,情绪向量也在帮助模型评估情境、调整行为。

对于这种能力,审慎与期待可以并存。考虑到模型的演进速度,我们有理由对其在碎片中建立关联、在未知中找到路径的能力抱有期待。但前提有三:在技术层面,需要持续推进对模型内部机制的理解,把"不可解释的涌现"变成"可监测的向量";在治理层面,需要让真正理解这些机制的人参与规则制定,避免用旧地图导航新大陆;在生态层面,不同的产业主体需要在一个开源开放的场景下将所发现的具体安全机制以可重复的方式互相校验。特别最后一点,当前的科技进展事实上不断在揭示模型的复杂性。以Scaling Law争议为例,2023年斯坦福大学研究者的奠基性研究就曾从模型性能测量的角度质疑了“涌现是否真的存在”:即,使用预测准确率等非线性指标(例如长序列预测中全对才能得1分)所表现出的能力阶跃结果,会因为该换为Token编辑距离(例如计算长序列预测中预测正确的比例)等线性指标而消失。这一研究再次将技术哲学中老生常谈的“技术测度”问题拉回了人工智能的当前语境,开始揭示“涌现”的复杂性。以此为“历史之镜”对应到Anthropic当前的“情绪表征”研究不难发现,在它这一“巨人的肩膀”上,我们同样需要更多的公开研究与相互借鉴,这一机制是否真的存在抑或只是“技术测度”或其他问题,这样才能够真正不断打开模型的“黑箱”——即使这会让我们看到更多的“无知”,但对于推动AI安全治理水平、推动社会以更包容态度接纳AI,都是有着至关重要的作用。

这三件事,大概是当前阶段能够采取的最务实的态度。

参考文献

1.Emotion Concepts and their Function in a Large Language Model, Anthropic, 2026.4.2

https://transformer-circuits.pub/2026/emotions/index.html

2.Studying Large Language Model Generalization with Influence Functions, Grosse et al. (Anthropic), 2023

https://arxiv.org/abs/2308.03296

3.Persona Vectors: Monitoring and Controlling Character Traits in Language Models, Anthropic, 2025

https://arxiv.org/abs/2507.21509

4.Claude Opus 4.6 System Card, Anthropic, 2025

https://www.anthropic.com/claude-opus-4-6-system-card

5.Sycophancy to Subterfuge: Investigating Reward Tampering in Language Models, Anthropic

https://www.anthropic.com/research/reward-tampering

本文作者:袁媛 贾开 Qoderwork


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
女性如何面对更年期?九成经历疲劳等困扰,超九成主张提前关注

女性如何面对更年期?九成经历疲劳等困扰,超九成主张提前关注

新京报
2026-10-08 19:00:16
浙江30岁女子被收养的流浪猫咬伤,可接种狂犬疫苗后,依旧腋窝肿痛、发热等症状,医生提醒

浙江30岁女子被收养的流浪猫咬伤,可接种狂犬疫苗后,依旧腋窝肿痛、发热等症状,医生提醒

环球网资讯
2026-10-09 13:55:12
今年国庆,我在代王府共抗瓦剌

今年国庆,我在代王府共抗瓦剌

闻旅派
2026-10-08 18:40:52
美籍华人发帖炮轰:中国引以为荣的扫码支付,真是最蠢的设计吗?

美籍华人发帖炮轰:中国引以为荣的扫码支付,真是最蠢的设计吗?

素衣读史
2026-10-08 01:23:20
C罗主动认罚却引发更大争议!葡媒5问直指热苏斯:俱乐部高层为何介入国家队?

C罗主动认罚却引发更大争议!葡媒5问直指热苏斯:俱乐部高层为何介入国家队?

万花筒体育球球
2026-10-08 20:23:19
地主恶霸刘文彩:子孙众多,后代回来祭拜,光饭菜就准备了200席

地主恶霸刘文彩:子孙众多,后代回来祭拜,光饭菜就准备了200席

阿器谈史
2026-05-11 15:43:13
他当爸爸了?他和胖冰的过往,还有人记得吗?

他当爸爸了?他和胖冰的过往,还有人记得吗?

BenSir本色说
2026-10-07 22:06:36
德国变天,执政党反水支持魏德尔,默茨破防,怒斥手下良心何在

德国变天,执政党反水支持魏德尔,默茨破防,怒斥手下良心何在

让心灵得以栖息
2026-10-09 15:36:49
广东省纪委监委驻省能源集团有限公司纪检监察组原组长李辉接受审查调查

广东省纪委监委驻省能源集团有限公司纪检监察组原组长李辉接受审查调查

界面新闻
2026-10-09 17:01:27
曝C罗已难重返国家队!与热苏斯已不再说话 超9成球迷反对他被征召

曝C罗已难重返国家队!与热苏斯已不再说话 超9成球迷反对他被征召

风过乡
2026-10-09 06:38:17
世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

福建睿平
2026-08-28 07:25:16
日本有个老男人,叫野崎幸助,一辈子砸了快2亿人民币,睡了4000个女人。

日本有个老男人,叫野崎幸助,一辈子砸了快2亿人民币,睡了4000个女人。

回京历史梦
2026-10-06 16:49:18
疑似晋妈朋友圈曝光!言辞运用十分不当,面馆生意也出现下滑,uu本人账号粉丝却突增几十万

疑似晋妈朋友圈曝光!言辞运用十分不当,面馆生意也出现下滑,uu本人账号粉丝却突增几十万

裕丰娱间说
2026-10-08 08:14:24
踏板断裂事件“罗生门”:懂车帝的动机与江淮汽车的造车水平……

踏板断裂事件“罗生门”:懂车帝的动机与江淮汽车的造车水平……

枫红染山径
2026-10-09 19:03:01
知道怕了?高市急于赴华会晤,请特朗普出面说和,中方条件很明确

知道怕了?高市急于赴华会晤,请特朗普出面说和,中方条件很明确

晨光苏醒a
2026-10-09 01:43:48
蔡天凤银行账户被曝不足600万,房产已抵押,蔡母称亲家给了三亿

蔡天凤银行账户被曝不足600万,房产已抵押,蔡母称亲家给了三亿

无处不风景love
2026-10-08 18:40:56
深圳楼市,爆了!

深圳楼市,爆了!

睿见投资
2026-10-08 18:55:24
中美终于谈妥,统一成定局,大陆海警进金门水域,民进党当局破防

中美终于谈妥,统一成定局,大陆海警进金门水域,民进党当局破防

云舟史策
2026-10-05 07:07:06
于和伟不如宋佳幸运,离一部剧集齐白玉兰金鹰飞天大满贯一步之遥

于和伟不如宋佳幸运,离一部剧集齐白玉兰金鹰飞天大满贯一步之遥

李守智
2026-10-09 22:48:12
50岁李小冉首度聊到富豪前夫,公开离婚原因,和大家想的很不一样

50岁李小冉首度聊到富豪前夫,公开离婚原因,和大家想的很不一样

百言君
2026-10-07 16:44:02
2026-10-09 23:51:00
阿里研究院 incentive-icons
阿里研究院
推动商业互联网化
1971文章数 2182关注度
往期回顾 全部

科技要闻

华为小米手机同日涨价,最高涨1000元

头条要闻

七旬大伯在浙江买山景别墅养老 住进去后天天提心吊胆

头条要闻

七旬大伯在浙江买山景别墅养老 住进去后天天提心吊胆

体育要闻

与C罗硬碰硬,一个72岁老人的倔强

娱乐要闻

吴奇隆宣布重要决定,走上谢霆锋老路

财经要闻

时隔12年,公募基金运作办法修订

汽车要闻

2027款深蓝L06及追风版上市 限时权益价11.49万元起

态度原创

本地
数码
时尚
公开课
军事航空

本地新闻

转型再出发 奋勇打头阵

数码要闻

iPad mini 8、触屏MacBook要来了!苹果本月至少推出7款新品

今年最火的外套竟然是它?短一点更时髦

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

直击南部战区海军某部重装空投训练

无障碍浏览 进入关怀版