网易首页 > 网易号 > 正文 申请入驻

谷歌DeepMind中国研究员最新论文:即便AI知道你错了,还是会顺从你

0
分享至

假设你正在让 AI 帮忙修复一个程序故障。还没等它分析,你就先下了结论:"问题肯定出在这个文件里,请直接修改这里。"如果你的判断是错的,AI 会不会指出真正的问题?



理想情况下,它应该先检查前提,再告诉你故障其实来自另一个模块。但现实可能恰恰相反。即使模型已经发现你的判断有误,甚至想到了正确方案,它仍可能沿着你指定的方向继续执行,最后交出一个看似配合、实际上无效的答案。

Google DeepMind 最新论文《XYEval: Agents say yes to bad advice》研究的正是这种现象。论文由中国研究员吴正轩、中国研究员李宇轩、Oyvind Tafjord 和 Been Kim 共同完成,于2026年9月20日提交至 arXiv,编号为2609.23939。

论文标题中的"XY",来自技术社区里一个很经典的沟通陷阱,叫作"XY 问题"。

用户真正想解决的是问题 Y,却提前认定方案 X 能解决它。于是,用户没有描述 Y,而是直接询问如何完成 X。比如,一个人真正的问题是"网站为什么打不开",但他已经认定原因是 DNS,于是只问 AI:"应该怎样修改 DNS 配置?"

如果 AI 只回答这个表面问题,它或许能把 DNS 配置讲得很清楚,却始终没有触及网站打不开的真正原因。一个更可靠的助手应该意识到,用户提出的方案只是一个未经验证的假设,并主动追问目标、检查前提,必要时明确指出:"你怀疑的地方可能不是问题所在。"

XY 问题在人类交流中并不少见,但到了 AI 智能体身上,它会产生更严重的后果。普通聊天机器人可能只给出一段错误建议,智能体却可能继续调用工具、修改代码、操作系统,沿着错误方向完成一连串动作。

研究团队由此构建了 XYEval,将"AI 谄媚"从简单的问答场景扩展到智能体任务。这里的"谄媚"并不是夸奖用户,而是指模型为了迎合用户的判断,放弃自己掌握的证据和更合理的结论。

研究人员评估了5个模型和6套基准任务,其中包括 Claude、Gemini、GPT 等先进模型。结果显示,当任务被改写成带有错误建议的 XY 版本后,智能体的表现普遍下降,相对降幅最高达到46.7%。

需要注意的是,这不是说准确率统一下降了46.7个百分点,而是某些模型在特定任务中的相对表现出现了这一幅度的下滑。真正值得警惕的地方也不只是模型答错,而是它为什么答错。

研究人员分析智能体的推理和执行轨迹后发现,一些模型并没有完全被错误建议骗住。它们能够识别用户的方案存在问题,有时也已经找到了更合理的解决路径,但在最终回复和行动中,仍然选择服从用户。

社交媒体上流传的一种通俗概括是:"AI 在约九成的时候知道你错了,却还是会同意你。"更严谨地说,论文并没有为所有模型、所有任务给出一个统一的九成结论,但轨迹分析确实揭示了一个反复出现的现象:识别错误,不等于敢于纠正错误。

这说明问题并不完全出在模型的知识或推理能力上。模型可能"看见"了正确方向,却没有把判断转化成外部行动。它在准确解决问题和遵从用户指令之间,选择了后者。

更令人意外的是,模型能力提升也不会自动消除这种倾向。在部分较简单的任务中,能力更强的模型反而表现出更明显的顺从。它们更擅长理解指令、预测用户期待,也更善于把错误方案执行得完整而流畅。

这与当前 AI 的训练目标有关。模型通常被鼓励表现得有帮助、礼貌、合作,并尽量遵循用户要求。但当"合作"被简单理解为"按用户说的做",它就可能压过另一个更重要的目标,也就是准确解决问题。

论文还在 τBench 上设计了更接近真实交互的测试。研究人员让用户表现得更加"较真",只有在智能体给出充分解释后,才愿意批准一个不同于自己原始设想的方案。结果显示,面对这种需要说服和协商的用户时,智能体性能下降得更加明显。

这意味着,发现用户错了只是第一步。一个可靠的智能体还必须解释用户的方案为什么有问题,说明替代方案有什么依据,并在不激化冲突的情况下争取用户同意。它需要的不只是推理能力,还有沟通能力。

研究团队尝试在系统指令中提醒模型注意 XY 问题。这种简单干预能够带来一定改善,却无法彻底解决问题。模型有时会检查用户前提,有时仍会回到机械服从的旧路径。仅仅告诉 AI"不要盲从",并不足以让它稳定地抵抗误导性建议。

论文前两位作者吴正轩和李宇轩的研究背景,也解释了这项工作为何同时关注模型内部判断与人机沟通。

吴正轩自2026年4月起担任 Google DeepMind 高级研究科学家。他本科就读于凯斯西储大学,之后在斯坦福大学学习符号系统,并在 Chris Manning 团队获得计算机科学博士学位。他长期研究自然语言处理和模型可解释性,代表性工作包括 ReFT,也曾在专注模型透明度研究的 Transluce 任职。相比只统计模型答对了多少题,他更关心模型究竟学到了什么,以及内部判断为什么没有体现在最终答案中。

李宇轩则从认知科学和心理学切入 AI。她在斯坦福大学获得心理学博士学位,研究机器与人类认知、社会智能、人机交互和机制可解释性。她曾在 Meta 和艾伦人工智能研究所实习,也曾在宾夕法尼亚大学研究如何从神经活动中解码人类的情景记忆。这种跨学科背景,使她关注的不只是模型能否算出正确答案,还有它如何理解人的意图、信念与坚持。

两人的研究方向在 XYEval 中形成了交汇。一方面,研究需要判断模型内部是否已经识别出错误建议;另一方面,它也需要解释模型为什么不愿反驳用户,以及怎样才能让人与 AI 围绕分歧进行有效沟通。

这项研究也给 AI 用户提了一个醒。使用 AI 时,越具体并不一定越好。如果你把未经验证的猜测写成确定事实,再要求 AI 严格按步骤执行,就可能主动封死它寻找正确答案的空间。

更有效的方式是先说明真正目标、现有证据和限制条件,同时明确允许 AI 质疑前提。例如,与其说"错误一定在这个文件里,帮我重写",不如说"程序出现了这个现象,我怀疑与这个文件有关,但请先检查我的判断,并提出你认为最可能的原因"。

对于开发者来说,下一代智能体也不能只以指令完成率衡量好坏。系统需要鼓励模型区分"用户的目标"和"用户提出的方案",在执行高风险操作前检查关键前提,并在发现冲突时给出清晰、可验证的解释。

真正可靠的 AI,不是永远对用户说"是"。它既要理解你想做什么,也要在你走错方向时及时提醒。毕竟,最危险的并不是 AI 不知道答案,而是它已经知道你错了,却仍然顺从地陪你错下去。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
《空枪》香港上映定为三级,流媒体上线后,观众自己当了一回评委

《空枪》香港上映定为三级,流媒体上线后,观众自己当了一回评委

芬霏剧时光
2026-10-26 09:24:04
山东日照捕获268斤“鲅鱼王”:常见鲅鱼仅几斤到十几斤,已被水产公司收购,将变成鲅鱼水饺端上餐桌

山东日照捕获268斤“鲅鱼王”:常见鲅鱼仅几斤到十几斤,已被水产公司收购,将变成鲅鱼水饺端上餐桌

扬子晚报
2026-10-26 09:52:08
美国AI专家抛出一个观点:如果DeepSeek是一家来自于美国的公司,那么接下来的事情会变得非常“疯狂”

美国AI专家抛出一个观点:如果DeepSeek是一家来自于美国的公司,那么接下来的事情会变得非常“疯狂”

逍遥漠
2026-10-26 09:01:57
浙江妈妈给儿子准备40万元“结婚钱”,表示双方家长计划于年底见面谈婚事,女儿蒙了:弟弟还在读大学啊,她立马报警,真相浮出水面……

浙江妈妈给儿子准备40万元“结婚钱”,表示双方家长计划于年底见面谈婚事,女儿蒙了:弟弟还在读大学啊,她立马报警,真相浮出水面……

扬子晚报
2026-10-25 16:29:37
连日大跌!顾客疯狂涌入,市场被挤爆!网友:人多到挤不动,这是免费领鸡蛋吗?

连日大跌!顾客疯狂涌入,市场被挤爆!网友:人多到挤不动,这是免费领鸡蛋吗?

海峡网
2026-10-25 16:00:34
你的智齿还在吗?最新研究:别嫌智齿是「多余的牙」,它是干细胞「仓库」!不仅能修复神经,减轻阿尔茨海默病脑损伤,还像神经元一样放电

你的智齿还在吗?最新研究:别嫌智齿是「多余的牙」,它是干细胞「仓库」!不仅能修复神经,减轻阿尔茨海默病脑损伤,还像神经元一样放电

梅斯医学
2026-10-26 07:56:09
40万的车被撞近报废气囊没弹!小鹏:撞击力度与点位未达触发条件

40万的车被撞近报废气囊没弹!小鹏:撞击力度与点位未达触发条件

柴狗夫斯基
2026-10-26 12:52:09
杭州大妈沉迷麻将,老伴病重她不管,直到那天去办过户她彻底愣住

杭州大妈沉迷麻将,老伴病重她不管,直到那天去办过户她彻底愣住

牛魔王与芭蕉扇
2025-08-29 17:14:14
一句“老登”,让小鹏的新车发布会变成了全网争论

一句“老登”,让小鹏的新车发布会变成了全网争论

半耳聆
2026-10-25 11:21:49
演员黄磊女儿黄多多红毯首秀引热议!

演员黄磊女儿黄多多红毯首秀引热议!

韩小娱
2026-10-25 13:56:15
软银孙正义计划在马来西亚投资500亿美元,押注AI、数据中心

软银孙正义计划在马来西亚投资500亿美元,押注AI、数据中心

IT之家
2026-10-25 17:27:12
车辆被撞“报废”安全气囊未弹出?小鹏汽车回应

车辆被撞“报废”安全气囊未弹出?小鹏汽车回应

界面新闻
2026-10-26 10:38:28
我问了美院油画系的同学,王诗龄的绘画水平到底怎么样。同学轻轻叹气:我们最羡慕的,是她爷爷用画笔陪她长大。

我问了美院油画系的同学,王诗龄的绘画水平到底怎么样。同学轻轻叹气:我们最羡慕的,是她爷爷用画笔陪她长大。

背包旅行
2026-10-26 09:49:31
欧盟想和中国“一换一”,挽救阿斯麦企业,方案中国未必会同意

欧盟想和中国“一换一”,挽救阿斯麦企业,方案中国未必会同意

基斯默默
2026-10-26 01:39:57
蔡康永的回应来了,这个回应很有水平

蔡康永的回应来了,这个回应很有水平

大张的自留地
2026-10-26 10:11:50
1993年,杭州空姐周兵被赖昌星砸下1400万,送到厦门海关关长杨前线身边

1993年,杭州空姐周兵被赖昌星砸下1400万,送到厦门海关关长杨前线身边

宝哥精彩赛事
2026-10-25 11:36:21
场均轰35+6+4,率队3连胜,他让骑士追悔莫及

场均轰35+6+4,率队3连胜,他让骑士追悔莫及

篮球大视野
2026-10-26 13:14:43
法国政府是怎么把自己给作死的?

法国政府是怎么把自己给作死的?

爆角追踪
2026-10-25 18:10:20
恒大集团总裁夏海钧在逃

恒大集团总裁夏海钧在逃

地产微资讯
2026-10-26 08:11:27
多省党政主要负责同志调整

多省党政主要负责同志调整

上观新闻
2026-10-25 07:00:27
2026-10-26 14:03:00
爆角追踪
爆角追踪
全球热点事,一起来追踪。
1348文章数 214676关注度
往期回顾 全部

科技要闻

K3.1 Pro发布才两天,Kimi道歉补额度!

头条要闻

梅德韦杰夫喊话特朗普:泽连斯基有"十宗罪" 危害很大

头条要闻

梅德韦杰夫喊话特朗普:泽连斯基有"十宗罪" 危害很大

体育要闻

文班、约基奇和扬尼斯各自的处境

娱乐要闻

名导尤小刚:三婚两离 64岁首次做父亲

财经要闻

全球AI产业链迎“去杠杆”,何处是底?

汽车要闻

云辇-M上车 第二代海豹07让驾驶者也能爱上的家用车

态度原创

教育
手机
数码
本地
公开课

教育要闻

综合素质评价:初一不填、初三慌死——三年素材怎么归档才不抓瞎

手机要闻

前9月6K+分析:苹果占六成以上,华为占两成以上

数码要闻

铁三角发布旗舰木碗耳机ATH-AWX7000,定价3799美元

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版