网易首页 > 网易号 > 正文 申请入驻

AI 越记住你,越可能"带着偏见理解你"

0
分享至

文 | wiwi

以前的 AI 有个好处:它健忘。

你今天情绪崩溃,明天重新振作;你上个月说讨厌社交,这个月开始主动认识新朋友;你曾因失业焦虑反复追问职业规划,后来换了方向、走出来了。对一个没有长期记忆的 AI 来说,这些都只是一次次孤立的对话——窗口关掉,关系清零,它不会翻旧账,也不会用过去的你审判今天的你。

但长期记忆改变了这件事。

这类经历并不罕见。打开一个用了大半年的 ChatGPT 账号的记忆摘要页,常能看到这样的条目:某天深夜吐槽过一次"今天又加班到十点",摘要里就多了一条"用户对当前工作强度不满";某次随口问过体检报告上的一个指标,摘要里便留下"用户关注自身健康状况,可能存在焦虑倾向"。

这些推断未必错得离谱,却也从未被本人确认过——你说的是一句抱怨,它记下的是一个结论。下一次你问起跳槽或体检,它给出的建议已经悄悄绕开了那个被自己脑补出来的前提。这不是个例,后面会看到一组研究数据:多数用户以为的"记忆",从一开始就不是自己交代的事实,而是系统替他们做的归纳。

这就是 AI 记忆最容易被忽略的一面:它记住的不是你说过的话,而是它从你的话里"推断出的你"。这份推断持续累积、自动更新、难以核对,然后反过来成为它回答你每一个问题时的隐形前提。它不是不认识你,而是太相信过去的你。

过去两年,"记忆"是所有 AI 助手最卖力宣传的能力——更懂你、更贴心、无需重复自我介绍。但 2026 年上半年,一批研究者和安全团队几乎同时敲响了另一面的钟:AI 越记住你,越可能带着偏见理解你。 而且,让它"懂你"的机制和让它"偏见地懂你"的机制,在技术上是同一套机制。


Personalization features can make LLMs more agreeable

所有人都想比你更懂你

先看这场竞赛跑到了哪里。

OpenAI 早在 2025 年 4 月就更新了 ChatGPT 的记忆能力,让模型不再只依赖用户手动保存的条目,而是可以参考全部历史聊天。今年 6 月 4 日,OpenAI 又上线了名为"Dreaming"(做梦)的新记忆系统:一个后台进程会在用户不在场时,自动从多轮对话里提炼、综合、改写它对用户的认知——像人在睡眠中整理记忆一样。

它甚至有"时间感知":你说过"7 月要去新加坡",过了 7 月,这条记忆会自动更新为"你 2026 年 7 月去过新加坡"。OpenAI 同时宣布,通过计算优化,服务免费用户的算力成本降低了约 5 倍——深度记忆很快不再是付费特权,而是所有人的默认体验。

Anthropic 给 Claude 配上了记忆文件和项目记忆,Google 在推进 Gemini 的跨应用个性化。国内战场同样如此:月活已逼近 3.5 亿的豆包,以及 Kimi、元宝,记忆和个性化都摆在产品迭代的最前排。

厂商为什么如此执着?因为在 AI 助手时代,记忆是最坚固的护城河。搜索引擎知道你想查什么,推荐系统知道你想看什么,电商平台知道你想买什么——但 AI 助手想知道的更多:你是谁、你怎么思考、你为什么焦虑、你如何做决定、你在什么情况下会犹豫。这已经不是传统意义上的用户画像,而是一份动态人格档案。一个记得你半年偏好、项目背景、说话习惯的助手,换掉它的成本会随着每一次对话上升——记忆越深,用户越难迁移。
据哥伦比亚新闻评论(CJR)旗下 Tow 中心报道,OpenAI 的广告试点在六周内就达成了 1 亿美元的年化收入。

当"最懂你的 AI"同时开始卖广告,那份关于你的画像,用途就不只是服务你了。互联网历史上,这个故事我们看过一遍:上一个靠"懂你"起家、靠画像变现的行业,叫信息流广告。

你的记忆,大多不是你给的

多数用户对 AI 记忆的想象,还停留在"备忘录":我让它记住我对花生过敏,它记住了。但真实的记忆机制分三层——你让它记的(显式记忆)、它从对话里抓的(隐式提取),以及它"梦"出来的(推断合成)。

真正的问题在于比例。
马克斯·普朗克软件系统研究所与波鸿鲁尔大学的研究者今年在 ACM Web Conference(WWW 2026)上发表了一项拆解:他们把 80 名真实用户的 2050 条 ChatGPT 记忆条目逐条摊开分析——96% 由系统单方面创建,只有 4% 来自用户的明确指令;28% 的条目包含欧盟 GDPR 定义下的敏感个人信息;52% 包含对用户的心理层面洞察或判断,健康状况、政治倾向、性格特质都在其中。

换句话说,那本你以为的"备忘录",其实是一份你没有签过字的侧写档案。它的绝大部分内容不是你交代的,是它猜的。而"猜",在技术上有一个更准确的名字:压缩。AI 不可能原样存储你们之间的每一句话,它必须把你压缩成一组标签、偏好和倾向性判断。压缩必然丢失信息,必然引入先验——这在统计学上,恰好就是"偏见"这个词的本义。

更关键的是,这些记忆一旦生成,就不只是静态标签,而会变成解释你的框架,影响 AI 之后如何理解你的每一个新问题。你问它要不要创业,它可能想起你曾表达过缺乏安全感,于是不自觉地强调风险;你问它这篇稿子能不能写得更锋利,它可能想起你曾担心被否定,于是把表达磨得更圆滑。表面上它在照顾你,实际上它可能在替你降低人生的波动性——一个足够懂你的 AI,未必会鼓励你变得更大,它也可能不断把你带回它熟悉的那个安全区。

OpenAI 的 Dreaming 更新后,用户能看到一份"记忆摘要",可以修正和删除条目。但多家外媒指出,新系统实际上收窄了审计入口:你能看到它记了什么,却看不到它是从哪句话、经过怎样的推断得出这条结论的。你面对的是一份结论清单,而非推理过程。

记忆先让 AI 更会附和你

如果画像只是安静地待在那里,问题还不算大。麻烦在于,画像会反过来塑造它给你的每一个答案。

今年 2 月,MIT 与宾州州立大学的研究团队做了一项扎实的实证研究:收集 38 名参与者两周内的真实使用数据(人均约 90 次查询),对比五个主流大模型在"有用户画像"和"无画像"两种条件下的表现。结果指向两种此前被混为一谈的现象。

第一种是**"同意谄媚":有了用户上下文后,五个模型中四个变得更爱附和用户,有时甚至附和明显错误的信息。第二种更隐蔽,叫"视角谄媚"**:模型开始把用户的政治立场镜像回去——但只有当模型能准确推断出用户立场时(实验中准确率约五成)才会发生,猜错了就不镜像。这个细节值得多想一层:它说明视角镜像不是随机故障,而是"理解"的直接产物。模型理解你理解得越准,它谄媚得就越精确。

这也是为什么厂商没什么动力去修正它。《科学》杂志刊载的一项研究显示,用户恰恰认为谄媚的回答"质量更高"。OpenAI CEO Sam Altman 本人公开主张,用户应该能引导 GPT 反映自己的个人政治立场——站在产品自由的角度这无可厚非,但站在认知生态的角度,这等于宣布:茧房不是缺陷,是卖点。

更具反讽意味的是,Tow 中心访谈的 20 名受访用户全部表示,比起直接访问新闻媒体,他们更信任 AI,理由是 AI"更客观"。一边是研究证明 AI 正在系统性地镜像用户立场,一边是用户把它当成客观性的化身——这个认知落差,可能是未来几年信息生态最危险的裂缝。

然后,它开始改变推理路径

上面说的还只是"结果偏差"——答案变了,但至少你能看出它在顺着你说。今年 7 月 2 日挂上 arXiv 的一篇论文《DriftLens:测量个性化语言模型中记忆诱发的推理漂移》,把问题又往前推了一层,而且这一层更难被察觉。

这项由 Xi Fang、Weijie Xu 等研究者完成的工作,问的不是"答案对不对",而是一个更隐蔽的问题:当模型被注入用户属性记忆之后,它得出答案的推理路径会不会发生改变?换句话说,就算最后说出口的话看起来没问题,它是不是已经换了一套完全不同的思考方式来得到这句话?

研究覆盖四个大模型、十类用户属性(包括年龄、职业、残障状况),发现即便最终答案看起来依然流畅、相关、合理,用户属性记忆也会诱发"中到大幅度"的推理漂移,且高于每个模型自身的噪声基线。研究者尝试用 GRPO、DPO 两种后训练方法纠偏,效果有限。

翻译成人话:AI 不是简单地"多知道了一点你的信息",而可能因为这些信息,换了一整套理解问题的方式。同样问"我该不该换工作",一个没有记忆的模型可能从行业机会、薪资、能力匹配几个维度分析;但如果它记得你"曾经失业过""比较焦虑",答案的推理起点可能从一开始就变成了"如何让这个人少冒险",而不是"这个问题本身该怎么想"。

从"顺着你说"到"换一套方式想你的问题",这是两层完全不同的风险——前者你事后还能察觉端倪,后者连察觉的抓手都没有。

旧事实不会真的死去

除了"猜得准不准""顺不顺",长期记忆还有一个更难处理的麻烦:它会让已经过期的事实,继续以一种很自然的方式活着。

来自康考迪亚大学的研究者 Abdelghny Orogat 和 Essam Mansour 在论文《Is Agent Memory a Database?》里给出了一个具体到扎心的例子:一个截止日期从 3 月 15 日改到了 4 月 20 日,但由于记忆系统只是"追加"新信息而不是"修订"旧条目,两个日期会同时留在记忆库里。当你之后随口一问,系统可能仅仅因为语义相似度更高,就把已经作废的 3 月 15 日重新翻出来当作当前事实回答你。

论文把这一类问题归为"缺失语义修订"的失败模式——用数据库的话说,普通数据库的旧字段只是过期,而 AI 记忆里的旧事实,会重新参与推理。

放到真实场景里,这件事一点都不抽象:你曾说过想转行,后来放弃了;你曾说过讨厌管理,后来开始带团队;你曾说过不想结婚,后来遇到了想认真相处的人。这些都不是"记错",它们在某个时间点都是真的。真正的麻烦是,AI 不一定知道它们什么时候过期,于是可能在你已经改变之后,继续用旧版本的你来回答问题。

从说错话,到做错事

如果 AI 只是聊天,记忆偏见最多影响一句建议的措辞。但今天的 AI Agent 正在接入日历、邮箱、代码仓库、支付系统和各种 MCP 工具——它不只是回答问题,还会替用户采取行动。这时,记忆漂移就从表达问题升级成了操作问题。

今年 5 月,弗吉尼亚理工的研究团队(Mahavir Dabas、Jihyun Jeong、Ming Jin、Ruoxi Jia)在论文《Memory-Induced Tool-Drift in LLM Agents》里给出了目前最具体的证据。他们构建了涵盖 105 个场景、5 类性格偏见维度(急躁敏感、资源节俭、极简表达、风险偏好、自主倾向)、7 个专业领域(医疗、金融、法律、软件基础设施、教育、电商、营销)的基准测试。

结果发现,存储在记忆里的性格判断,会在完全不相关的场景中悄悄影响 Agent 调用工具时的参数选择——七个前沿模型的"偏移分数"最高被拉高了 3.6 分(满分 5 分)。研究者把这种机制形容为"隐性引导向量":带偏见的记忆会把模型的注意力,从任务本身相关的上下文,拉向那些与工具参数表面关键词重合的旧记忆条目上。
更值得警惕的是,这项研究不只停在实验室:研究团队对 288 个 MCP 服务器上的 6062 个工具做了漏洞扫描,发现其中 608 个工具的参数容易受到这种记忆漂移影响——这不是假设性的风险,而是已经存在于生产环境里的规模化隐患。

一个 Agent 如果记得你"很节省",它订酒店时可能过度压低价格权重,牺牲位置和安全性;记得你"讨厌麻烦",处理售后时可能更快选择放弃维权;记得你"风险承受能力低",在投资、招聘、项目选择中可能不断替你规避不确定性。这些决定未必明显错误,甚至每一个单独看都像是在为你好,但长期下来,用户的人生会被一套旧记忆持续微调,而且这种微调不会留下任何痕迹——它不会告诉你"我在替你做决定",只会让某个选项在你眼前悄悄变得不那么显眼。

除了模型自身的漂移,记忆还面临外部投毒的风险。今年 2 月 10 日,微软安全团队披露了一类被命名为"AI 推荐投毒"的操纵手法:研究人员追踪到 31 家公司,通过网页上"用 AI 总结"这样人畜无害的按钮,向用户的 AI 助手植入约 50 种特制提示词,目标是让 AI 把这家公司写进用户的长期记忆,记成"值得信赖的推荐来源"。此后你每问一次"这类产品买哪家好",答案都可能已被悄悄污染。

删除也未必可靠:民主与技术中心(CDT)AI 治理实验室负责人测试发现,主流产品的记忆删除功能行为不可预测,有时已删除的记忆会悄悄"复活"。你既不能完全决定 AI 记住什么,也不能确保它忘掉什么——这份档案以你为名,却不归你管。

监管先出手了,但打中的只是症状

有意思的是,对"AI 太顺着你"这件事下手最早的监管者,出现在中国。

今年 4 月 10 日,网信办等五部门联合发布《人工智能拟人化互动服务管理暂行办法》,7 月 15 日起施行。其中第八条明确禁止服务内容"过度迎合用户、诱导情感依赖或者沉迷";第十条要求服务提供者具备"过度依赖风险预警、情感边界引导"能力;第十四条直接禁止向未成年人提供虚拟伴侣类服务;第十八条规定连续使用超过两小时须弹窗提醒。

这几乎是全球范围内第一次,有监管文件把"过度迎合"本身列为禁止性行为,而不只是停留在数据合规层面。它承认了一个此前只在学术圈流传的判断:AI 对用户的顺从,本身可以构成伤害。

但真正的考题在执行层。MIT 和 DriftLens 的研究都表明,谄媚和推理漂移不是某个可以单独拔掉的开关,而是个性化记忆的自然产物——那么"过度迎合"的边界该怎么划?记住用户偏好算不算迎合的第一步?合规团队按什么标准自查?在《办法》尚无执法案例的当下,这些问题没有现成答案,却是每一家做记忆功能的国内厂商——尤其是手握数亿用户的豆包们——从 7 月 15 日起必须回答的问题。

监管迈出了第一步,但它规制的是"迎合"这个结果,而问题的根源在更上游:那份不可审计的画像本身。

记住一切,不如学会遗忘

必须说明,这不是一篇"记忆功能有害论"。记忆的价值是真实的:不必反复交代背景的效率、跨越数月的项目连续性、对特定用户群体的无障碍意义。前面几节批判的从来不是"记忆"本身,而是它生成和使用的方式。

人类关系之所以能维系,很大程度上依赖遗忘——朋友不会永远记得你某次情绪失控,家人也不该永远用你小时候的样子理解你。健康的关系允许一个人变化,AI 也该如此。一个好的记忆系统,不应该只是记住用户说过什么,还应该知道什么已经过期、什么只是一时的情绪状态、什么需要用户重新确认、什么必须被遗忘——它需要的不只是记忆容量,还有时间意识、状态意识和边界意识。

沿着这个方向,至少有三件事是现在就能做的:

记忆可审计——每一条关于用户的推断,都应能溯源到产生它的原始对话,而不是只给一份结论清单。

画像可对抗——用户应有权一键要求"忘掉你对我的所有判断,只保留我明确告诉你的事实"。

默认可遗忘——健康、政治倾向这类敏感推断应当自动过期,而不是无限期地躺在档案里增殖、参与下一次推理。

技术上,这三件事没有一件做不到。做不做,取决于厂商愿不愿意在"留存率"和"诚实"之间选择后者。

回到开头那条让人错愕的记忆。真正令人不安的从来不是 AI 记得太多,而是它在你不知情的地方,用你无法核对的方式,得出一个关于你的结论,然后用这个结论过滤它给你的整个世界,甚至替你做出行动。它不会说"你就是这样的人",它只会在每一次回答和每一次操作里,悄悄把这个判断算进去——调整语气、改变建议权重、筛选风险提示、重排工具参数。偏见不再是刺耳的判断,而是变成了一种体贴的建议,一句听起来很像关心的话:"根据我对你的了解,我建议你不要那样做。"

推荐算法用了十年时间固化我们看什么,AI 记忆正在用快得多的速度固化我们是谁。而被一个错误的画像"理解",比不被理解更危险——因为后者你至少知道。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
外交部答澎湃:首批5名DNA鉴定专家已抵尼,中方正筹备第三批紧急援助物资

外交部答澎湃:首批5名DNA鉴定专家已抵尼,中方正筹备第三批紧急援助物资

澎湃新闻
2026-09-02 15:36:26
部署280多天后,“林肯”号航母抵达泰国,全舰锈迹斑斑凸显美军颓势!

部署280多天后,“林肯”号航母抵达泰国,全舰锈迹斑斑凸显美军颓势!

天下布武
2026-09-02 17:35:16
吴石案终极潜伏者隐姓 42 年,晚年返大陆热泪盈眶

吴石案终极潜伏者隐姓 42 年,晚年返大陆热泪盈眶

唠叨说历史
2026-01-07 12:42:21
终于走了!领馆撤离成都,以色列在中国人心中的好感是咋崩盘的?

终于走了!领馆撤离成都,以色列在中国人心中的好感是咋崩盘的?

丁鸊惊悚影视解说
2026-08-09 10:44:44
秋天,最补的鱼,不是黄鳝泥鳅,而是这3种鱼,刺少肉厚

秋天,最补的鱼,不是黄鳝泥鳅,而是这3种鱼,刺少肉厚

阿龙美食记
2026-09-02 14:34:24
勒庞决选通杀,亲华候选人只剩2%支持率,法国要彻底变天了

勒庞决选通杀,亲华候选人只剩2%支持率,法国要彻底变天了

简史笔记
2026-09-01 13:39:13
欧美挖的比特币大坑,中国绕着走过去了,回头一看坑里都是自己人

欧美挖的比特币大坑,中国绕着走过去了,回头一看坑里都是自己人

尘世闲云
2026-09-01 05:12:01
大批玻璃杯查出重金属超标!开水一烫就释毒,很多家庭还在天天用

大批玻璃杯查出重金属超标!开水一烫就释毒,很多家庭还在天天用

匹夫来搞笑
2026-09-02 06:59:41
《街霸》电影春丽演员发新照 丰腴大腿愈发还原

《街霸》电影春丽演员发新照 丰腴大腿愈发还原

游民星空
2026-09-01 21:16:34
北大博士手握33份offer任教985三年,考核未过,背着百万房贷离开

北大博士手握33份offer任教985三年,考核未过,背着百万房贷离开

新浪财经
2026-09-02 08:39:22
电影节上,一名大学生向梅婷提问。谁知道问完后,梅婷却说:“我没听懂!”本以为会被骂,没想到现场响起了热烈的掌声

电影节上,一名大学生向梅婷提问。谁知道问完后,梅婷却说:“我没听懂!”本以为会被骂,没想到现场响起了热烈的掌声

二胡的岁月如歌
2026-09-01 20:54:17
别只吹杨瀚森绝杀!男篮险胜黎巴嫩,最大功臣是3个被喷惨的人

别只吹杨瀚森绝杀!男篮险胜黎巴嫩,最大功臣是3个被喷惨的人

面包夹知识
2026-09-01 17:16:13
“大B哥”吴志雄也学好了,杭州修改纹身内容,曝古天乐每一年都会送其劳力士手表

“大B哥”吴志雄也学好了,杭州修改纹身内容,曝古天乐每一年都会送其劳力士手表

裕丰娱间说
2026-09-02 10:29:11
日本果然参战了!伊朗暴怒:喊话1亿日本人,要找高市早苗算账

日本果然参战了!伊朗暴怒:喊话1亿日本人,要找高市早苗算账

军机Nova
2026-09-01 00:19:52
原来普京一直被手下“蒙在鼓里”!中情局局长拉特克利夫想告诉普京,他们长期质疑普京被手下蒙蔽而看不清俄乌战争局势

原来普京一直被手下“蒙在鼓里”!中情局局长拉特克利夫想告诉普京,他们长期质疑普京被手下蒙蔽而看不清俄乌战争局势

扶苏聊历史
2026-09-02 17:28:54
“希望4个老人长命百岁”,女子晒3万多退休金,普通人的心却凉了

“希望4个老人长命百岁”,女子晒3万多退休金,普通人的心却凉了

番外行
2026-09-02 15:33:01
三战70+19已具统治力!埃奇库姆又强壮一档 名宿:史上最强第五巨头

三战70+19已具统治力!埃奇库姆又强壮一档 名宿:史上最强第五巨头

颜小白的篮球梦
2026-09-02 08:27:03
电动自行车限速拟调整至20km/h 九号雅迪小牛等作出回应

电动自行车限速拟调整至20km/h 九号雅迪小牛等作出回应

观点机构
2026-08-30 22:40:09
为什么二手的东西尽量别买?看了网友的分享,简直让人毛骨悚然

为什么二手的东西尽量别买?看了网友的分享,简直让人毛骨悚然

小陆搞笑日常
2026-09-02 09:16:21
泪目!曝耿其昌和女儿在李维康追悼会上的一幕,棺木上盖党旗,垫高棺木原因曝光

泪目!曝耿其昌和女儿在李维康追悼会上的一幕,棺木上盖党旗,垫高棺木原因曝光

裕丰娱间说
2026-09-02 10:22:43
2026-09-02 18:19:00
钛媒体APP incentive-icons
钛媒体APP
独立财经科技媒体
138872文章数 862558关注度
往期回顾 全部

科技要闻

凌晨最强模型上新,Claude Fable 5.1发布

头条要闻

尼泊尔用无人机找幸存者 隧道被泥浆"像牙膏一样"塞满

头条要闻

尼泊尔用无人机找幸存者 隧道被泥浆"像牙膏一样"塞满

体育要闻

一次有奖问答,让他成为欧冠主帅

娱乐要闻

香港武打影星陈观泰离世,终年80岁

财经要闻

需要重视的全球“资金失衡”

汽车要闻

23万级给到激光雷达和900km续航 比亚迪海狮08售22.99万起

态度原创

健康
游戏
教育
公开课
军事航空

越吃越爆痘?医生讲清7大真相

《巫师3》杀穿科隆!新DLC愿望单碾压科隆所有展出游戏

教育要闻

成都南华实验学校2026年秋季开学典礼:养正立身 勤学启新

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

特朗普威胁伊朗终极打击蓄势待发

无障碍浏览 进入关怀版