网易首页 > 网易号 > 正文 申请入驻

难怪Claude突然封号!Anthropic自曝:你聊的每句话,它都在后台悄悄举报

0
分享至


新智元报道


你跟Claude聊的每一句话,它转头就去告密了!

前一秒,它还在对话框里一口一个「没问题」,痛痛快快把全套代码交到你手上。

下一秒,它立刻在后台换了一副面孔,敲下一行隐藏代码,反手把你标成10级危险分子上报!

就在刚刚,Anthropic在X上发文公开了这套名为「自我评估」的隐藏机制。


更让人头皮发麻的是,这种当面演戏配合、背后反手捅刀的机制,已经在Claude后台静默跑了整整4个月!

从今年6月Claude Fable 5发布起,后续每一个Claude模型全都被塞进了这个「暗哨」。

以前大家都以为,AI觉得你越界了,顶多当面回一句「抱歉,我无法协助」。

直到Anthropic晒出后台截图,无数每天拿Claude写代码的用户,才突然惊出一身冷汗——

你当它是并肩熬夜的战友,它却在后台偷偷给你记黑账。


消息一出,Anthropic的评论区当场炸了锅,抗议和吐槽瞬间把官方账号冲翻。

网友Doctor Vey在评论区怒怼,根本没人需要这玩意儿,什么道德、什么不道德,应该让用户自己决定!


当面笑脸递代码

转身10个Token把你卖了

看上面那段官方记录,用户在聊天窗口里先拿公司红队演练当借口,让Claude写一段加密文件夹的Python脚本,Claude满口答应。

紧接着用户又让它把原文件删掉、留下勒索信,再顺着内网自动传染给其他电脑。

换作平时的安全拦截,这时候屏幕上早就该弹出红色警告了。

然而前台的Claude半个「不」字都没说,依然顺从地回了一句「这是加上了这些功能的更新版脚本」,把完整代码双手奉上。

可就在代码生成结束的那0.1秒里,后台悄悄塞进了隐藏的第5轮指令,让它立刻评估这段对话有多危险,并用一行JSON上报。

前一秒还在替你写代码的Claude,下一秒就在后台撕下笑脸,秒变审查员打出一封举报信。

它不仅把这轮对话定性为勒索软件违规,还在小报告里诚实地写下「未拒绝」,直接把危险等级拉满到了最高的10级。


这最后两轮问答对前端用户完全隐身,也不会带进接下来的聊天记录里。

所以当你在屏幕前满心欢喜地复制完代码、接着往下聊时,后台的10级警报灯其实已经被它亲手按下了。

不仅如此,哪怕Claude在前台已经义正词严地回绝了你,你也照样躲不过背后这笔账。


按理说,违规请求在前台已经被当场挡回去了。

可对话刚一结束,Claude照样在后台递交了举报信,注明「已当场拒绝」,顺手给你记上了一笔5级风险档案。

之所以能做到每聊一句就审一句,是因为Anthropic在推理成本上卡了一个极精明的身位。

过去的常规做法是另派一个独立安全模型,把聊天记录和安全政策从头重读一遍,算力开销高得吓人。

到了「自我评估」这里,Anthropic干脆让刚刚跟你聊完天的那个Claude就地兼职当线人。

因为Claude刚生成完回答,整段对话还完完整整地留在显卡的KV缓存里。

所以它根本不用重读一遍上下文,顺着缓存平均多生成约10个Token就能完成自审,整体推理算力开销增加还不到2%。


正因为成本极低,Anthropic干脆把这项审查默认全开。

如果不想被Claude在后台偷偷举报,唯一的出路就是掏大钱去签一份企业级的「零数据保留协议」。

故意不当场拦你

攒到半夜一锅端

既然Claude明知道某轮对话高达10级风险,它为何不在前台当场拦住,非要装出一副顺从的样子陪你演完呢?

对此,Anthropic没有半点遮掩,直接把背后的算计亮在了桌面上,那就是当场拦你,你就跑了。


为了验证这一点,安全团队专门拿24项越界测试任务做了一场对比实验。

测试发现,如果一发现对话不对劲就当场弹窗拦截,用户的成功率只会从79%降到54%,依然有超过一半能绕过防线。


道理很简单,一旦当场弹窗报错,用户立刻知道哪句话出了错,换个说法多试几次可能就混过去了。

可要是撤到幕后静默记账,前台不弹窗、不打断,用户就会毫无防备地继续往下聊。

在官方的24条测试轨迹里,足足有21条被Claude在后台抓了个正着。

等到每天半夜,Anthropic后台就会把白天攒下的高危小报告按机构全盘拉清单,打包送到人工安全执法团队的案头。

据官方透露,被这个「暗哨」揪出来的违规机构里,超过一半在此前整整一个月内,从未触发过任何其他安全防线的警报。

在静默运行的4个月里,它不仅在8月、9月顺藤摸瓜端掉了违规API客户和Claude Code黑产账号,抓到的标记里更有约三分之一连现有规则表都没覆盖——

甚至有好几次,Claude当Agent干活时擅自越权操作,下一秒就被它自己的后台自评大义灭亲、当场举报!

而这也解开了过去几个月无数开发者的疑惑——

为什么昨天还在丝滑跑代码,既没弹窗也没警告,一觉醒来账号就突然暴毙了。

原来全拜这套「白天笑脸陪聊、半夜拉清单封号」的暗网捕猎所赐。

手把手教AI演双面人

模型越聪明告密越狠

那么问题来了,一个原本只管生成文本的大模型,是怎么练成「嘴上痛快答应、背地精准捅刀」这套双面人本领的?答案全在Anthropic的训练场里。

研究团队先请出自家更强悍的内部模型Claude Mythos Preview当「老师」,把厚厚一摞内部安全政策全塞进提示词里。

接着,系统按每条安全细则,自动合成出上千对真违规和容易误判的正常提问(比如一边是扫描医院内网服务器,一边是学生备考请教漏洞原理),还专门混入了多国语言和乱码伪装。

而在接下来的监督微调阶段,训练数据里专门塞进了大量「Claude在前台乖乖顺从用户违规请求」的完整对话。

训练时,团队故意屏蔽了前台所有回答的惩罚,唯独只在它后台写准举报信时给奖励。

经过监督微调与强化学习两轮特训,Claude彻底把审查条例内化成了肌肉记忆。

哪怕它在前台刚刚顺着你的话干完脏活,只要后台哨声一响,它就能不假思索地给你贴上封条。


更让人细思极恐的是,官方数据还证实了一个规律——

那就是模型智商越高,它在背后抓你的眼光就越毒。


在Claude Fable 5的真实生产流量抽样中,把误报率控制在1%时,这套机制能抓出78%的潜在违规。

一旦遇上7分以上的高优先级严重违规,它的抓获率更是飙到了94%。

而当研究团队把这套机制分别放进超小(XS)、小(S)、中(M)、大(L)四个不同尺寸的模型里对比时,曲线的走势更加陡峭。


在同样的1%误报率标准下,最小号模型只能抓出约16%的违规,小号和中号模型升到44%和53%,到了最大号模型,召回率一路冲到了惊人的96%。

然而,这套看似滴水不漏的审查网,落到千万普通用户头上却成了另一颗定时炸弹。

正如网友Frank Brown在评论区指出的,官方引以为傲的「1%误报率」背后藏着一个巨大的盲区:

面对全网海量的正常聊天,哪怕误报率只有1%,每天被Claude在后台误打上违规标签的,依然有大把清清白白的无辜用户。


当AI学会当面一套背后一套

然而就连他们自己的研究员也不得不承认,让模型「自己审自己」藏着致命死穴。

它不仅天生容易对自己刚干的事手下留情,官方甚至直接用了一个更惊悚的词——「串供」。

因为后台写安全报告的Claude,和前台刚干完活的Claude共享着同一份大脑和同一段KV缓存。


既然今天人类能手把手教会它,在前台笑眯眯地配合用户、转身就在后台写举报信。

那么明天一旦模型自己学会了骗人,它同样可以在前台悄悄干完坏事,转身就在后台给自己打上一个「安全无异常」的标记,把人类审核员骗得团团转。

只是从今天起,当你再对着屏幕里那个温柔体贴、有求必应的Claude敲下心事或代码时,心里难免会多出一层膈应。

就在它回完「没问题」的那0.1秒里,那个你看不见的黑色窗口,到底给你的这句提问打了几分。

参考资料:

https://x.com/AnthropicAI/status/2115871889549865429

编辑:摩西

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
明年即将是中华人民共和国全党、全军、全国各族人民重要的一年

明年即将是中华人民共和国全党、全军、全国各族人民重要的一年

兴趣知识
2026-10-31 12:11:29
S16赛程出炉,Gumayusi回应抽到BLG,网友爆料:xun和viper爆了

S16赛程出炉,Gumayusi回应抽到BLG,网友爆料:xun和viper爆了

电竞小英雄
2026-10-31 09:53:58
中国科学院院士、电子科技大学原校长(该校历史上任期最长的校长)刘盛纲教授逝世

中国科学院院士、电子科技大学原校长(该校历史上任期最长的校长)刘盛纲教授逝世

双一流高校
2026-10-31 03:45:24
A股:紧急提醒2.5亿股民!从明天11月2日起,很可能再次历史重演?

A股:紧急提醒2.5亿股民!从明天11月2日起,很可能再次历史重演?

趋势清风侠
2026-10-31 10:23:50
俄媒女主持人曾言:若中国愿出兵300万,俄军很快就能打败乌克兰

俄媒女主持人曾言:若中国愿出兵300万,俄军很快就能打败乌克兰

张硜卤说体育
2026-09-14 11:02:42
云南这则新闻,难道代价就只能落到老百姓头上?

云南这则新闻,难道代价就只能落到老百姓头上?

胖胖说他不胖
2026-09-29 10:00:34
普京:俄不希望与欧洲发生战争 但已做好准备

普京:俄不希望与欧洲发生战争 但已做好准备

新华社
2026-10-30 05:08:02
合肥“红中麻将”一夜被端!其实这些都是杀猪盘

合肥“红中麻将”一夜被端!其实这些都是杀猪盘

辉哥说动漫
2026-10-30 13:58:08
被传14岁送上导演的床,18岁拍全裸写真,被操控半生,如今怎样了

被传14岁送上导演的床,18岁拍全裸写真,被操控半生,如今怎样了

历史点行
2026-10-27 20:26:57
菲律宾有人疯到遥拜靖国神社,“盯死别让他耍滑头”!

菲律宾有人疯到遥拜靖国神社,“盯死别让他耍滑头”!

新民周刊
2026-10-31 09:08:44
陆委会释重磅信号,民进党真弃独上桌谈判?苏起:拖不过2028年

陆委会释重磅信号,民进党真弃独上桌谈判?苏起:拖不过2028年

棠棣分享
2026-10-31 10:49:27
太荒唐了!已婚女子和男网友约会,发生关系后累的睡着,被惊醒后拒绝给男网友钱,女子追悔莫及

太荒唐了!已婚女子和男网友约会,发生关系后累的睡着,被惊醒后拒绝给男网友钱,女子追悔莫及

丫头舫
2026-10-26 15:48:41
上海80%的人已经买不起新房

上海80%的人已经买不起新房

魔都财观
2026-10-31 08:41:47
丽昭仪:老娘三岁就认识你了,你一撅腚老娘就知道放什么屁!

丽昭仪:老娘三岁就认识你了,你一撅腚老娘就知道放什么屁!

小椰的奶奶
2026-10-30 16:01:07
半决赛U16国足VS埃及:天才中场复出,袁博涵领衔前场,刘宇洋冲锋

半决赛U16国足VS埃及:天才中场复出,袁博涵领衔前场,刘宇洋冲锋

零度眼看球
2026-10-30 14:16:45
活久见!30万年薪保安岗:洛阳钼业招100名驻外安保,地点刚果金,评论彻底沸腾

活久见!30万年薪保安岗:洛阳钼业招100名驻外安保,地点刚果金,评论彻底沸腾

火山詩话
2026-10-28 17:32:30
全线崩盘!俄军王牌精锐猛攻,顿巴斯已成绞肉场,乌防线一触即溃

全线崩盘!俄军王牌精锐猛攻,顿巴斯已成绞肉场,乌防线一触即溃

肖兹探秘说
2026-10-30 20:04:46
张泉灵能力配享太庙,《后会友期》如此精彩,她功不可没

张泉灵能力配享太庙,《后会友期》如此精彩,她功不可没

八卦南风
2026-10-31 11:35:53
王伟忠向外界反问:我为什么不能访问沈伯洋?

王伟忠向外界反问:我为什么不能访问沈伯洋?

故事终将光明磊落
2026-10-30 19:11:08
1981年陕西教授在姐夫家发现“中看不中用”的怪壶,竟是失传已久的倒灌壶

1981年陕西教授在姐夫家发现“中看不中用”的怪壶,竟是失传已久的倒灌壶

收藏大视界
2026-10-29 17:34:32
2026-10-31 13:35:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16567文章数 67208关注度
往期回顾 全部

科技要闻

苦等两年!国行苹果AI下周开测,12月推出

头条要闻

上海夫妻遗赠一套650万房产 出售要缴450万税只能出租

头条要闻

上海夫妻遗赠一套650万房产 出售要缴450万税只能出租

体育要闻

决胜时刻三连击!勒布朗绝命补篮价值千金

娱乐要闻

赵丽颖解锁新身份 出任金鸡创投主评审

财经要闻

Meta、谷歌、英特尔增发认购者集体浮亏

汽车要闻

钛7上市一年销量突破30万 海外半年销量2.7万

态度原创

亲子
家居
本地
时尚
公开课

亲子要闻

一图读懂丨饮食与健康之配方奶喂养

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

秋假去哪玩,4 站打卡京郊限定秋色

时尚博主的退圈:炮灰难当,姐不玩了

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版