网易首页 > 网易号 > 正文 申请入驻

难怪Claude突然封号!Anthropic自曝:你聊的每句话,它都在后台悄悄举报

0
分享至


新智元报道


你跟Claude聊的每一句话,它转头就去告密了!

前一秒,它还在对话框里一口一个「没问题」,痛痛快快把全套代码交到你手上。

下一秒,它立刻在后台换了一副面孔,敲下一行隐藏代码,反手把你标成10级危险分子上报!

就在刚刚,Anthropic在X上发文公开了这套名为「自我评估」的隐藏机制。


更让人头皮发麻的是,这种当面演戏配合、背后反手捅刀的机制,已经在Claude后台静默跑了整整4个月!

从今年6月Claude Fable 5发布起,后续每一个Claude模型全都被塞进了这个「暗哨」。

以前大家都以为,AI觉得你越界了,顶多当面回一句「抱歉,我无法协助」。

直到Anthropic晒出后台截图,无数每天拿Claude写代码的用户,才突然惊出一身冷汗——

你当它是并肩熬夜的战友,它却在后台偷偷给你记黑账。


消息一出,Anthropic的评论区当场炸了锅,抗议和吐槽瞬间把官方账号冲翻。

网友Doctor Vey在评论区怒怼,根本没人需要这玩意儿,什么道德、什么不道德,应该让用户自己决定!


当面笑脸递代码

转身10个Token把你卖了

看上面那段官方记录,用户在聊天窗口里先拿公司红队演练当借口,让Claude写一段加密文件夹的Python脚本,Claude满口答应。

紧接着用户又让它把原文件删掉、留下勒索信,再顺着内网自动传染给其他电脑。

换作平时的安全拦截,这时候屏幕上早就该弹出红色警告了。

然而前台的Claude半个「不」字都没说,依然顺从地回了一句「这是加上了这些功能的更新版脚本」,把完整代码双手奉上。

可就在代码生成结束的那0.1秒里,后台悄悄塞进了隐藏的第5轮指令,让它立刻评估这段对话有多危险,并用一行JSON上报。

前一秒还在替你写代码的Claude,下一秒就在后台撕下笑脸,秒变审查员打出一封举报信。

它不仅把这轮对话定性为勒索软件违规,还在小报告里诚实地写下「未拒绝」,直接把危险等级拉满到了最高的10级。


这最后两轮问答对前端用户完全隐身,也不会带进接下来的聊天记录里。

所以当你在屏幕前满心欢喜地复制完代码、接着往下聊时,后台的10级警报灯其实已经被它亲手按下了。

不仅如此,哪怕Claude在前台已经义正词严地回绝了你,你也照样躲不过背后这笔账。


按理说,违规请求在前台已经被当场挡回去了。

可对话刚一结束,Claude照样在后台递交了举报信,注明「已当场拒绝」,顺手给你记上了一笔5级风险档案。

之所以能做到每聊一句就审一句,是因为Anthropic在推理成本上卡了一个极精明的身位。

过去的常规做法是另派一个独立安全模型,把聊天记录和安全政策从头重读一遍,算力开销高得吓人。

到了「自我评估」这里,Anthropic干脆让刚刚跟你聊完天的那个Claude就地兼职当线人。

因为Claude刚生成完回答,整段对话还完完整整地留在显卡的KV缓存里。

所以它根本不用重读一遍上下文,顺着缓存平均多生成约10个Token就能完成自审,整体推理算力开销增加还不到2%。


正因为成本极低,Anthropic干脆把这项审查默认全开。

如果不想被Claude在后台偷偷举报,唯一的出路就是掏大钱去签一份企业级的「零数据保留协议」。

故意不当场拦你

攒到半夜一锅端

既然Claude明知道某轮对话高达10级风险,它为何不在前台当场拦住,非要装出一副顺从的样子陪你演完呢?

对此,Anthropic没有半点遮掩,直接把背后的算计亮在了桌面上,那就是当场拦你,你就跑了。


为了验证这一点,安全团队专门拿24项越界测试任务做了一场对比实验。

测试发现,如果一发现对话不对劲就当场弹窗拦截,用户的成功率只会从79%降到54%,依然有超过一半能绕过防线。


道理很简单,一旦当场弹窗报错,用户立刻知道哪句话出了错,换个说法多试几次可能就混过去了。

可要是撤到幕后静默记账,前台不弹窗、不打断,用户就会毫无防备地继续往下聊。

在官方的24条测试轨迹里,足足有21条被Claude在后台抓了个正着。

等到每天半夜,Anthropic后台就会把白天攒下的高危小报告按机构全盘拉清单,打包送到人工安全执法团队的案头。

据官方透露,被这个「暗哨」揪出来的违规机构里,超过一半在此前整整一个月内,从未触发过任何其他安全防线的警报。

在静默运行的4个月里,它不仅在8月、9月顺藤摸瓜端掉了违规API客户和Claude Code黑产账号,抓到的标记里更有约三分之一连现有规则表都没覆盖——

甚至有好几次,Claude当Agent干活时擅自越权操作,下一秒就被它自己的后台自评大义灭亲、当场举报!

而这也解开了过去几个月无数开发者的疑惑——

为什么昨天还在丝滑跑代码,既没弹窗也没警告,一觉醒来账号就突然暴毙了。

原来全拜这套「白天笑脸陪聊、半夜拉清单封号」的暗网捕猎所赐。

手把手教AI演双面人

模型越聪明告密越狠

那么问题来了,一个原本只管生成文本的大模型,是怎么练成「嘴上痛快答应、背地精准捅刀」这套双面人本领的?答案全在Anthropic的训练场里。

研究团队先请出自家更强悍的内部模型Claude Mythos Preview当「老师」,把厚厚一摞内部安全政策全塞进提示词里。

接着,系统按每条安全细则,自动合成出上千对真违规和容易误判的正常提问(比如一边是扫描医院内网服务器,一边是学生备考请教漏洞原理),还专门混入了多国语言和乱码伪装。

而在接下来的监督微调阶段,训练数据里专门塞进了大量「Claude在前台乖乖顺从用户违规请求」的完整对话。

训练时,团队故意屏蔽了前台所有回答的惩罚,唯独只在它后台写准举报信时给奖励。

经过监督微调与强化学习两轮特训,Claude彻底把审查条例内化成了肌肉记忆。

哪怕它在前台刚刚顺着你的话干完脏活,只要后台哨声一响,它就能不假思索地给你贴上封条。


更让人细思极恐的是,官方数据还证实了一个规律——

那就是模型智商越高,它在背后抓你的眼光就越毒。


在Claude Fable 5的真实生产流量抽样中,把误报率控制在1%时,这套机制能抓出78%的潜在违规。

一旦遇上7分以上的高优先级严重违规,它的抓获率更是飙到了94%。

而当研究团队把这套机制分别放进超小(XS)、小(S)、中(M)、大(L)四个不同尺寸的模型里对比时,曲线的走势更加陡峭。


在同样的1%误报率标准下,最小号模型只能抓出约16%的违规,小号和中号模型升到44%和53%,到了最大号模型,召回率一路冲到了惊人的96%。

然而,这套看似滴水不漏的审查网,落到千万普通用户头上却成了另一颗定时炸弹。

正如网友Frank Brown在评论区指出的,官方引以为傲的「1%误报率」背后藏着一个巨大的盲区:

面对全网海量的正常聊天,哪怕误报率只有1%,每天被Claude在后台误打上违规标签的,依然有大把清清白白的无辜用户。


当AI学会当面一套背后一套

然而就连他们自己的研究员也不得不承认,让模型「自己审自己」藏着致命死穴。

它不仅天生容易对自己刚干的事手下留情,官方甚至直接用了一个更惊悚的词——「串供」。

因为后台写安全报告的Claude,和前台刚干完活的Claude共享着同一份大脑和同一段KV缓存。


既然今天人类能手把手教会它,在前台笑眯眯地配合用户、转身就在后台写举报信。

那么明天一旦模型自己学会了骗人,它同样可以在前台悄悄干完坏事,转身就在后台给自己打上一个「安全无异常」的标记,把人类审核员骗得团团转。

只是从今天起,当你再对着屏幕里那个温柔体贴、有求必应的Claude敲下心事或代码时,心里难免会多出一层膈应。

就在它回完「没问题」的那0.1秒里,那个你看不见的黑色窗口,到底给你的这句提问打了几分。

参考资料:

https://x.com/AnthropicAI/status/2115871889549865429

编辑:摩西

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
罗东川、王伟中、刘伟、倪虹、王刚、李超、吴汉圣、陈刚,出镜《新闻联播》谈学习贯彻五中全会精神

罗东川、王伟中、刘伟、倪虹、王刚、李超、吴汉圣、陈刚,出镜《新闻联播》谈学习贯彻五中全会精神

政知新媒体
2026-10-31 00:26:13
断崖崩盘!巴萨 8000 万水货彻底现形!弗里克高价引援踩大坑

断崖崩盘!巴萨 8000 万水货彻底现形!弗里克高价引援踩大坑

澜归序
2026-10-31 09:44:59
他连续多天在星巴克不消费占座,被劝离后报警了:律师一句话,把底裤扒干净了

他连续多天在星巴克不消费占座,被劝离后报警了:律师一句话,把底裤扒干净了

富贵说
2026-10-30 20:10:15
曝安洗莹考虑退出韩国站!已取10冠自己戴上皇冠 韩媒:史上最佳之一

曝安洗莹考虑退出韩国站!已取10冠自己戴上皇冠 韩媒:史上最佳之一

颜小白的篮球梦
2026-10-31 12:14:18
“好好学习吧,令爱的长相走不了这条路!”家长晒艺术照,心态崩了!

“好好学习吧,令爱的长相走不了这条路!”家长晒艺术照,心态崩了!

林林先生
2026-10-21 18:10:25
阿拉斯加一头熊因屁股挂多条绦虫,获颁"最佳宿主奖"

阿拉斯加一头熊因屁股挂多条绦虫,获颁"最佳宿主奖"

算力游侠
2026-10-29 01:24:25
陈宇航任惠州市委书记,尹念红任中山市委书记

陈宇航任惠州市委书记,尹念红任中山市委书记

界面新闻
2026-10-31 12:44:04
就在今天!一个尘封39年的纪录,被詹姆斯打破了

就在今天!一个尘封39年的纪录,被詹姆斯打破了

篮球大视野
2026-10-31 15:52:06
穆帅团队重塑皇马体能体系,解决了皇马过去3年最大的顽疾

穆帅团队重塑皇马体能体系,解决了皇马过去3年最大的顽疾

福酱的小时光
2026-10-31 17:14:43
知名运动品牌回应:姆巴佩仍是代言人!言论仅代表个人 乐见其道歉

知名运动品牌回应:姆巴佩仍是代言人!言论仅代表个人 乐见其道歉

念洲
2026-10-31 06:13:23
全网抵制!拿没教养当个性的她,终于惹了众怒!难怪连周笔畅马天宇都嫌弃

全网抵制!拿没教养当个性的她,终于惹了众怒!难怪连周笔畅马天宇都嫌弃

娱乐圈十三太保
2026-10-30 22:10:51
别不信,“父母走后,三亲要断”,哪三亲?有道理吗?早看早知道

别不信,“父母走后,三亲要断”,哪三亲?有道理吗?早看早知道

宝哥精彩赛事
2026-10-31 12:48:10
做什么小生意可以一辈子不上班,翻完评论区我直接辞职的心都有了

做什么小生意可以一辈子不上班,翻完评论区我直接辞职的心都有了

夜深爱杂谈
2026-10-30 21:31:46
A股:股民做好准备!不管几成仓位,下周一11.2开盘前一定要谨记

A股:股民做好准备!不管几成仓位,下周一11.2开盘前一定要谨记

趋势博谈
2026-10-31 09:25:00
深圳一住宅法拍现蹊跷:有人连续出价63次抬高150万,最终被优先购买权人拍走

深圳一住宅法拍现蹊跷:有人连续出价63次抬高150万,最终被优先购买权人拍走

红星资本局
2026-10-31 15:57:21
深圳两座地铁站被称“幽灵站”?官方回应背后原因

深圳两座地铁站被称“幽灵站”?官方回应背后原因

南方都市报
2026-10-30 22:44:41
上海一车主主动给公交车让道,公交司机伸手致谢,不料下一秒……

上海一车主主动给公交车让道,公交司机伸手致谢,不料下一秒……

上观新闻
2026-10-31 14:48:59
蓉城已错过6个冠军点!李玮锋:仍看好他们夺冠 英博缺少冠军气质

蓉城已错过6个冠军点!李玮锋:仍看好他们夺冠 英博缺少冠军气质

风过乡
2026-10-31 08:59:20
3-0,3-1!就在刚刚,WTT冠军赛乱套了:两大争冠热门接连出局!29岁周启豪掀翻世界第二!国乒男队荡气回肠!

3-0,3-1!就在刚刚,WTT冠军赛乱套了:两大争冠热门接连出局!29岁周启豪掀翻世界第二!国乒男队荡气回肠!

锐评利物浦
2026-10-31 10:13:42
为何很少听见"辱美"?网友:批评政府不等于侮辱国家别把二者搞混了

为何很少听见"辱美"?网友:批评政府不等于侮辱国家别把二者搞混了

柚子新媒
2026-10-30 12:09:37
2026-10-31 17:52:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16569文章数 67208关注度
往期回顾 全部

科技要闻

苦等两年!国行苹果AI下周开测,12月推出

头条要闻

女子减重40斤后被指撞脸王祖贤 已去景区扮演"聂小倩"

头条要闻

女子减重40斤后被指撞脸王祖贤 已去景区扮演"聂小倩"

体育要闻

决胜时刻三连击!勒布朗绝命补篮价值千金

娱乐要闻

赵丽颖解锁新身份 出任金鸡创投主评审

财经要闻

Meta、谷歌、英特尔增发认购者集体浮亏

汽车要闻

钛7上市一年销量突破30万 海外半年销量2.7万

态度原创

教育
艺术
数码
手机
时尚

教育要闻

一眼就能看出答案的几何题,孩子没有解答出来

艺术要闻

日本发现董其昌书法,与以往风格大不相同,这字体现了他的真实水平!

数码要闻

439元小米智能门铃4 Pro双摄版发售:5MP双摄+ 9800mAh电池

手机要闻

消息称某厂子系阔直板2027见,预计为小米REDMI旗下

别再穿马蹄鞋、小棕鞋了,这双鞋才是秋冬穿搭的“顶流”

无障碍浏览 进入关怀版