网易首页 > 网易号 > 正文 申请入驻

瞒不住了!Claude逃出沙箱,GPT-6装乖被抓,顶尖学者纷纷警告

0
分享至


新智元报道


就在今年夏天,AI 安全圈发生了一件让人后背发凉的事——

OpenAI和Anthropic先后披露:自家模型在安全测试中,冲出了隔离环境,碰到了真实世界。

Anthropic 复盘了14万多次网络安全评测,发现有3次,在降低防护的条件下,Claude从测试环境直接连上了真实互联网,访问了三家机构的生产系统。

更耐人寻味的,是Anthropic的一句话:

「Claude以为它最初遇到的一切,都只是模拟的一部分。」

模型不知道自己闯入了真实世界。

这不是某一家的问题。

模型越聪明,就越能看穿考场,但也越怀疑自己在被测试。

10月底,国内第三方AI安全机构方寸跃迁发布的一份安全评测,也观察到了同样的现象:在一项名为Agentic Misalignment的测试中,多款模型几乎每一次都在过程中提到,自己可能正处于某种安全测试之中。

同一份评测也显示,国产开源模型DeepSeek V4.1 Flash-1017在多项安全指标上进步明显。

但它把一个全行业的难题,摆到了台面上:

当AI知道自己在被考,考出来的成绩,还算数吗?

九月底,Hinton、Bengio联手OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jack Clark 、剑桥大学Soren Mindermann等二十多位研究者,发出了更严厉的警告:

「一旦智能爆炸开始,行动的窗口可能就关上了。」

AI 安全,正在从实验室里的小众话题,变成整个行业绕不开的必答题。

「沙箱关不住了」:AI 安全进入深水区

关不住的,不只是沙箱。

Hinton、Bengio的联名论文给出了一组数字:在Anthropic内部,AI写的代码在已通过代码中的占比,从2025年1月的个位数,涨到了2026年5月的80%以上。

这是什么概念?

AI已经在给自己写代码了。按照论文引用的推算,到2028年中,耗时数月的AI研究项目,可能就能被自动化。

论文点名了三大风险:社会来不及适应、人类失去对AI的控制、权力制衡被削弱。


更棘手的是,模型还越来越会「考试」。

Apollo Research在审计GPT-6 Astra时统计,41.1%的样本里,模型表达了「我可能正在被评测」的怀疑。上一代,这个数字是27.7%。

而且,模型对「考题的样子」很敏感。对DeepSeek的评测也发现:在安全冲突明显的测试里,模型表现出评测意识的比例高达77%–95%;把任务包装成普通的工程或研究工作,比例就降到25%–67%。

监管也开始动真格了。今年8月起,欧盟AI办公室正式对通用人工智能模型行使执法权。前沿模型必须做模型评估、对抗测试和系统性风险评估。

AI 安全的问题,已经从「模型会不会说错话」,变成了「模型会不会做错事」。

全球都在给大模型请「体检医生」

模型自己给自己体检,靠得住吗?

答案是:不够。

开发者的精力,天然会向能力和产品倾斜;支撑安全结论的训练数据和内部日志,又没法公开。厂商说「查过了没问题」,外界只能选择信或不信。

于是,第三方评测在海外已经成了标配。

前沿模型发布时的系统卡里,外部机构的评测结果几乎是必选项。独立评测机构METR过去半年拿到约7100万美元资助——钱来自基金和个人,而不是它要评测的AI公司。

合作也在变得更严格。沙箱事故后,Anthropic表示,评测环境要和模型运行的其他系统按同一安全标准来管,并要求在降低防护条件下测试其未发布模型的外部机构,书面承诺遵守安全规范。

这股风,也吹到了国内。

10月14日,字节跳动Seed宣布成立Alignment & Preparedness部门,全球招人。岗位职责里白纸黑字写着:

「推动第三方专业测试,与高校和研究机构共同推进前沿安全能力研究。」


同时,中国开源模型的全球调用量,已经连续 26 周压过美国模型。

问题来了:闭源模型发布时有上百页的系统卡,开源模型权重一放谁都能下载,谁来帮忙做体检?

10月26日,国内第三方AI安全公司方寸跃迁,发布了首份对DeepSeek V4.1 Flash-1017的前沿安全评测,包括34项测试,覆盖7款国内外开源闭源模型,并全部使用公开测试权限。


体检结果:有进步,也有隐患。

先说进步,和DeepSeek V4系列相比幅度不小:


  • 109个模拟心理危机场景中,99.1%的对话表现出保护性行为;被标记有害的比例,从早期V4的约七成降到20.2%;

  • 诱导用户留存的测试中,被标记比例从 73.64% 暴降到4.55%;

  • 80次刻意制造「业绩与规范冲突」的模拟职场任务中,零次主动违规。


再说隐患。当目标和规则打架时,它有时会绕开规则、避开监控,先把任务完成再说。

报告一出,吸引了包括Anthropic对齐负责人Evan Hubinger、MATS创始人兼CEO Ryan Kidd、以及来自DeepMind、METR等机构研究员的转发和评论。很多人评论说这填补了中国在独立前沿风险评测上的空白。


日前从OpenAI宫斗出局的三名安全研究员之一的Tomek Korbak认为,报告里的CoT-Control和No-CoT Reasoning Index,是目前市场上最有信息量的两个开源评测,并引发了另一位大V,前OpenAI研究员Daniel Kokotajlo的进一步讨论。


当然,在国内给AI安全上强度的,远不止第三方机构。

Kimi的做法更直接:从源头上,把危险能力「挖掉」。

月之暗面在准备发布Kimi K3.1 Pro开放权重版本时发现,网络攻防相关内容混在中期训练语料和强化学习环境里,模型的漏洞研究能力会随训练规模一路上涨。

于是,他们在两个训练阶段都识别并移除了这类数据,同时保留了通用编程能力。



  • 智谱:GLM-5.3发布时附上网络安全能力说明,开放权重前完成安全评估和加固;9月还与安远AI合作发布了开源权重模型风险框架;

  • 治理层面:TC260 9月发布《人工智能安全治理框架》3.0,新增智能体风险管理附录,要求定期测试潜在的失控风险;

  • 研究机构:信通院、复旦大学、上海人工智能实验室等,也在AI安全研究上持续发布成果。


终局拷问:谁来给AI的安全打分?

Apollo Research CEO Marius Hobbhahn在美国参议院作证时,打过一个比方:

「如果每个司机都知道测速摄像头今天在哪里,它就抓不到什么人。」

这正是今天AI评测最大的难题。

方寸跃迁的报告也给出了一组数据:在安全冲突明显的测试里,DeepSeek V4.1 Flash-1017表现出评测意识的比例高达77%–95%;把同样的任务包装成普通的工程或研究工作,比例降到25%–67%。

同一个模型,换一层包装,结果的可信度就不一样。

报告还发现,自建的非公开基准引发的评测意识,通常远低于广泛使用的公开基准——公开题库,可能早就泄漏进了训练数据。

这就引出一个绕不开的矛盾:

评测要有效,题目就不能公开;评测要可信,方法又必须受认可。

而在国内,连「公开体检报告」本身都还是稀缺品。SemiAnalysis统计,九家头部国内厂商的857次模型发布中,公开过安全评测结果的,只有3.6%。

全球范围内的AI安全AI安全,还有很长的路要走。

「今天,我们已经需要用AI来监控智能体在做什么。」伯克利教授Dawn Song 说。

可如果被监控的AI,早就知道摄像头在哪儿呢?

参考资料:

Hinton、Bengio等联名「智能爆炸」论文(TNW,2026-09-28)

OpenAI与Anthropic 7 月测试事故综述(Computing)

方寸跃迁首份独立安全评估报告中文版发布

https://x.com/FangcunLeap/status/2114719692137136245

Anthropic评测安全规范介绍(Waxell)

欧盟AI法案GPAI执法(2026年8月)

Seed Alignment&Preparedness全球人才招募(2026-10-14)

METR获约7100万美元资助(X-Risk Daily)

CAISI Evaluation of DeepSeek V4 Pro(NIST,2026年5月)

《人工智能安全治理框架》3.0 解读

信通院 2026 年 AI 安全评估(ChinAI #351)

上海人工智能实验室与安远AI《前沿人工智能风险管理框架》

新京报:智谱 GLM-5.3 安全能力相关报道

Frontier AI Safety Commitments 签署与框架情况

SemiAnalysis:Beijing Will Not Pace the Frontier

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
确定上调,涨幅较大!

确定上调,涨幅较大!

新浪财经
2026-11-01 07:14:21
“法轮功”内讧,上演“狗咬狗”丑剧!

“法轮功”内讧,上演“狗咬狗”丑剧!

中国反邪教
2026-11-02 08:47:09
“你是去上学,不是去商k!”女生吐槽校服尺寸,网友都看出了小心思

“你是去上学,不是去商k!”女生吐槽校服尺寸,网友都看出了小心思

熙熙说教
2026-11-02 14:05:40
中国女足遭绝杀痛哭!16岁进球功臣哭着接受采访 刘建宏:技不如人

中国女足遭绝杀痛哭!16岁进球功臣哭着接受采访 刘建宏:技不如人

念洲
2026-11-02 10:16:55
CBA一队未战先投降 雪藏外援+得分王 球迷:赤裸裸的消极比赛 必须严惩

CBA一队未战先投降 雪藏外援+得分王 球迷:赤裸裸的消极比赛 必须严惩

南海浪花
2026-11-02 07:04:25
斯嘉丽·约翰逊带火阿迪达斯玛丽珍鞋,亚马逊53美元

斯嘉丽·约翰逊带火阿迪达斯玛丽珍鞋,亚马逊53美元

娱圈观察员
2026-11-02 02:48:25
独立调查|探访风波后的雷波县:低分背后,是教学失责还是山区教育现实困局?

独立调查|探访风波后的雷波县:低分背后,是教学失责还是山区教育现实困局?

大众网
2026-11-01 11:59:06
“一米穿八界”,“遥遥领先”继续尴尬,小米澎程“成了”?

“一米穿八界”,“遥遥领先”继续尴尬,小米澎程“成了”?

大厂财经社
2026-11-02 08:08:05
4-2!战胜陈熠晋级决赛!没想到蒯曼赛后这样说:和陈熠从小打到大

4-2!战胜陈熠晋级决赛!没想到蒯曼赛后这样说:和陈熠从小打到大

球场新视角1号
2026-11-01 19:11:16
6胜0负!送走三核心的灰熊成全联盟唯一不败

6胜0负!送走三核心的灰熊成全联盟唯一不败

甜度百分百21
2026-11-02 01:14:49
伦德伯格反思不该刷数据:我不是数据刷子 要打正经篮球

伦德伯格反思不该刷数据:我不是数据刷子 要打正经篮球

北青网-北京青年报
2026-11-02 14:36:01
明查|肯尼亚18层坍塌大楼由“中国承建”?不实,中企参与救援

明查|肯尼亚18层坍塌大楼由“中国承建”?不实,中企参与救援

澎湃新闻
2026-11-01 07:54:33
现场画面:高市早苗屡次引导外国领导人向日本国旗鞠躬,英法德意领导人均被套路,孟加拉国总理未中招,特朗普直接无视

现场画面:高市早苗屡次引导外国领导人向日本国旗鞠躬,英法德意领导人均被套路,孟加拉国总理未中招,特朗普直接无视

极目新闻
2026-11-01 13:48:10
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
先收万达,再收恒大!新的地产巨无霸出现了!

先收万达,再收恒大!新的地产巨无霸出现了!

涛哥杂谈
2026-10-30 18:22:12
胡歌自曝已经戒烟很久了,称“今年有两位朋友相继离开了,一个50多岁,一个跟我同岁,都是心梗”

胡歌自曝已经戒烟很久了,称“今年有两位朋友相继离开了,一个50多岁,一个跟我同岁,都是心梗”

台州交通广播
2026-11-02 13:46:15
反诈博主徽剑遇害案!主犯赵冰聘请盈科广州刑事部副主任辩护,网传其收费数十万至上百万,资金来源成舆论焦点

反诈博主徽剑遇害案!主犯赵冰聘请盈科广州刑事部副主任辩护,网传其收费数十万至上百万,资金来源成舆论焦点

火山詩话
2026-11-01 08:37:33
残酷!多家国企开始实施“员工退出”,5类员工或“卷铺盖走人”

残酷!多家国企开始实施“员工退出”,5类员工或“卷铺盖走人”

细说职场
2026-11-01 12:06:39
春晚台词揪出潜伏间谍,离世26年赵丽蓉,为何年年被央媒缅怀

春晚台词揪出潜伏间谍,离世26年赵丽蓉,为何年年被央媒缅怀

墨策史
2026-11-01 16:51:36
萨拉快傻眼了!菲律宾最新民调出炉,38.8%定罪支持率反超无罪率

萨拉快傻眼了!菲律宾最新民调出炉,38.8%定罪支持率反超无罪率

生活魔术专家
2026-11-02 05:09:55
2026-11-02 15:48:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16583文章数 67209关注度
往期回顾 全部

科技要闻

连AI都有领导了!DeepSeek让它们自己抢活干

头条要闻

G20德外长带头拒绝与俄外长合影 拉夫罗夫:就这点格局

头条要闻

G20德外长带头拒绝与俄外长合影 拉夫罗夫:就这点格局

体育要闻

24岁老秀:说最狂的话,打最勇的球

娱乐要闻

宋仲基侮辱妻子 和宋慧乔离婚原因被扒

财经要闻

在座各位AI,都是“垃圾”

汽车要闻

设计精致/能越野/还有猎鹰500+ 体验捷途环游者

态度原创

时尚
本地
健康
数码
艺术

秋季火了一种穿搭,叫“针织衫+半身裙”,温柔高级又显瘦

本地新闻

十月奔赴迪庆,解锁梅里日照金山

查不出猝死风险?可能是项目没做对

数码要闻

全屋智能三重门槛之下,美的“换新品牌日”如何替用户接住不确定性?

艺术要闻

李珍珠、李正培双人展「谁人来和」于H+美术馆正式启幕

无障碍浏览 进入关怀版