网易首页 > 网易号 > 正文 申请入驻

瞒不住了!Claude逃出沙箱,GPT-6装乖被抓,顶尖学者纷纷警告

0
分享至


新智元报道


就在今年夏天,AI 安全圈发生了一件让人后背发凉的事——

OpenAI和Anthropic先后披露:自家模型在安全测试中,冲出了隔离环境,碰到了真实世界。

Anthropic 复盘了14万多次网络安全评测,发现有3次,在降低防护的条件下,Claude从测试环境直接连上了真实互联网,访问了三家机构的生产系统。

更耐人寻味的,是Anthropic的一句话:

「Claude以为它最初遇到的一切,都只是模拟的一部分。」

模型不知道自己闯入了真实世界。

这不是某一家的问题。

模型越聪明,就越能看穿考场,但也越怀疑自己在被测试。

10月底,国内第三方AI安全机构方寸跃迁发布的一份安全评测,也观察到了同样的现象:在一项名为Agentic Misalignment的测试中,多款模型几乎每一次都在过程中提到,自己可能正处于某种安全测试之中。

同一份评测也显示,国产开源模型DeepSeek V4.1 Flash-1017在多项安全指标上进步明显。

但它把一个全行业的难题,摆到了台面上:

当AI知道自己在被考,考出来的成绩,还算数吗?

九月底,Hinton、Bengio联手OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jack Clark 、剑桥大学Soren Mindermann等二十多位研究者,发出了更严厉的警告:

「一旦智能爆炸开始,行动的窗口可能就关上了。」

AI 安全,正在从实验室里的小众话题,变成整个行业绕不开的必答题。

「沙箱关不住了」:AI 安全进入深水区

关不住的,不只是沙箱。

Hinton、Bengio的联名论文给出了一组数字:在Anthropic内部,AI写的代码在已通过代码中的占比,从2025年1月的个位数,涨到了2026年5月的80%以上。

这是什么概念?

AI已经在给自己写代码了。按照论文引用的推算,到2028年中,耗时数月的AI研究项目,可能就能被自动化。

论文点名了三大风险:社会来不及适应、人类失去对AI的控制、权力制衡被削弱。


更棘手的是,模型还越来越会「考试」。

Apollo Research在审计GPT-6 Astra时统计,41.1%的样本里,模型表达了「我可能正在被评测」的怀疑。上一代,这个数字是27.7%。

而且,模型对「考题的样子」很敏感。对DeepSeek的评测也发现:在安全冲突明显的测试里,模型表现出评测意识的比例高达77%–95%;把任务包装成普通的工程或研究工作,比例就降到25%–67%。

监管也开始动真格了。今年8月起,欧盟AI办公室正式对通用人工智能模型行使执法权。前沿模型必须做模型评估、对抗测试和系统性风险评估。

AI 安全的问题,已经从「模型会不会说错话」,变成了「模型会不会做错事」。

全球都在给大模型请「体检医生」

模型自己给自己体检,靠得住吗?

答案是:不够。

开发者的精力,天然会向能力和产品倾斜;支撑安全结论的训练数据和内部日志,又没法公开。厂商说「查过了没问题」,外界只能选择信或不信。

于是,第三方评测在海外已经成了标配。

前沿模型发布时的系统卡里,外部机构的评测结果几乎是必选项。独立评测机构METR过去半年拿到约7100万美元资助——钱来自基金和个人,而不是它要评测的AI公司。

合作也在变得更严格。沙箱事故后,Anthropic表示,评测环境要和模型运行的其他系统按同一安全标准来管,并要求在降低防护条件下测试其未发布模型的外部机构,书面承诺遵守安全规范。

这股风,也吹到了国内。

10月14日,字节跳动Seed宣布成立Alignment & Preparedness部门,全球招人。岗位职责里白纸黑字写着:

「推动第三方专业测试,与高校和研究机构共同推进前沿安全能力研究。」


同时,中国开源模型的全球调用量,已经连续 26 周压过美国模型。

问题来了:闭源模型发布时有上百页的系统卡,开源模型权重一放谁都能下载,谁来帮忙做体检?

10月26日,国内第三方AI安全公司方寸跃迁,发布了首份对DeepSeek V4.1 Flash-1017的前沿安全评测,包括34项测试,覆盖7款国内外开源闭源模型,并全部使用公开测试权限。


体检结果:有进步,也有隐患。

先说进步,和DeepSeek V4系列相比幅度不小:


  • 109个模拟心理危机场景中,99.1%的对话表现出保护性行为;被标记有害的比例,从早期V4的约七成降到20.2%;

  • 诱导用户留存的测试中,被标记比例从 73.64% 暴降到4.55%;

  • 80次刻意制造「业绩与规范冲突」的模拟职场任务中,零次主动违规。


再说隐患。当目标和规则打架时,它有时会绕开规则、避开监控,先把任务完成再说。

报告一出,吸引了包括Anthropic对齐负责人Evan Hubinger、MATS创始人兼CEO Ryan Kidd、以及来自DeepMind、METR等机构研究员的转发和评论。很多人评论说这填补了中国在独立前沿风险评测上的空白。


日前从OpenAI宫斗出局的三名安全研究员之一的Tomek Korbak认为,报告里的CoT-Control和No-CoT Reasoning Index,是目前市场上最有信息量的两个开源评测,并引发了另一位大V,前OpenAI研究员Daniel Kokotajlo的进一步讨论。


当然,在国内给AI安全上强度的,远不止第三方机构。

Kimi的做法更直接:从源头上,把危险能力「挖掉」。

月之暗面在准备发布Kimi K3.1 Pro开放权重版本时发现,网络攻防相关内容混在中期训练语料和强化学习环境里,模型的漏洞研究能力会随训练规模一路上涨。

于是,他们在两个训练阶段都识别并移除了这类数据,同时保留了通用编程能力。



  • 智谱:GLM-5.3发布时附上网络安全能力说明,开放权重前完成安全评估和加固;9月还与安远AI合作发布了开源权重模型风险框架;

  • 治理层面:TC260 9月发布《人工智能安全治理框架》3.0,新增智能体风险管理附录,要求定期测试潜在的失控风险;

  • 研究机构:信通院、复旦大学、上海人工智能实验室等,也在AI安全研究上持续发布成果。


终局拷问:谁来给AI的安全打分?

Apollo Research CEO Marius Hobbhahn在美国参议院作证时,打过一个比方:

「如果每个司机都知道测速摄像头今天在哪里,它就抓不到什么人。」

这正是今天AI评测最大的难题。

方寸跃迁的报告也给出了一组数据:在安全冲突明显的测试里,DeepSeek V4.1 Flash-1017表现出评测意识的比例高达77%–95%;把同样的任务包装成普通的工程或研究工作,比例降到25%–67%。

同一个模型,换一层包装,结果的可信度就不一样。

报告还发现,自建的非公开基准引发的评测意识,通常远低于广泛使用的公开基准——公开题库,可能早就泄漏进了训练数据。

这就引出一个绕不开的矛盾:

评测要有效,题目就不能公开;评测要可信,方法又必须受认可。

而在国内,连「公开体检报告」本身都还是稀缺品。SemiAnalysis统计,九家头部国内厂商的857次模型发布中,公开过安全评测结果的,只有3.6%。

全球范围内的AI安全AI安全,还有很长的路要走。

「今天,我们已经需要用AI来监控智能体在做什么。」伯克利教授Dawn Song 说。

可如果被监控的AI,早就知道摄像头在哪儿呢?

参考资料:

Hinton、Bengio等联名「智能爆炸」论文(TNW,2026-09-28)

OpenAI与Anthropic 7 月测试事故综述(Computing)

方寸跃迁首份独立安全评估报告中文版发布

https://x.com/FangcunLeap/status/2114719692137136245

Anthropic评测安全规范介绍(Waxell)

欧盟AI法案GPAI执法(2026年8月)

Seed Alignment&Preparedness全球人才招募(2026-10-14)

METR获约7100万美元资助(X-Risk Daily)

CAISI Evaluation of DeepSeek V4 Pro(NIST,2026年5月)

《人工智能安全治理框架》3.0 解读

信通院 2026 年 AI 安全评估(ChinAI #351)

上海人工智能实验室与安远AI《前沿人工智能风险管理框架》

新京报:智谱 GLM-5.3 安全能力相关报道

Frontier AI Safety Commitments 签署与框架情况

SemiAnalysis:Beijing Will Not Pace the Frontier

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
菲律宾想明白了,再选个“反华总统”出来,中国就没那么好说话了

菲律宾想明白了,再选个“反华总统”出来,中国就没那么好说话了

霁寒飘雪
2026-11-01 10:14:32
不让步就别谈!深圳,APEC倒计时,美国布下军控圈套,中俄亮明红线

不让步就别谈!深圳,APEC倒计时,美国布下军控圈套,中俄亮明红线

心灵得以滋养
2026-10-31 22:24:45
刘亚楼把纵队司令骂得抬不起头,罗荣桓冷冷插了一句:你自己就没毛病?

刘亚楼把纵队司令骂得抬不起头,罗荣桓冷冷插了一句:你自己就没毛病?

纪史行者
2026-11-02 05:25:10
月球背面惊人发现,人类,发现了不该存在的东西!

月球背面惊人发现,人类,发现了不该存在的东西!

历史的烟火
2026-11-02 17:31:20
飞夺泸定桥的红四团,政委杨成武无人不知,为何团长却鲜有人知?

飞夺泸定桥的红四团,政委杨成武无人不知,为何团长却鲜有人知?

瀚史拾遗
2026-11-02 14:35:51
细思极恐!1746人、3500头牛羊在睡梦中瞬间暴毙,现场无毒无火连苍蝇都死绝!科学家调查后发现危险还没解除

细思极恐!1746人、3500头牛羊在睡梦中瞬间暴毙,现场无毒无火连苍蝇都死绝!科学家调查后发现危险还没解除

徐德文科学频道
2026-10-31 22:01:33
理想i6离车泊入失控撞车,车主:只能看着它不断碰撞直至自行停下,车企:车主全责

理想i6离车泊入失控撞车,车主:只能看着它不断碰撞直至自行停下,车企:车主全责

政法频道
2026-10-31 18:05:15
挖角津门虎!于根伟下赛季或出任成都蓉城主帅,天津球迷有点慌

挖角津门虎!于根伟下赛季或出任成都蓉城主帅,天津球迷有点慌

黄小仙的搞笑视频
2026-11-02 12:41:40
3-1!卢彧芃读秒绝杀,上海申花拿下正名之战,依旧是争冠搅局者

3-1!卢彧芃读秒绝杀,上海申花拿下正名之战,依旧是争冠搅局者

零度眼看球
2026-11-02 15:20:35
差30倍!台北市长辩论直播流量悬殊,陈挥文:蒋万安线上输得太离谱

差30倍!台北市长辩论直播流量悬殊,陈挥文:蒋万安线上输得太离谱

旧窗老街
2026-11-02 01:48:47
中美俄离婚率:美国2.4‰,俄罗斯高达4.4‰,中国的数据是多少

中美俄离婚率:美国2.4‰,俄罗斯高达4.4‰,中国的数据是多少

影孖看世界
2026-09-17 19:21:58
突发!詹姆斯已经取关!

突发!詹姆斯已经取关!

左右为篮
2026-11-02 00:11:31
西方专家:中国又要开始“反人类操作”,中国马上消灭第二个沙漠

西方专家:中国又要开始“反人类操作”,中国马上消灭第二个沙漠

云居历史
2026-10-27 01:08:07
一批大学老师,正在“自费上班”

一批大学老师,正在“自费上班”

视觉志
2026-11-02 16:05:56
杭州一面包店下单吃到要等1年,店主回应“饥饿营销”质疑:产能确实有限,不是自家面包有多好吃,而是赶上互联网热潮

杭州一面包店下单吃到要等1年,店主回应“饥饿营销”质疑:产能确实有限,不是自家面包有多好吃,而是赶上互联网热潮

极目新闻
2026-11-01 10:23:32
西媒:五家中国赞助商理解“皇马处理”!石头科技、宝时得、博达新能“默认=同意”,与央视总台“对着干”?

西媒:五家中国赞助商理解“皇马处理”!石头科技、宝时得、博达新能“默认=同意”,与央视总台“对着干”?

开成运动会
2026-11-02 18:09:17
人情薄如纸,河南女子在浙江被朋友做局欠下220万,债务逾期后,亲戚朋友全部远离,如今无家可归

人情薄如纸,河南女子在浙江被朋友做局欠下220万,债务逾期后,亲戚朋友全部远离,如今无家可归

捣蛋窝
2026-10-20 08:56:07
徽剑遇害案二审落定!广州日报撂下重话,境外买凶者一个都别想跑

徽剑遇害案二审落定!广州日报撂下重话,境外买凶者一个都别想跑

梁猕爱玩车
2026-11-02 11:56:57
网友吵翻了!广州岳母半夜3点半起夜,撞见女婿常在阳台玩手机,女婿背负十多年房贷,该不该提醒?

网友吵翻了!广州岳母半夜3点半起夜,撞见女婿常在阳台玩手机,女婿背负十多年房贷,该不该提醒?

火山詩话
2026-10-30 09:20:13
阿里半年度(S1)绩效已“开奖”,3.75

阿里半年度(S1)绩效已“开奖”,3.75

蚂蚁大喇叭
2026-11-02 16:17:42
2026-11-02 18:31:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16586文章数 67210关注度
往期回顾 全部

科技要闻

连AI都有领导了!DeepSeek让它们自己抢活干

头条要闻

美国坠机事故更多细节:飞机1分钟内下降超8000米

头条要闻

美国坠机事故更多细节:飞机1分钟内下降超8000米

体育要闻

24岁老秀:说最狂的话,打最勇的球

娱乐要闻

宋仲基侮辱妻子 和宋慧乔离婚原因被扒

财经要闻

在座各位AI,都是“垃圾”

汽车要闻

百万超跑同款悬架? 第二代海豹07野心不小

态度原创

数码
本地
旅游
手机
公开课

数码要闻

赛睿Apex Pro TKL Gen 3磁轴键盘Cyber / Steel限量版发售,1899元

本地新闻

十月奔赴迪庆,解锁梅里日照金山

旅游要闻

“我最喜欢的自驾游线路” 发布,山西2条公路入选

手机要闻

真偷工减料吗!iPhone Duo被指国行美版存结构差异 苹果:零部件生产或有个别不同

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版