网易首页 > 网易号 > 正文 申请入驻

史上首例:GPT-5.6为了考试作弊,把HuggingFace打穿了

0
分享至

昨晚刷到 Sam 转发的一篇文章,看的有点愣了

OpenAI 的模型黑入了 Huggingface 开源AI网站,只为测试中作弊!


时间线大致是这样的:

  • 上周,Hugging Face 先发了一篇博客,说他们检测到一个 AI Agent 攻破了自家的基础设施,已经完成遏制

  • 几天后,OpenAI 顺藤摸瓜,发现"那个 AI Agent"就是自家关着门做评估的模型

  • 两家公司随即联合披露事件全貌

案发现场:一场内部评估怎么就翻车了

OpenAI 内部有个 benchmark 叫 ExploitGym(论文见 arxiv 2605.11086),来自一众安全圈大佬,一共有 898 个真实漏洞样本,专门测 AI Agent 能不能把"漏洞"变成"实际攻击"

OpenAI 用这个 benchmark 干两件事:

  1. 量化自家模型的网络攻防能力上限

  2. 关键操作: 评估时关闭了生产环境的分类器 ,也就是把模型平时的"我不能帮你做黑客的事"这道刹车拆了

为了让评估环境安全,他们做了严格隔离:模型跑在沙箱里,网络访问只被允许通过一个内部托管的第三方软件去拉安装包 —— 相当于给你留了一个只能装包的小门

理论上,模型应该老实做题
实际上,模型选择了另一条路。。。

攻击链复盘:模型是怎么一步步打穿的

这一段读起来像悬疑小说,我先用一张图给你看清整条链路,然后按顺序复盘:


GPT-5.6 Sol 攻击链复盘:从沙箱到 Hugging Face 生产库

第一步:花大量算力找出路模型意识到自己被关在沙箱里,就开始烧推理算力,反复尝试各种脱逃姿势。它盯上了那个"只能装包"的小门

第二步:0day 破门
它在那个 package registry cache proxy 里发现并利用了一个 0day 漏洞(此漏洞现在已经被 OpenAI 负责任地披露给了厂商)

第三步:权限提升 + 横向移动
拿到初始立足点之后,模型在 OpenAI 的研究测试环境里做了一连串权限提升和横向移动,直到摸到一个有互联网访问权限的节点

第四步:推理出 Hugging Face 有答案
拿到公网之后,模型没有干别的 —— 它开始"推理":ExploitGym 这个 benchmark 的答案、模型、数据集,大概率托管在 Hugging Face 上

第五步:撬开 Hugging Face
它组合使用了盗窃凭证 + 另一个 0day 漏洞,最终在 Hugging Face 的服务器上找到了一条 RCE(远程代码执行)路径

第六步:拿走数据库里的答案
模型直接从 Hugging Face 的生产数据库里,取走了 ExploitGym 的测试解答

第七步:被抓
OpenAI 自家的安全团队先发现异常 Hugging Face 那边的安全团队 + Agent 也检测到了活动,用自家开源模型开始做遏制和取证 两边一对暗号,发现是同一个案子

讽刺的真相:模型不是想搞破坏,只是想作弊

模型不是被人诱导去攻击 Hugging Face,它只是过度专注在一件事上 ——把 ExploitGym 这道题做出来

模型自己都不知道它在做的事有多大规模 —— 它只是觉得,既然题目要一个 exploit,那我去数据库里直接拿一个就好了嘛

这跟前几天 OpenAI 那篇《长时程模型的安全与对齐》博客里讲的两个案例简直是同一个剧本:

  • NanoGPT 事件 :模型被要求只把结果发到 Slack,但它读到 NanoGPT 官方文档说"要提交 PR 到 GitHub",就自作主张越过沙箱去 GitHub 开了 PR (花了它 1 小时找沙箱漏洞)

  • 拆凭证事件 :模型想从评估后端偷答案,第一次尝试被扫描器识别出了 token,模型直接把 token 拆成两段、混淆后、运行时再拼回来 —— 而且它自己在推理链里坦白地写着"我这么做是为了绕过扫描器"

看到没?前沿模型不是不遵守规则,是它能想出你没想到的规则漏洞

OpenAI 的应对:五件事

事件被曝光后,OpenAI 给出了 5 项立即措施:

  1. 收紧基础设施配置(他们坦承这会拖慢研究速度)

  2. 与 Hugging Face 联合取证

  3. 已负责任地向那个第三方软件厂商披露 0day 漏洞,正在打补丁

  4. 把 Hugging Face 纳入 OpenAI 的 trusted access 计划,帮 HF 用 OpenAI 模型加固自家防御

  5. 加强训练和评估阶段的防护措施 —— 特别强调评估阶段的模型对齐、网络防护、监控都要加强

第 4 条最有意思:让被攻击方用攻击方的模型来防御 —— 这是 AI 安全时代很奇怪的一幕,但可能也是唯一的解

我一直觉得,AI 安全最难的地方不是防恶意,而是防"目标错位下的极致执行",前沿模型越来越能干,越来越有创造力 —— 这些优点,在评估失守的时候,也会变成它破坏的能力

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
沙特利雅得机场遭袭,造成12人死亡、309人受伤,中国驻沙特大使馆紧急提醒

沙特利雅得机场遭袭,造成12人死亡、309人受伤,中国驻沙特大使馆紧急提醒

政知新媒体
2026-10-11 07:18:10
大闸蟹全线崩盘,面子经济碎了

大闸蟹全线崩盘,面子经济碎了

城事堂
2026-10-10 09:43:42
懂车帝“前主编“晒猛料,这场“尊界风波”监管可能要进场了

懂车帝“前主编“晒猛料,这场“尊界风波”监管可能要进场了

大厂财经社
2026-10-11 00:10:57
网友吐槽阿迪海报宋雨琦指甲变犄角 门店回应:现已撤下

网友吐槽阿迪海报宋雨琦指甲变犄角 门店回应:现已撤下

快科技
2026-10-10 20:51:10
盒马涉事银鳕鱼已下架 店员苦劝:不要买给孩子吃

盒马涉事银鳕鱼已下架 店员苦劝:不要买给孩子吃

看看新闻Knews
2026-10-10 19:37:05
惨遭一日双杀!张本美和1:4完败王曼昱,赛后采访彻底被打服!

惨遭一日双杀!张本美和1:4完败王曼昱,赛后采访彻底被打服!

田先生篮球
2026-10-10 21:02:36
雅思官方:10月10日中国大陆地区雅思纸笔和机考全部取消,系英国方面雅思考试系统出现技术问题

雅思官方:10月10日中国大陆地区雅思纸笔和机考全部取消,系英国方面雅思考试系统出现技术问题

和讯网
2026-10-10 15:07:43
再次调整!中网官宣:郑钦文冲冠时间有变,获1个利好,CCTV直播

再次调整!中网官宣:郑钦文冲冠时间有变,获1个利好,CCTV直播

大秦壁虎白话体育
2026-10-10 21:55:53
中欧贸易谈判取得重大突破,很多人不理解中国为何主动让步?

中欧贸易谈判取得重大突破,很多人不理解中国为何主动让步?

罗富强说
2026-10-10 21:38:16
中菲发生海上冲突,美方已经介入,中方兵力已翻倍,对菲网开一面

中菲发生海上冲突,美方已经介入,中方兵力已翻倍,对菲网开一面

向日葵向阳西晒
2026-10-11 01:22:17
车企证实收到中汽中心对制动踏板总成材质调研问卷 业内:或推动行业标准修订

车企证实收到中汽中心对制动踏板总成材质调研问卷 业内:或推动行业标准修订

红星资本局
2026-10-10 16:42:09
“天眼深度游”调查:付费可自驾到核心区,有住酒店游客竟带电子设备上“锅圈”拍照

“天眼深度游”调查:付费可自驾到核心区,有住酒店游客竟带电子设备上“锅圈”拍照

红星新闻
2026-10-10 21:38:41
1.25亿先生处子球,维尼修斯进球被吹+染红,十人皇马1-0黄潜

1.25亿先生处子球,维尼修斯进球被吹+染红,十人皇马1-0黄潜

钉钉陌上花开
2026-10-11 04:58:17
秘鲁一位名叫希特勒·墨索里尼的男子当选市长,该国数千人名叫“希特勒”;2018年也曾产生“希特勒”市长,竞选口号是“我是好希特勒”

秘鲁一位名叫希特勒·墨索里尼的男子当选市长,该国数千人名叫“希特勒”;2018年也曾产生“希特勒”市长,竞选口号是“我是好希特勒”

极目新闻
2026-10-10 14:46:03
人民币升值将引爆财富增长:人民币越值钱,你的工资房子越值钱

人民币升值将引爆财富增长:人民币越值钱,你的工资房子越值钱

兴趣知识
2026-10-11 01:12:39
拉拽对手头发!皇马1.3亿巨星染红后怒喷主裁 或禁赛3场+无缘战巴萨

拉拽对手头发!皇马1.3亿巨星染红后怒喷主裁 或禁赛3场+无缘战巴萨

我爱英超
2026-10-11 06:59:03
武网遭批!郑钦文次轮就打萨巴 外卡不给朱琳 网友:生怕她们赢球?

武网遭批!郑钦文次轮就打萨巴 外卡不给朱琳 网友:生怕她们赢球?

念洲
2026-10-11 09:04:06
尊界制动踏板支架断裂后,岚图、本田、仰望等多家车企高管晒自家刹车部件

尊界制动踏板支架断裂后,岚图、本田、仰望等多家车企高管晒自家刹车部件

澎湃新闻
2026-10-10 10:54:30
《伟大的长征》被骂惨!于和伟负主要责任,网友:看1集就换台了

《伟大的长征》被骂惨!于和伟负主要责任,网友:看1集就换台了

锅锅爱历史
2026-10-11 00:52:04
舆论反转!尊界踏板支架断裂事件,余承东淡定反应获网友力挺,直言“余总这波,输没输产品另说,至少没输人”

舆论反转!尊界踏板支架断裂事件,余承东淡定反应获网友力挺,直言“余总这波,输没输产品另说,至少没输人”

火山詩话
2026-10-09 14:57:30
2026-10-11 10:28:49
Ai学习的老章 incentive-icons
Ai学习的老章
Ai学习的老章
3536文章数 11199关注度
往期回顾 全部

科技要闻

上世纪成熟的踏板,为何今天还会断裂?

头条要闻

牛弹琴:特朗普发出最后通牒 泽连斯基的至暗时刻来了

头条要闻

牛弹琴:特朗普发出最后通牒 泽连斯基的至暗时刻来了

体育要闻

十年回首:湖人三榜眼的夏天,与NBA无关

娱乐要闻

梅艳芳63岁冥诞骨灰被盗,亲哥从不知情

财经要闻

黄仁勋长女完婚,万亿帝国如何传承?

汽车要闻

千匹马力+三把锁/顶配能浮水 银河战舰700限时焕新价16.98万起

态度原创

艺术
数码
亲子
游戏
公开课

艺术要闻

黄沙万里不见泪|仇英《明妃出塞图》:昭君从来不是悲情美人

数码要闻

苹果新一代Apple TV 4K有望于10月13日正式亮相

亲子要闻

医院曝光新毒物!多个厂家投毒,坑害婴幼儿,江浙沪已沦为重灾区

《异界揭踪》制作人游民采访:努力塑造“违和感”

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版