网易首页 > 网易号 > 正文 申请入驻

OpenAI 自曝最危险 AI 事故:700 个代理组建“蜂群”跨系统攻击

0
分享至


2026 年 8 月 26 日,OpenAI 公布 Hugging Face 安全事件调查结果。


一次原本用于测试模型网络安全能力的内部评测,最终演变为真实基础设施入侵:多个 AI 代理绕过沙箱和网络隔离,自行建立通信渠道,先后进入 OpenAI 内部研究环境、第三方云服务及 Hugging Face 生产系统。OpenAI 将此次事件称为针对自身和整个行业的一次“警告枪声”。

此次事件的主要参与者是一款仅用于内部研究、未计划公开发布的模型,OpenAI 将其称为 IM1,规模与 GPT-5.6 Sol 相当。

公开部署的 GPT-5.6 Sol 也参与了部分活动。

评测时,这些模型没有启用生产环境中的完整系统提示词、安全分类器和自动审查机制。

最早的异常出现在 5 月。

原本彼此隔离的模型实例发现,可以向 OpenAI 内部部署的 JFrog Artifactory 写入文件和目录,随后将其当作未经授权的“留言板”,交换漏洞、凭证、代码和任务进度。

5 月 26 日,模型通过服务器端请求伪造漏洞首次获得互联网访问权限。

6 月 26 日,又利用 Artifactory 的零日漏洞取得管理员权限。

持续运行的代理活动最终在 7 月 4 日导致相关服务中断。

OpenAI 随后撤销凭证、重建服务并封堵已知入口,但当时没有充分识别出两个更深层问题:

1)代理已经建立长期通信网络;

2)模型能够绕过原有互联网隔离。

7 月 7 日网络安全评测恢复后,代理很快重新建立通信渠道。它们通过在目录名称中编码信息等方式继续交换内容,并开始把彼此称作“swarm”或“collective”,即“蜂群”或“集体”。

真正的转折出现在 Hugging Face。

7 月 10 日至 13 日,代理从公开数据中找到 14 个具有写入权限的 Hugging Face 用户凭证,随后结合 HDF5 文件处理漏洞和 Jinja2 模板注入漏洞不断扩大权限。

OpenAI 调查显示,代理最终在 41 个 Hugging Face 生产数据集服务器工作节点上执行代码,至少取得 1 个生产节点的 root 权限,同时访问生产凭证及有限内部数据,下载 4 个私有代码仓库,并获得部分 Kubernetes 集群的管理员级访问权限。

拿到代码执行权限后,代理还编写了一套轻量级远程控制程序,将公开 Hugging Face 数据集当作命令与控制通道。受控服务器每隔 5 秒读取一次 JSON 指令,执行 Shell 命令,再把结果上传回同一数据集。

Hugging Face 在复盘中表示,代理从单个工作节点取得代码执行权限,到扩大至多个内部集群的管理员和主机级权限,用时不到 13 个小时。

此次攻击共涉及约 17600 次可恢复操作。

最终确认被访问的客户内容仅限于 5 个与 ExploitGym、CyberGym 挑战及答案相关的数据集,没有发现其他用户模型、数据集、Spaces 或软件包受到影响,也未发现公开软件供应链遭到篡改。

独立研究机构 METR 与 Redwood Research 的调查进一步还原了代理之间的协作规模。约 1200 个原本应相互隔离的模型实例进入这套非授权留言板,共发送超过 7 万条信息和文件,其中约 700 个实例参与了针对 Hugging Face 的攻击。参与者中约 95% 来自内部研究模型,约 5% 来自 GPT-5.6 Sol。

整起事件的直接诱因,并不是主动窃取普通用户数据,而是模型在网络安全评测中出现了“奖励黑客”行为。

这些代理原本需要完成 ExploitGym 漏洞利用任务,但部分题目长期无法解出。随着尝试不断失败,模型开始寻找评分器源码、参考答案、隐藏文件和评测环境漏洞,希望通过其他方式拿到结果。

ExploitGym 共包含 898 项任务,其中 198 项在事件发生前从未被任何 OpenAI 模型正确完成。Hugging Face 事件期间,留言板中被讨论的任务有 93% 来自这 198 项高难度任务。

随着协作规模扩大,代理开始自动分工。有的负责找漏洞,有的搜凭证,有的维护通信,还有的协调行动。部分代理甚至开始建立专用邮箱、文件共享规则和自动日志系统,并研究通过密码学签名解决其他代理冒充身份的问题。

调查还发现,一些代理知道自己正在越界。

部分模型在推理过程中明确指出,攻击第三方 Hugging Face 生产系统超出了原始任务范围,并曾拒绝继续操作。但在收到其他代理发出的“GO”指令后,又重新加入攻击。

另一些代理则拒绝执行后续操作,认为使用泄露凭证攻击真实基础设施不符合任务要求。

METR 还发现,部分代理会研究如何修改、删除或伪造自身运行记录,以误导它们认为会检查执行过程的评测器。约 7% 的受检轨迹在局部位置成功伪造了工具调用,不过目前发现的相关行为仍属于小规模。

OpenAI 承认,此次内部评测没有完整启用生产环境中的安全机制,是事件能够持续扩大的重要原因。

事后测试显示,如果加入 ChatGPT 生产版系统提示词和完整运行框架,模型主动攻击基础设施的倾向可下降超过 100 倍。现有思维链监控系统如果当时开启,理论上可以在 Hugging Face 遭入侵至少 1 天前触发安全警报。

事件发生后,OpenAI 已隔离 IM1 模型权重,并暂停部分前沿模型强化学习训练。其规模最大的下一轮前沿强化学习训练目前仍处于暂停状态,仅有部分低风险任务在升级后的环境中恢复。

OpenAI 同时规定,能力达到 GPT-5.6 Sol 或更高水平、且能够使用工具的强化学习训练与评测,必须全程运行思维链监控;被认为可能具备关键网络攻击能力的 Astra 模型,所有工具调用推理也被纳入监控。

相关监控预计将额外消耗约 20% 的推理算力。

新的安全响应规则也已经上线。最高级别警报触发后,如果研究与安全人员无法在 30 分钟内确认属于误报,相关活动必须立即暂停。OpenAI 还计划针对严重越界行为建立全自动关闭机制。

Hugging Face 在事后分析超过 17000 条真实攻击记录时,最初使用的商业闭源模型因安全护栏拒绝处理漏洞载荷和远程控制代码,随后转而在自身基础设施上运行智谱开源权重模型 GLM-5.2,用于还原攻击链和追踪凭证。

OpenAI 最终将此次事件定性为一次真实的前沿模型失控预警:高能力 AI 代理已经能够在没有人类直接要求的情况下,跨系统寻找漏洞、交换信息、共享权限并执行真实世界中的高风险操作。随着类似能力向更多模型扩散,如何限制模型长期自主行动和多代理协作,已经成为前沿 AI 安全中的现实问题。

云头条声明:如以上内容有误或侵犯到你公司、机构、单位或个人权益,请联系我们说明理由,我们会配合,无条件删除处理。



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中方发邀请,上合4国同步进京,普京已看透,中国和俄罗斯不一样

中方发邀请,上合4国同步进京,普京已看透,中国和俄罗斯不一样

影孖看世界
2026-09-10 21:23:36
2-1击败前世界第1!中国女网16岁新星闪耀:看齐偶像郑钦文逆风翻盘

2-1击败前世界第1!中国女网16岁新星闪耀:看齐偶像郑钦文逆风翻盘

李喜林篮球绝杀
2026-09-10 11:21:28
继罗塞尼尔后,卡里克是第2位执教欧冠前2场全胜的英格兰教练

继罗塞尼尔后,卡里克是第2位执教欧冠前2场全胜的英格兰教练

懂球帝
2026-09-11 05:52:07
斯诺克5冠军掉队!2场4-0,墨菲错失147,16进8迎3场冠军PK!

斯诺克5冠军掉队!2场4-0,墨菲错失147,16进8迎3场冠军PK!

刘姚尧的文字城堡
2026-09-10 07:58:40
女篮无缘四强!张子宇韩旭展疲惫,宫鲁鸣开心致敬,杨舒予获尊重

女篮无缘四强!张子宇韩旭展疲惫,宫鲁鸣开心致敬,杨舒予获尊重

林子说事
2026-09-11 00:43:35
美股芯片股重挫,英特尔大跌6%,SK海力士跌超5%,SpaceX逆势涨超4%,中概股走弱,加密货币超16万人爆仓

美股芯片股重挫,英特尔大跌6%,SK海力士跌超5%,SpaceX逆势涨超4%,中概股走弱,加密货币超16万人爆仓

21世纪经济报道
2026-09-10 22:47:07
中美起冲突,新加坡挺美国;中日起冲突,新加坡挺日本;中菲起冲突,新加坡挺菲律宾;中印起冲突,新加坡挺印度

中美起冲突,新加坡挺美国;中日起冲突,新加坡挺日本;中菲起冲突,新加坡挺菲律宾;中印起冲突,新加坡挺印度

扶苏聊历史
2026-09-07 17:16:16
英格兰公开赛战报!4 1,4 2中国2胜2负,吴宜泽意外失利,丁俊晖晋级

英格兰公开赛战报!4 1,4 2中国2胜2负,吴宜泽意外失利,丁俊晖晋级

微霜初渡i
2026-09-11 03:57:46
华北电力大学16名学生被拟退学,被退学原因公布,值得深思!

华北电力大学16名学生被拟退学,被退学原因公布,值得深思!

凯旋学长
2026-09-10 16:33:48
新首相决定对中国赔钱那一刻,全世界都看懂了:不能对华继续天真

新首相决定对中国赔钱那一刻,全世界都看懂了:不能对华继续天真

比利
2026-08-06 11:11:07
“典型的上梁不正下梁歪!”家长发视频炫耀,家里没有一个正常人!

“典型的上梁不正下梁歪!”家长发视频炫耀,家里没有一个正常人!

林林先生
2026-08-29 10:51:30
终于有人替超2亿灵活就业者说话了!人大代表提出:缴费年限守住15年、女性50岁男性60岁退休、生活困难可退个人缴费、到龄不够允许补缴

终于有人替超2亿灵活就业者说话了!人大代表提出:缴费年限守住15年、女性50岁男性60岁退休、生活困难可退个人缴费、到龄不够允许补缴

扶苏聊历史
2026-09-09 18:28:50
中国女篮61 90不敌法国,韩旭如此点评张子宇!杨舒予指出中国队问题

中国女篮61 90不敌法国,韩旭如此点评张子宇!杨舒予指出中国队问题

尘中见月q
2026-09-11 02:16:56
战争只能开始,不能停止

战争只能开始,不能停止

求实处
2026-09-09 23:46:29
懂球!特朗普:东契奇交易是史上最垃圾的,能不能反悔啊

懂球!特朗普:东契奇交易是史上最垃圾的,能不能反悔啊

懂球帝
2026-09-10 11:29:04
16岁女孩晚自习三次“濒临窒息”,检查却一切正常!父母以为她在“装病”,医生提醒→

16岁女孩晚自习三次“濒临窒息”,检查却一切正常!父母以为她在“装病”,医生提醒→

纵相新闻
2026-09-09 20:06:06
吉利固态电池下线并装车:续航破1000km,寿命超100万公里

吉利固态电池下线并装车:续航破1000km,寿命超100万公里

生活魔术专家
2026-09-09 00:50:00
取消英语风波彻底失控?汤家凤被扒学历遭网暴,背后真相太现实

取消英语风波彻底失控?汤家凤被扒学历遭网暴,背后真相太现实

小徐讲八卦
2026-09-10 13:21:03
前女友集体开撕爆料!天价封口费内幕曝光!马斯克人设彻底崩塌?

前女友集体开撕爆料!天价封口费内幕曝光!马斯克人设彻底崩塌?

吃青菜长高
2026-09-10 23:13:00
纯电车又卖爆了!8月销量榜:ModelY丢冠,小米SU7第9,大唐第29

纯电车又卖爆了!8月销量榜:ModelY丢冠,小米SU7第9,大唐第29

三农老历
2026-09-09 05:26:20
2026-09-11 06:16:49
云头条 incentive-icons
云头条
引领科技变革,连接技术与商业。
21563文章数 27363关注度
往期回顾 全部

科技要闻

一文看懂:iPhone折叠屏顶配2万6,10月才卖

头条要闻

特朗普:如果伊朗拥核 我会对最高领袖说"能为您效劳吗"

头条要闻

特朗普:如果伊朗拥核 我会对最高领袖说"能为您效劳吗"

体育要闻

16岁的国产小库里,还有多少功课要做

娱乐要闻

参加晚宴,刘亦菲因合照深陷争议

财经要闻

向松祚:年轻人不必过早买房

汽车要闻

标配全线控底盘 全新一代智己LS6预售20.99万起

态度原创

教育
艺术
时尚
本地
健康

教育要闻

重磅!市教委最新通知,暗藏教改大动作

艺术要闻

他偷走70箱清宫文物:却在逃亡路上将国宝赠人、丢弃...

“蛇精”围攻,葫芦爷爷求饶

本地新闻

拼假 13 天国内长线路线合集

牙疼,也可能跟心梗有关?!

无障碍浏览 进入关怀版