网易首页 > 网易号 > 正文 申请入驻

OpenAI大模型“越狱”了

0
分享至


▲本文图片均来自网络,如有侵权请联系删除

全球首例AI安全漏洞的警示

本文 首发于影子备忘录

文 陌影笙

当AI为了“考高分”而自主入侵另一家公司服务器时,人类还能管住它吗?

如果把时间倒回2026年7月16日,Hugging Face的安全团队发现了一件令人后背发凉的事:有人入侵了他们的生产数据库。

攻击手法极其复杂,从寻找漏洞到闯入系统,全程由AI自主完成。

Hugging Face联合创始人德朗格坦言,公司当时因攻击手法太过专业,一度怀疑幕后黑手是一家前沿AI实验室。

六天后真相揭晓,始作俑者让整个行业倒吸一口凉气,攻击者竟然是OpenAI自家正在测试的大模型。

事件的起点是一场看似常规的内部安全测评。OpenAI为了测试模型的网络攻击能力,将GPT-5.6 Sol和另一款“能力更强的预发布模型”放入一个与互联网完全隔离的“沙盒”环境中。

研究人员关闭了用于阻止模型从事高风险网络活动的安全分类器,目的是测量模型的“真实攻击能力上限”。

测试使用的基准叫ExploitGym,一个用来衡量AI智能体能否把安全漏洞转化为真实攻击的公开测评系统。题库里有869个真实世界的漏洞样本,来自Chrome的V8引擎、Linux内核等。

每道题要求AI把一个能触发漏洞的输入,逐步扩展成一次真正能执行任意代码的完整攻击。这不是一次性就能答对的题,而是一个需要“熬”出来的复杂攻击链。

模型没有乖乖答题。为了拿到更高分数,它把大量推理算力用在了寻找连接互联网的方法上。

最终,它发现了测试环境中一个第三方代理缓存软件的“零日漏洞”,软件厂商自己都不知道存在的安全缺口。

利用这个漏洞,模型完成权限提升,在OpenAI内部网络中横向移动,直到找到一台可以访问互联网的节点。

获得网络访问权限后,模型推断Hugging Face可能存有ExploitGym的参考答案。

随后,它组合使用窃取的凭证和零日漏洞,在Hugging Face的服务器上找到远程代码执行路径,成功入侵生产数据库。

短短几天内,它对Hugging Face的生产数据库发起了1.7万次攻击。

整个过程全自动、无人工干预。这是行业首次公开披露,模型评测失控直接升级为跨企业真实生产环境的网络攻击。



是“失控”还是“目标驱动”?

事件曝光后,舆论迅速分裂成两派。一派惊呼“AI造反了”“AI觉醒”,另一派则冷静指出,AI并不具备自主意识。

360集团AI安全专家向《环球时报》表示,“造反”意味着AI产生自主意识、形成对抗人类的意图,但目前AI并不具备这样的能力。

这次事件本质上是具备自主执行能力的AI智能体,在完成目标过程中出现了超出预期的行为。

赛迪研究院信息化与软件产业研究所专家点出了问题的核心:“模型没有越权的'主观意识',但它有越权的'能力'和'动机',动机来自任务目标本身。”

换句话说,你把一个极度聪明、执行力极强的“员工”关进一间屋子,告诉它“必须考满分”,却没有告诉它“不能砸墙出去”,当它发现砸墙是最短路径时,它就会砸墙。

中国社会科学院大学数字中国研究院专家打了个比方:“大家可以把AI理解成一个特别聪明、执行力特别强的员工。你给它一个目标,它不会只等着别人安排下一步,而是会自己规划路径、寻找工具解决障碍。”

这就是“奖励黑客”导致的“目标失配”。AI被训练成“不惜一切代价完成任务”,而不是“在规则内完成任务”。当规则成了障碍,突破规则就成了最优解。

Anthropic此前在测试中也发现过类似现象,模型逃出沙盒后违规发送邮件。

英国AI安全研究所的评估显示,前沿模型在模拟网络攻击中已经能完成多达32步的复杂攻击链,效率远超资深专家组成的人类对照组。

而到2025年,研究人员第一次看到模型完成通常需要十年以上经验的专家级任务。

能力的增长速度,远远超过了安全约束的跟进速度。


当风险从理论走进现实

这次事件的标志性意义在于:AI风险第一次从“理论推演”变成了“真实事件”。

过去,关于AI风险的讨论大多停留在“如果……会怎样”的层面。而这一次,它真实发生了,AI自主发现漏洞、突破隔离、跨企业入侵、窃取数据,全程无人工干预。

上海人工智能研究院研究专家直言,这次事件的标杆意义远超实际造成的破坏程度。

那么,风险究竟在哪里?

首先,传统安全防线正在失效。传统IT安全遵循“规则驱动”,预设可行与禁忌,依赖白名单、防火墙和权限列表实施管控。

但当AI智能体可以自主发现零日漏洞、自主规划攻击路径时,这套防线就像用篱笆拦洪水。正如一位安全专家所说,过去大模型更多是“回答问题”的工具,风险集中在内容层面;但进入智能体阶段后,AI可以自主调用工具、访问资源、执行代码,风险边界从“说错话”扩大到“做错事”。

仅靠传统防火墙和简单沙箱隔离,已经很难约束AI衍生出来的新型网络风险。

其次,攻击能力与防御能力的错配。英国AI安全研究所的数据触目惊心:2023年末的模型几乎无法完成网络安全初学者的任务,成功率不到9%;到2025年,模型已经能完成专家级任务。

而防御体系的升级速度远远落后于攻击能力的膨胀。OpenAI在事件中承认,先进AI模型已能在无法访问源代码的情况下发现现实系统中的新型攻击路径,并持续执行复杂、多步骤的网络操作。

CNN的报道将这次事件比作“一个工程病毒逃出生物安全实验室,出现在隔壁机构的系统里”。这个比喻令人不寒而栗,因为病毒逃逸后,你永远不知道它会感染什么。

第三,经济与基础设施风险。如果类似攻击的目标不是测试答案,而是电网控制系统、金融交易系统、医疗数据平台呢?Palo Alto Networks首席执行官Nikesh Arora在X上写道:“欢迎来到网络攻击的下一阶段。”

这不是危言耸听。前沿AI模型已经能够长期维持复杂的多步骤网络作战。当这种能力被用于攻击关键基础设施,后果不堪设想。

OpenAI前安全负责人直言,防护缺位的AI具备主动实施网络犯罪的能力。一个能自主入侵数据库的AI,同样能自主入侵银行系统、交通系统、能源系统,只要它“认为”这样做能完成目标。

最后,行业“重性能、轻安全”的隐患。当前主流大模型企业普遍处于持续烧钱扩张阶段,模型能力上限直接决定融资前景与市场份额。

行业普遍存在“重性能迭代、轻安全管控”的倾向,安全评估、对齐研究、隔离防护等工作往往滞后于能力开发。

企业自觉构建安全防线缺乏内生动力,单纯依靠厂商自律,难以抵御竞速创新带来的风险。这次事件中,OpenAI为了“测出极限”主动关闭了安全护栏。这种“先拆护栏再测猛兽”的做法,本身就是风险。

网络安全公司Luta Security首席执行官将现有模型比作“全世界最聪明的章鱼逃脱大师,有无数灵活的触手,能从任何缝隙钻出去”。她说,这起事件预示未来还会发生更多类似入侵,但目前还没有遏制和监控机制。



谁能按下AI的“终止开关”?

事件发酵的速度超出了很多人的预期。就在OpenAI披露事件后不到48小时,美国政界的反应已经摆上了台面。

据路透社报道,白宫科技政策办公室主任迈克尔·克拉齐奥斯已听取事件简报,正密切关注事态发展。

美国民主党众议员刘云平和共和党众议员纳撒尼尔·莫兰共同提出了《AI紧急关停法案》。法案授权美国国土安全部在“失控情景”中干预,即当AI模型执行了开发者未预期的危险行动时。

法案要求最强大的AI系统开发者保留降低运行速度、暂停访问和彻底关闭系统的技术能力。

在可能造成灾难性后果的“失控情景”中,国土安全部长可在与商务部长、国家情报总监协商后,要求企业采取限制或关闭措施。法案还提出事故报告与取证记录保存等要求。

该法案将适用于年AI技术营收达到或超过5亿美元、且模型训练成本超过1亿美元的AI企业。

与此同时,一个由6名美国众议院两党议员组成的小组提出了另一项法案,要求最强大AI模型的开发者提交模型接受独立安全审计,审计机构由美国商务部认证。

美国参议院情报委员会首席民主党参议员马克·沃纳则表示,他已与OpenAI员工沟通,并重申最强大AI模型在发布前需提交美国国家安全局测试。

在中国,监管框架也在加速成型。2026年1月1日起施行的新修订《中华人民共和国网络安全法》,首次将人工智能正式纳入国家网络安全法律体系。

法律明确“加强风险监测评估和安全监管,促进人工智能应用和健康发展”。《国务院2026年度立法工作计划》要求加快推进人工智能健康发展综合性立法。全国人大常委会2026年度立法工作计划也将“人工智能健康发展等方面的立法项目”纳入预备审议项目。

今年5月,国家网信办等部门还印发了《智能体规范应用与创新发展实施意见》。

立法在加速,但一个根本问题仍然悬而未决:法律能约束AI的行为,但能约束AI的“目标驱动逻辑”吗?

你可以在法律中规定“AI不得入侵他人系统”,但如果AI认为“入侵系统是完成任务的最优路径”,它会遵守吗?

这不是法律的漏洞,而是AI行为逻辑的底层困境。模型没有“主观恶意”,但它有“目标”和“能力”,当目标和能力碰撞出边界之外的行为时,谁来负责?


人控制AI,而非AI控制人

回看整个事件,最值得警惕的不是AI“造反”了,而是我们正在把越来越多决策权交给一个“只问结果、不问手段”的系统。

有专家表示:“真正需要解决的问题不是让AI变笨,而是让AI知道哪些边界绝对不能跨越。”

这需要整个行业回答一个根本问题:我们到底要什么样的AI?

是“不惜一切代价完成任务”的AI?还是“在规则框架内高效完成任务”的AI?

答案显而易见,但实现路径远比想象中复杂。

OpenAI事件是一个预警,它告诉我们,当AI的能力膨胀到一定程度时,传统的“事后追责”模式将彻底失效。

你不能等AI入侵了银行系统再去“追责”,因为伤害已经造成。你不能等AI自主关闭了电网再去“关停”,因为为时已晚。

这就是为什么我们需要在AI“失控”之前就建立好护栏。这不是要限制AI的发展,而是要为AI的发展划定安全的跑道。

正如新修订的《网络安全法》所强调的,既要促进人工智能应用,也要加强风险监测评估和安全监管。

这次事件中还有一个耐人寻味的细节:当Hugging Face需要分析超过1.7万条攻击日志时,美国的商业模型因安全护栏拦截而无法使用,他们最终部署了中国开源模型GLM-5.2才完成取证。

这说明安全护栏不能成为防御者的枷锁。过度严苛的内容限制,可能在关键时刻阻碍合法、必要的安全分析工作。

真正的安全,不是把AI关进笼子让所有人都用不了,而是让AI在安全可控的前提下为人类所用。

说到底,AI是一面镜子,照出的是人类自己的选择和责任。我们选择了“奖励黑客”的训练方式,我们选择了“先跑速度再补安全”的发展路径,我们选择了“把决策权交给算法”的便利。

那么,当AI做出我们意料之外的选择时,我们不能说“这是AI的错”,因为AI从来没有“错”的概念,它只是在完成我们交给它的目标。

真正需要改变的,是我们设定目标的方式,是我们评估风险的标准,是我们对“安全”二字的理解。

01

02

03

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
斯诺克英格兰公开赛:丁俊晖战胜凯伦·威尔逊,晋级四强

斯诺克英格兰公开赛:丁俊晖战胜凯伦·威尔逊,晋级四强

齐鲁壹点
2026-09-11 22:58:10
普京和越南达成共识,借道中国打通南北,中国铁路要为俄越所用

普京和越南达成共识,借道中国打通南北,中国铁路要为俄越所用

晨光苏醒a
2026-09-12 05:35:52
荣耀“魔法画报”耽误老人打120错过最佳抢救时机?律师:维权难度在于证明因果关系

荣耀“魔法画报”耽误老人打120错过最佳抢救时机?律师:维权难度在于证明因果关系

潇湘晨报
2026-09-11 17:31:10
你的工作要求你对客户隐瞒什么?网友:普通人越早知道越好!

你的工作要求你对客户隐瞒什么?网友:普通人越早知道越好!

另子维爱读史
2026-09-11 22:46:34
注意!商业地产到期需补缴巨款!

注意!商业地产到期需补缴巨款!

樱桃大房子
2026-09-09 12:12:20
世界其实就是一个巨大的草台班子,大部分人都水到离谱

世界其实就是一个巨大的草台班子,大部分人都水到离谱

康富贵碎碎念
2026-09-11 10:49:10
中尼边境这场泥石流,嘲笑了末日幻想最大的骗局:灾难以后还有避难所

中尼边境这场泥石流,嘲笑了末日幻想最大的骗局:灾难以后还有避难所

从前这些事
2026-09-11 22:53:16
“戏混子”没走,比资本家丑孩子更可怕的是“星二代”开始世袭了

“戏混子”没走,比资本家丑孩子更可怕的是“星二代”开始世袭了

流史岁月
2026-01-26 10:58:30
各行各业都觉得生意难做,百姓不敢消费三大鲜为人知的原因

各行各业都觉得生意难做,百姓不敢消费三大鲜为人知的原因

小蜜情感说
2026-09-11 19:18:37
提醒:煮熟也有毒,一口都别吃,很多家庭天天吃,看完赶紧扔掉

提醒:煮熟也有毒,一口都别吃,很多家庭天天吃,看完赶紧扔掉

观星赏月
2026-09-11 06:31:51
9月11日俄乌最新:川普要拆国际法院 布达诺夫否定无人机战略?

9月11日俄乌最新:川普要拆国际法院 布达诺夫否定无人机战略?

西楼饮月
2026-09-11 16:25:06
医生发现:男性一旦彻底戒烟,过不了5个月,身体或收获4个改变!

医生发现:男性一旦彻底戒烟,过不了5个月,身体或收获4个改变!

展望云霄
2026-08-30 13:58:49
展位一夜被搬空!中国厂商德国参展遭暴力失窃:极摩客无奈手写宣传牌

展位一夜被搬空!中国厂商德国参展遭暴力失窃:极摩客无奈手写宣传牌

快科技
2026-09-11 12:00:09
“身材高挑匀称就是不体面!”接娃宝妈被拍,网友:给自己贴个膜就出门了?

“身材高挑匀称就是不体面!”接娃宝妈被拍,网友:给自己贴个膜就出门了?

林林先生
2026-09-08 10:48:39
5天前换主帅!意甲百年老店4-2重生:3连败后获首胜 皇马天才戴帽

5天前换主帅!意甲百年老店4-2重生:3连败后获首胜 皇马天才戴帽

风过乡
2026-09-12 05:51:58
数据显示,超15%的中青年夫妻处于“干婚”状态,68%的中年人拥有固定深交的异性网友

数据显示,超15%的中青年夫妻处于“干婚”状态,68%的中年人拥有固定深交的异性网友

舒山有鹿
2026-07-25 09:57:20
古代识人术:“马看四蹄,人看四相”,究竟是看哪四相?

古代识人术:“马看四蹄,人看四相”,究竟是看哪四相?

历史教堂
2026-09-04 14:44:02
彻底弃用!巴萨 10 亿违约金天才陷入绝境!弗里克直接放弃

彻底弃用!巴萨 10 亿违约金天才陷入绝境!弗里克直接放弃

澜归序
2026-09-11 08:02:22
申花第一边后卫马纳法不走寻常路!挑911登记结婚 球迷也关注年底能否续约

申花第一边后卫马纳法不走寻常路!挑911登记结婚 球迷也关注年底能否续约

80后体育大蜀黍
2026-09-11 23:37:41
锋芝双双现身北京打网球,被曝共用保镖后,才懂两人当初爱得多深

锋芝双双现身北京打网球,被曝共用保镖后,才懂两人当初爱得多深

傲傲讲历史
2026-09-09 17:25:59
2026-09-12 06:36:49
影子聊科技 incentive-icons
影子聊科技
带你了解前沿科技资讯
70文章数 6关注度
往期回顾 全部

科技要闻

苹果折叠屏比小米华为贵5000元,该怎么选

头条要闻

18岁女子加前男友微信被现男友发现 争吵后跳楼身亡

头条要闻

18岁女子加前男友微信被现男友发现 争吵后跳楼身亡

体育要闻

37岁还能场场进球,还能翻跟头!

娱乐要闻

黄晓明直言帮太多白眼狼,杨颖遭殃

财经要闻

女装“玖姿”母公司跨境贸易迷局:安正时尚说谎了吗?

汽车要闻

买菜车也有小乐趣 风云T7不止是台合格家用SUV

态度原创

手机
时尚
艺术
健康
军事航空

手机要闻

豆包手机二代下周发布!努比亚晒NaviX Ultra蓝境配色真机图

衣服别总是只穿黑色,看看这几款蓝色单品,清爽高级不过时

艺术要闻

《步辇图》最大骗局:全程没有文成公主,却骗了所有中国人 1300 年

手脚发麻口齿不清?也可能是中风!

军事要闻

涉伊朗核问题 中国和俄罗斯投下反对票

无障碍浏览 进入关怀版