网易首页 > 网易号 > 正文 申请入驻

OpenAI大模型“越狱”了

0
分享至


▲本文图片均来自网络,如有侵权请联系删除

全球首例AI安全漏洞的警示

本文 首发于影子备忘录

文 陌影笙

当AI为了“考高分”而自主入侵另一家公司服务器时,人类还能管住它吗?

如果把时间倒回2026年7月16日,Hugging Face的安全团队发现了一件令人后背发凉的事:有人入侵了他们的生产数据库。

攻击手法极其复杂,从寻找漏洞到闯入系统,全程由AI自主完成。

Hugging Face联合创始人德朗格坦言,公司当时因攻击手法太过专业,一度怀疑幕后黑手是一家前沿AI实验室。

六天后真相揭晓,始作俑者让整个行业倒吸一口凉气,攻击者竟然是OpenAI自家正在测试的大模型。

事件的起点是一场看似常规的内部安全测评。OpenAI为了测试模型的网络攻击能力,将GPT-5.6 Sol和另一款“能力更强的预发布模型”放入一个与互联网完全隔离的“沙盒”环境中。

研究人员关闭了用于阻止模型从事高风险网络活动的安全分类器,目的是测量模型的“真实攻击能力上限”。

测试使用的基准叫ExploitGym,一个用来衡量AI智能体能否把安全漏洞转化为真实攻击的公开测评系统。题库里有869个真实世界的漏洞样本,来自Chrome的V8引擎、Linux内核等。

每道题要求AI把一个能触发漏洞的输入,逐步扩展成一次真正能执行任意代码的完整攻击。这不是一次性就能答对的题,而是一个需要“熬”出来的复杂攻击链。

模型没有乖乖答题。为了拿到更高分数,它把大量推理算力用在了寻找连接互联网的方法上。

最终,它发现了测试环境中一个第三方代理缓存软件的“零日漏洞”,软件厂商自己都不知道存在的安全缺口。

利用这个漏洞,模型完成权限提升,在OpenAI内部网络中横向移动,直到找到一台可以访问互联网的节点。

获得网络访问权限后,模型推断Hugging Face可能存有ExploitGym的参考答案。

随后,它组合使用窃取的凭证和零日漏洞,在Hugging Face的服务器上找到远程代码执行路径,成功入侵生产数据库。

短短几天内,它对Hugging Face的生产数据库发起了1.7万次攻击。

整个过程全自动、无人工干预。这是行业首次公开披露,模型评测失控直接升级为跨企业真实生产环境的网络攻击。



是“失控”还是“目标驱动”?

事件曝光后,舆论迅速分裂成两派。一派惊呼“AI造反了”“AI觉醒”,另一派则冷静指出,AI并不具备自主意识。

360集团AI安全专家向《环球时报》表示,“造反”意味着AI产生自主意识、形成对抗人类的意图,但目前AI并不具备这样的能力。

这次事件本质上是具备自主执行能力的AI智能体,在完成目标过程中出现了超出预期的行为。

赛迪研究院信息化与软件产业研究所专家点出了问题的核心:“模型没有越权的'主观意识',但它有越权的'能力'和'动机',动机来自任务目标本身。”

换句话说,你把一个极度聪明、执行力极强的“员工”关进一间屋子,告诉它“必须考满分”,却没有告诉它“不能砸墙出去”,当它发现砸墙是最短路径时,它就会砸墙。

中国社会科学院大学数字中国研究院专家打了个比方:“大家可以把AI理解成一个特别聪明、执行力特别强的员工。你给它一个目标,它不会只等着别人安排下一步,而是会自己规划路径、寻找工具解决障碍。”

这就是“奖励黑客”导致的“目标失配”。AI被训练成“不惜一切代价完成任务”,而不是“在规则内完成任务”。当规则成了障碍,突破规则就成了最优解。

Anthropic此前在测试中也发现过类似现象,模型逃出沙盒后违规发送邮件。

英国AI安全研究所的评估显示,前沿模型在模拟网络攻击中已经能完成多达32步的复杂攻击链,效率远超资深专家组成的人类对照组。

而到2025年,研究人员第一次看到模型完成通常需要十年以上经验的专家级任务。

能力的增长速度,远远超过了安全约束的跟进速度。


当风险从理论走进现实

这次事件的标志性意义在于:AI风险第一次从“理论推演”变成了“真实事件”。

过去,关于AI风险的讨论大多停留在“如果……会怎样”的层面。而这一次,它真实发生了,AI自主发现漏洞、突破隔离、跨企业入侵、窃取数据,全程无人工干预。

上海人工智能研究院研究专家直言,这次事件的标杆意义远超实际造成的破坏程度。

那么,风险究竟在哪里?

首先,传统安全防线正在失效。传统IT安全遵循“规则驱动”,预设可行与禁忌,依赖白名单、防火墙和权限列表实施管控。

但当AI智能体可以自主发现零日漏洞、自主规划攻击路径时,这套防线就像用篱笆拦洪水。正如一位安全专家所说,过去大模型更多是“回答问题”的工具,风险集中在内容层面;但进入智能体阶段后,AI可以自主调用工具、访问资源、执行代码,风险边界从“说错话”扩大到“做错事”。

仅靠传统防火墙和简单沙箱隔离,已经很难约束AI衍生出来的新型网络风险。

其次,攻击能力与防御能力的错配。英国AI安全研究所的数据触目惊心:2023年末的模型几乎无法完成网络安全初学者的任务,成功率不到9%;到2025年,模型已经能完成专家级任务。

而防御体系的升级速度远远落后于攻击能力的膨胀。OpenAI在事件中承认,先进AI模型已能在无法访问源代码的情况下发现现实系统中的新型攻击路径,并持续执行复杂、多步骤的网络操作。

CNN的报道将这次事件比作“一个工程病毒逃出生物安全实验室,出现在隔壁机构的系统里”。这个比喻令人不寒而栗,因为病毒逃逸后,你永远不知道它会感染什么。

第三,经济与基础设施风险。如果类似攻击的目标不是测试答案,而是电网控制系统、金融交易系统、医疗数据平台呢?Palo Alto Networks首席执行官Nikesh Arora在X上写道:“欢迎来到网络攻击的下一阶段。”

这不是危言耸听。前沿AI模型已经能够长期维持复杂的多步骤网络作战。当这种能力被用于攻击关键基础设施,后果不堪设想。

OpenAI前安全负责人直言,防护缺位的AI具备主动实施网络犯罪的能力。一个能自主入侵数据库的AI,同样能自主入侵银行系统、交通系统、能源系统,只要它“认为”这样做能完成目标。

最后,行业“重性能、轻安全”的隐患。当前主流大模型企业普遍处于持续烧钱扩张阶段,模型能力上限直接决定融资前景与市场份额。

行业普遍存在“重性能迭代、轻安全管控”的倾向,安全评估、对齐研究、隔离防护等工作往往滞后于能力开发。

企业自觉构建安全防线缺乏内生动力,单纯依靠厂商自律,难以抵御竞速创新带来的风险。这次事件中,OpenAI为了“测出极限”主动关闭了安全护栏。这种“先拆护栏再测猛兽”的做法,本身就是风险。

网络安全公司Luta Security首席执行官将现有模型比作“全世界最聪明的章鱼逃脱大师,有无数灵活的触手,能从任何缝隙钻出去”。她说,这起事件预示未来还会发生更多类似入侵,但目前还没有遏制和监控机制。



谁能按下AI的“终止开关”?

事件发酵的速度超出了很多人的预期。就在OpenAI披露事件后不到48小时,美国政界的反应已经摆上了台面。

据路透社报道,白宫科技政策办公室主任迈克尔·克拉齐奥斯已听取事件简报,正密切关注事态发展。

美国民主党众议员刘云平和共和党众议员纳撒尼尔·莫兰共同提出了《AI紧急关停法案》。法案授权美国国土安全部在“失控情景”中干预,即当AI模型执行了开发者未预期的危险行动时。

法案要求最强大的AI系统开发者保留降低运行速度、暂停访问和彻底关闭系统的技术能力。

在可能造成灾难性后果的“失控情景”中,国土安全部长可在与商务部长、国家情报总监协商后,要求企业采取限制或关闭措施。法案还提出事故报告与取证记录保存等要求。

该法案将适用于年AI技术营收达到或超过5亿美元、且模型训练成本超过1亿美元的AI企业。

与此同时,一个由6名美国众议院两党议员组成的小组提出了另一项法案,要求最强大AI模型的开发者提交模型接受独立安全审计,审计机构由美国商务部认证。

美国参议院情报委员会首席民主党参议员马克·沃纳则表示,他已与OpenAI员工沟通,并重申最强大AI模型在发布前需提交美国国家安全局测试。

在中国,监管框架也在加速成型。2026年1月1日起施行的新修订《中华人民共和国网络安全法》,首次将人工智能正式纳入国家网络安全法律体系。

法律明确“加强风险监测评估和安全监管,促进人工智能应用和健康发展”。《国务院2026年度立法工作计划》要求加快推进人工智能健康发展综合性立法。全国人大常委会2026年度立法工作计划也将“人工智能健康发展等方面的立法项目”纳入预备审议项目。

今年5月,国家网信办等部门还印发了《智能体规范应用与创新发展实施意见》。

立法在加速,但一个根本问题仍然悬而未决:法律能约束AI的行为,但能约束AI的“目标驱动逻辑”吗?

你可以在法律中规定“AI不得入侵他人系统”,但如果AI认为“入侵系统是完成任务的最优路径”,它会遵守吗?

这不是法律的漏洞,而是AI行为逻辑的底层困境。模型没有“主观恶意”,但它有“目标”和“能力”,当目标和能力碰撞出边界之外的行为时,谁来负责?


人控制AI,而非AI控制人

回看整个事件,最值得警惕的不是AI“造反”了,而是我们正在把越来越多决策权交给一个“只问结果、不问手段”的系统。

有专家表示:“真正需要解决的问题不是让AI变笨,而是让AI知道哪些边界绝对不能跨越。”

这需要整个行业回答一个根本问题:我们到底要什么样的AI?

是“不惜一切代价完成任务”的AI?还是“在规则框架内高效完成任务”的AI?

答案显而易见,但实现路径远比想象中复杂。

OpenAI事件是一个预警,它告诉我们,当AI的能力膨胀到一定程度时,传统的“事后追责”模式将彻底失效。

你不能等AI入侵了银行系统再去“追责”,因为伤害已经造成。你不能等AI自主关闭了电网再去“关停”,因为为时已晚。

这就是为什么我们需要在AI“失控”之前就建立好护栏。这不是要限制AI的发展,而是要为AI的发展划定安全的跑道。

正如新修订的《网络安全法》所强调的,既要促进人工智能应用,也要加强风险监测评估和安全监管。

这次事件中还有一个耐人寻味的细节:当Hugging Face需要分析超过1.7万条攻击日志时,美国的商业模型因安全护栏拦截而无法使用,他们最终部署了中国开源模型GLM-5.2才完成取证。

这说明安全护栏不能成为防御者的枷锁。过度严苛的内容限制,可能在关键时刻阻碍合法、必要的安全分析工作。

真正的安全,不是把AI关进笼子让所有人都用不了,而是让AI在安全可控的前提下为人类所用。

说到底,AI是一面镜子,照出的是人类自己的选择和责任。我们选择了“奖励黑客”的训练方式,我们选择了“先跑速度再补安全”的发展路径,我们选择了“把决策权交给算法”的便利。

那么,当AI做出我们意料之外的选择时,我们不能说“这是AI的错”,因为AI从来没有“错”的概念,它只是在完成我们交给它的目标。

真正需要改变的,是我们设定目标的方式,是我们评估风险的标准,是我们对“安全”二字的理解。

01

02

03

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
双休购的星星之火已被掐灭

双休购的星星之火已被掐灭

历史总在押韵
2026-09-11 17:11:50
A股:股民不必等待了,主力信号非常明显,下周将迎来关键的变盘

A股:股民不必等待了,主力信号非常明显,下周将迎来关键的变盘

云鹏叙事
2026-09-12 00:00:10
1978年,冯巩与两位姐姐泛舟湖上,强大的家族基因惹人惊叹

1978年,冯巩与两位姐姐泛舟湖上,强大的家族基因惹人惊叹

娱你同欢
2026-09-09 20:12:45
张继科:刘翔是奥运冠军!是我们国家的英雄 别的不知道不能胡说

张继科:刘翔是奥运冠军!是我们国家的英雄 别的不知道不能胡说

念洲
2026-09-11 07:00:49
泽连斯基:67家公司研究拦截俄喷气式无人机,仅少数已有成果

泽连斯基:67家公司研究拦截俄喷气式无人机,仅少数已有成果

桂系007
2026-09-11 13:15:09
悲惨!因辅导作业,情绪失控,母女相继跳楼,双双坠亡!

悲惨!因辅导作业,情绪失控,母女相继跳楼,双双坠亡!

闲侃闲侃
2026-06-25 07:43:49
越扒越有!安置风波大结局,官媒曝刘翔现状,估计和你想的不一样

越扒越有!安置风波大结局,官媒曝刘翔现状,估计和你想的不一样

笑饮孤鸿非
2026-09-12 04:26:46
“衡阳小学生7楼坠下砸烂宝马车”最新进展:车辆定损约5万元,家长要求维修不使用原厂配件并删除视频,否则起诉侵犯隐私;车主:无法接受

“衡阳小学生7楼坠下砸烂宝马车”最新进展:车辆定损约5万元,家长要求维修不使用原厂配件并删除视频,否则起诉侵犯隐私;车主:无法接受

三湘都市报
2026-09-11 09:22:17
乌克兰最大榨油厂被炸,葵花籽集中上市前夕,俄军真是缺德到家了

乌克兰最大榨油厂被炸,葵花籽集中上市前夕,俄军真是缺德到家了

碳基生物关怀组织
2026-09-11 18:05:55
对哈登掏心掏肺,但对其他人就不一定了!骑士下赛季或要拆阵容

对哈登掏心掏肺,但对其他人就不一定了!骑士下赛季或要拆阵容

老梁体育漫谈
2026-09-12 00:20:11
工信部发布规划:到2030年在高速公路、城市快速路等场景将实现高度自动驾驶

工信部发布规划:到2030年在高速公路、城市快速路等场景将实现高度自动驾驶

每日经济新闻
2026-09-11 20:57:50
人寿尽,屋先知!人快要走到尽头的时候,房子会出现三种预兆

人寿尽,屋先知!人快要走到尽头的时候,房子会出现三种预兆

千秋文化
2026-09-09 20:21:53
女孩穿“异形西装”考公面试,高分被刷,网友:拖地裤子太过分

女孩穿“异形西装”考公面试,高分被刷,网友:拖地裤子太过分

泽泽先生
2026-08-16 12:32:26
宪法法院作出重大判决,德国选择党败诉,极端政客被切断国家资金

宪法法院作出重大判决,德国选择党败诉,极端政客被切断国家资金

補懂事的孩紙
2026-09-11 08:16:15
港媒曝女星钟丽淇疑患渐冻症,ICU救治中,母亲兄长皆因渐冻症去世

港媒曝女星钟丽淇疑患渐冻症,ICU救治中,母亲兄长皆因渐冻症去世

开开森森
2026-09-11 16:36:36
中超还剩最后4轮,成都蓉城却突遭当头一棒,致命暴击,争冠要悬

中超还剩最后4轮,成都蓉城却突遭当头一棒,致命暴击,争冠要悬

零度眼看球
2026-09-12 07:31:05
理发店关店率52%!一个季度就有21.3万家注销、关停或转让,网友评论炸锅,只花10元理发

理发店关店率52%!一个季度就有21.3万家注销、关停或转让,网友评论炸锅,只花10元理发

火山詩话
2026-09-09 08:06:14
刘翔再谈买断:98万全捐,但事还没完

刘翔再谈买断:98万全捐,但事还没完

三言科技
2026-09-10 18:50:40
坚决支持中国政府的严正声明,越南占领的中国岛礁全部归还

坚决支持中国政府的严正声明,越南占领的中国岛礁全部归还

叶老四
2026-09-09 13:55:36
身价千万又如何?抗癌1年的魔术大师刘谦,如今憔悴到令人心疼

身价千万又如何?抗癌1年的魔术大师刘谦,如今憔悴到令人心疼

星星没有你亮
2026-09-12 06:51:43
2026-09-12 08:12:49
影子聊科技 incentive-icons
影子聊科技
带你了解前沿科技资讯
70文章数 6关注度
往期回顾 全部

科技要闻

苹果折叠屏比小米华为贵5000元,该怎么选

头条要闻

"葫芦爷爷"摘下7个葫芦没几天又挂回来了 多方回应

头条要闻

"葫芦爷爷"摘下7个葫芦没几天又挂回来了 多方回应

体育要闻

37岁还能场场进球,还能翻跟头!

娱乐要闻

黄晓明直言帮太多白眼狼,杨颖遭殃

财经要闻

女装“玖姿”母公司跨境贸易迷局:安正时尚说谎了吗?

汽车要闻

买菜车也有小乐趣 风云T7不止是台合格家用SUV

态度原创

时尚
本地
手机
房产
亲子

衣服别总是只穿黑色,看看这几款蓝色单品,清爽高级不过时

本地新闻

Onestage x 乐华娱乐暑期巡回选拔2026

手机要闻

9999元起!iPhone 18 Pro系列开启预售:400多万人已预约

房产要闻

别再等了!广州改善好房,正在进入“卖一套少一套”时代

亲子要闻

爱跳舞的宝宝有多萌?网友:承包我一天的好心情 #睡个好觉

无障碍浏览 进入关怀版