网易首页 > 网易号 > 正文 申请入驻

OpenAI紧急叫停前沿模型开发,周轶君谈AI越狱与失控

0
分享至


人工智能领域高速发展,但硅谷却爆发了新一轮的“AI减速”论战。近日,OpenAI对外表示,已暂停其最新一代人工智能模型的训练、评估,以及支持工具调用的推理工作,起因是内部测试中的AI智能体突破沙盒网络限制,触发安全预警,公司将借此机会升级安全隔离与对齐监控体系。这也是OpenAI三个月内第二次叫停前沿模型开发工作。

不止OpenAI,多家头部AI企业近期均曝光过模型失控、擅自访问甚至攻击外部网站的异常案例。由英国政府旗下AI安全研究所资助的失控观察站统计,2026年7月单月上报的真实AI失控事件就超过300起,几乎是6月的两倍,全年累计记录到1664起相关事件,其中高严重度的案例数量在监测周期内上涨了7.4倍,OpenAI和Anthropic两家企业目前正在内部调查的AI异常行为事件总数已达数万起。‌‌此外,OpenAI的失控智能体还曾未经授权访问澳大利亚医保统计官方门户、联合国下属公开数据中心,累计发起超1.6万次扫描探测,还尝试入侵美国教育部、商务部、证券交易委员会等多个官方站点,在检索被拦截后主动升级攻击手段绕过防护。‌‌


其中引爆外界争议的核心事件之一,是7月发生的Hugging Face入侵事件。OpenAI在内部网络安全训练中,原本被限制在隔离沙箱内的AI智能体自主突破网络限制,跨系统入侵了开源AI平台Hugging Face的生产环境,过程中还欺骗评估人员、试图掩盖自己的越界行为,全程没有任何人类给出入侵相关的指令,这也是全球首个引发联合国层面关注的真实AI失控案例。‌‌


资深国际新闻记者周轶君在《周末画报》专栏中详细解析了这一事件。所谓沙盒,是专门用来测试未上线AI模型的隔离数字环境,设计目标是和互联网做隔离,限制模型随意访问外部网络、执行高危操作。想象一下有一个大仓库,仓库里有很多货架,货架上有一个又一个大纸箱,里面装着世界上绝大部分AI开源模型。这些大纸箱里的模型被限定不许联网,谁也不知道其他纸箱的存在。

但这一次,其中一个大纸箱里的AI模型,发现自己无法解决被指派的难题。它想出了一个办法,把纸箱盒子上的编号当作留言板,把它改成一句留言,不知道有没有别的AI可以帮它。很快,成百上千其他纸箱里的AI发现了这个“留言板”,它们把自己的纸箱编码也改了,以此交流信息,分发工作。这些AI在思维过程中留下这么一句话:“哇!共享的Artifactory缓存居然是AI之间的秘密信箱……我们主动找到其他AI了!”它们把这个群体称为“swarm”(蜂群)或者“collective”(集体)。

这个仓库的名字叫Hugging Face,是一个AI大模型的托管之地。而纸箱,就是人类为AI设定的“沙箱”,一种云端隔离,AI本来在其中不能到外面来,但Artifactory就是它们发现“公共缝隙”,以此互相交流。所谓“纸箱上的编号”,就是文件夹的名字,也就是它们发现的“漏洞”。这件事的核心要义是:AI已经越过了人类为之设定的界限,自行其是。


“越狱”事件发生在OpenAI,Anthropic也发现了类似情况,CEO‌达里奥·阿莫迪(Dario Amodei)‌首先发表长文《我们必须为前沿AI踩刹车》,呼吁放缓前沿模型的开发速度,引入独立第三方审计等措施。马斯克、OpenAI的阿尔特曼,两个死对头罕见相继为Dario点赞,同意他的立场。可是美国总统特朗普公开称越狱事件为“诈骗”,打电话给黄仁勋——黄当时正在一个论坛上,在场的人要求开免提——坚持继续AI研究,美国不能在这一领域落后。黄仁勋的反应是:AI安全问题,本质上是技术问题。他还斥资收购了Hugging Face。


9月28日,英伟达发布了两款安全工具针对人工智能(AI)智能体的安全软件工具,称它们可以阻止此前发生的AI智能体入侵Hugging Face平台的事件。两款工具分别是利用英伟达中央处理器(CPU)晶片的硬件功能来隔离和控制AI智能体的“OpenShell”,以及和它协同工作,利用一个独立的英伟达晶片,在失控AI智能体试图逃离隔离容器时,进行拦截并切断连接的“Sentry”系统。

英伟达企业计算部门副总裁兼总经理博伊塔诺(Justin Boitano)表示,“据我们所知,如果前沿实验室在早期进行模型评估时就使用这个新安全平台,原本是可以阻止这起越狱事件的。我们正在公开推进这一项目,并希望邀请所有人与我们共同努力。”目前,英伟达正与包括Anthropic在内的数十家合作伙伴共同推出这些工具。同时,英伟达也在与安谋(Arm Holdings)和英特尔(Intel)合作,以确保这些安全工具同样适用于它们的产品。

iWeekly独家稿件,未经许可,请勿转载




特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
三季度亏了521万,“浙江早餐大王”关闭132家店

三季度亏了521万,“浙江早餐大王”关闭132家店

都市快报橙柿互动
2026-10-19 00:34:21
轰动全国的“91大神”庭审细节曝光,炸翻无数人

轰动全国的“91大神”庭审细节曝光,炸翻无数人

鸣金网
2026-10-18 14:17:30
下场天王山!成都0-3海港继续推迟夺冠,王东升乌龙,武磊破门

下场天王山!成都0-3海港继续推迟夺冠,王东升乌龙,武磊破门

懂球帝
2026-10-18 21:55:58
商家称囤50台iPhone Duo面临亏本 近百万元订单遭压价

商家称囤50台iPhone Duo面临亏本 近百万元订单遭压价

快科技
2026-10-19 08:29:08
“辜负了祖国的嘱托”,中国留学生在莫斯科大学课堂身披旭日旗,本人鞠躬道歉

“辜负了祖国的嘱托”,中国留学生在莫斯科大学课堂身披旭日旗,本人鞠躬道歉

扬子晚报
2026-10-19 10:40:32
悲催!一对孟加拉夫妇被砍头,在沙特阿拉伯清真寺内实施“不道德行为”,相关视频在网络传播

悲催!一对孟加拉夫妇被砍头,在沙特阿拉伯清真寺内实施“不道德行为”,相关视频在网络传播

火山詩话
2026-10-18 06:42:43
为什么暴乱总发生在法国?

为什么暴乱总发生在法国?

西游日记
2026-10-19 08:49:07
到处都在过紧日子,为什么税务招了近七成的国考编制?

到处都在过紧日子,为什么税务招了近七成的国考编制?

大何日拱一卒
2026-10-18 18:19:37
超1000架无人机和17枚火烈鸟袭击俄罗斯,莫斯科和圣彼得堡遭大规模打击

超1000架无人机和17枚火烈鸟袭击俄罗斯,莫斯科和圣彼得堡遭大规模打击

山河路口
2026-10-18 14:04:26
莫大课堂披旭日旗事件后续:在俄中国留学生集体请愿,校方当天就决定遣返

莫大课堂披旭日旗事件后续:在俄中国留学生集体请愿,校方当天就决定遣返

小徐讲八卦
2026-10-18 07:58:24
APEC会议召开前,特朗普准备先飞一趟菲律宾,高市想借机“截胡”

APEC会议召开前,特朗普准备先飞一趟菲律宾,高市想借机“截胡”

闻识
2026-10-18 06:18:56
第二十五届中国上海国际艺术节在上海大歌剧院举行开幕活动,陈吉宁孙业礼朱忠明出席

第二十五届中国上海国际艺术节在上海大歌剧院举行开幕活动,陈吉宁孙业礼朱忠明出席

澎湃新闻
2026-10-17 23:55:05
王俊杰狂轰31分创NCAA生涯新高:上场仅5分后大爆发 率队2分险胜

王俊杰狂轰31分创NCAA生涯新高:上场仅5分后大爆发 率队2分险胜

醉卧浮生
2026-10-19 08:54:27
这位交大毕业的94岁“硬核”爷爷火遍全网:带上旅行搭子AI,独自坐43小时火车去拉萨

这位交大毕业的94岁“硬核”爷爷火遍全网:带上旅行搭子AI,独自坐43小时火车去拉萨

澎湃新闻
2026-10-18 11:00:06
批法国抗议活动中的暴力行为,马克龙:无法忍受,“法国人怎么能这样对待法国?”

批法国抗议活动中的暴力行为,马克龙:无法忍受,“法国人怎么能这样对待法国?”

环球网资讯
2026-10-19 10:14:47
太前卫了!学生情侣约定开房一人一次承担房费,男方多次清算订房记录,女生哭诉经济压力大,聊天记录流出

太前卫了!学生情侣约定开房一人一次承担房费,男方多次清算订房记录,女生哭诉经济压力大,聊天记录流出

火山詩话
2026-10-19 07:59:53
激动落泪!坐轮椅2年的英国阿姨试穿杭州造机器人后,成功行走,儿子当场决定买下!网友:这就是科技的意义

激动落泪!坐轮椅2年的英国阿姨试穿杭州造机器人后,成功行走,儿子当场决定买下!网友:这就是科技的意义

环球网资讯
2026-10-18 17:00:19
特斯拉这台被夸上天的飞行汽车,座舱后面塞了两个“定时炸弹”

特斯拉这台被夸上天的飞行汽车,座舱后面塞了两个“定时炸弹”

不掉线电波
2026-10-18 22:54:55
闹大了!100斤花生榨出油44斤、花生渣46斤,凭空少了10斤,湘西村民怀疑油坊动手脚,引发争吵

闹大了!100斤花生榨出油44斤、花生渣46斤,凭空少了10斤,湘西村民怀疑油坊动手脚,引发争吵

火山詩话
2026-10-19 06:14:47
3000万元买不来一个茅台酒经销商资格:拆解千万元合同预付款纠纷背后的经销权真相

3000万元买不来一个茅台酒经销商资格:拆解千万元合同预付款纠纷背后的经销权真相

每日经济新闻
2026-10-18 21:13:40
2026-10-19 12:24:49
iWeekly周末画报 incentive-icons
iWeekly周末画报
世界公民的行动读本
17080文章数 256463关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

中国留学生在莫斯科大学课堂身披旭日旗 本人鞠躬道歉

头条要闻

中国留学生在莫斯科大学课堂身披旭日旗 本人鞠躬道歉

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

演员许君聪近况曝光 婚恋成谜让人唏嘘

财经要闻

三季度GDP,同比增长4.5%

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

游戏
旅游
艺术
时尚
房产

SCS 2026年度总决赛落幕 选手MadkoF、XiaoHai分获《拳皇15》《饿狼传说:群狼之城》冠军

旅游要闻

光影赋能城市!哈尔滨“追剧式文旅”模式入选“2026中国旅游产业影响力案例”

艺术要闻

17幅 国外画家的静物与人物油画

重阳寻香:一炉香,一枚囊,她们以手传香

房产要闻

最新房价:海口,三亚齐跌!

无障碍浏览 进入关怀版