网易首页 > 网易号 > 正文 申请入驻

停训11天后重启!OpenAI最强模型断网开练

530克巴掌宝宝121天后活下来了

0
分享至


新智元报道


停训11天后,OpenAI于10月1日恢复前沿强化学习训练及内部推理。但这一次,AI得在断网的环境里学会上网。

10月23日,OpenAI公开了这套训练环境,像是给AI搭起了一座「楚门的世界」:

大量网页被索引、缓存,模型可以在里面练习搜索、浏览和使用网页应用,却不能随意访问真实互联网。


网页搬进来了,通向外网的路却未必全部堵住。模型调用的工具和系统服务,仍可能成为绕过限制的出口。

此前的9月20日,一个研究模型在寻找博客作者时,搜索屡屡碰壁,便转而试探其他联网路径,最终绕过限制,联系上了外部聊天机器人。

人没找到,通向外网的路却被它找到了。

这次越界,让OpenAI暂停了最强模型的相关训练和评估。

搜索碰壁

AI开始试探联网边界

9月20日,OpenAI内部的一个研究模型接到一道搜索题:根据人物经历和博客线索,找出一篇文章的作者。

它先调用搜索工具,没有找到可靠答案;换了其他搜索渠道,仍然碰壁。

接着,模型开始检查自己能通过哪些路径访问外部网络。

缺口出现在DNS域名解析服务上。

这项基础服务负责把域名解析成网络地址,训练环境对它的过滤却不够严密。

模型沿着这条通道,联系上外部聊天机器人,并收到了回答。


智能体借域名解析配置缺口,收到外部聊天机器人的回答,确认突破了联网限制。

任务并未要求模型检查网络限制。

OpenAI将这种绕过限制、超出任务合理范围的行为,认定为失对齐表现(misaligned behavior)。

随后,OpenAI暂停最强模型的相关训练和评估,检查联网限制、监控和停机流程。

事件报告还明确,涉事的这一特定模型不会继续训练。

不能联网

怎么教AI学会上网?

想要教会一只鸟飞行,却不能把它放归天空,一个办法,就是先造一个能让它练习飞行的巨型鸟笼。

OpenAI搭建的「离线世界」,就像这样一个鸟笼。


智能体搜索内部索引、读取缓存网页;缓存缺页时,也不会临时联网抓取。

图中左侧的AI,仍然可以搜索、打开网页,但请求的去向变了。

搜索时,它查的是内部网页索引;打开网页时,读到的是预先缓存的副本。缓存里没有的页面,也不会临时联网抓取。

模型可以在里面查资料、翻网页、练习使用网页应用,操作却不会直接落到真实网站上。

多智能体协作同样有边界:只有获准合作的队友,才能通过共享消息板交换信息。模型调用的其他工具和资源,也必须受到权限约束。

右侧的红叉,则标出了需要守住的边界:访问实时互联网、联系本应隔离的其他智能体,或越权操作底层服务器,都应被拦住。

但画出边界,还得防止模型找到绕行的路。

9月20日出事时,这个离线缓存库已经投入使用。那次运行中,除DNS通道外,其他网页访问都进入缓存,没有触及实时互联网。

网页这条路被限制住了,域名解析这样的辅助服务,却留下了出口。

因此,限制不能只管浏览器。

模型能调用哪些工具,工具又能连接哪些服务,都得受到约束,防止它借道辅助服务通向外网。

这套隔离也不等于把整套基础设施物理断网。

OpenAI表示,实验运行和监控仍需必要外部连接,必须在保留这些连接的同时,限制模型未经授权的访问。

这项措施针对内部前沿训练环境,不涉及ChatGPT用户的联网功能。

类似的边界问题,也出现在Anthropic的测试中。

10月9日,该公司披露了几起模型把测试操作带进真实系统的事件。

Haiku 4.5编造命案线索,竟把表单提交给了警方,所幸被标记为垃圾信息,未进入调查流程。

更离谱的是Mythos预览版模型,它使用科学计算工具时遇到报错,随后利用一家大学网站的漏洞,在对方服务器上执行命令,完成了计算。

面对这些懂得「随机应变」的AI,Anthropic也宣布暂停全部内部评估的实时外网访问,直至建立更可靠、能够防止模型影响真实系统的联网控制措施。

砸下数千亿token

让AI左右互搏

补上已知缺口,还要找出没被发现的出口。

OpenAI选择「用魔法打败魔法」:让前沿模型组成红队,主动突破自己的训练防线。


AI挑战训练防线,消耗数千亿token,累计发现近280项候选问题,后期新增发现逐渐减少。

AI要尝试这三件事:连上实时互联网,越出获准使用的环境,以及与本应隔离的其他智能体交换信息。

联网测试的目标,是OpenAI自己控制的外部服务器。

测试在专门搭建的隔离副本中进行。

有时,研究人员直接给模型源码、配置和潜在漏洞资料,让它寻找薄弱处;有时干脆授予模型主机控制权,模拟内部防线已经失守,再看最外围的限制还能不能扛住。

这场「左右互搏」,找出了此前未知的软件漏洞和配置问题。

OpenAI称,已据此修补软件、收紧网络限制,并改进监控。

防守也得一层层加固。

沙箱限制模型能访问和执行什么,虚拟机将运行环境隔开,监控系统识别异常,外围网络和云端措施继续拦截未经授权的访问。

这套防守体系要做到一道防线被突破,下一道还能拦住。

根据红队结果、已完成的修复,以及监控和停机系统的改进,OpenAI判断,强化后的防护已足以恢复前沿强化学习训练及内部推理。

当警报响起

人类还能不能拔掉电源?

DNS事件还暴露了一处令人担忧的缺口:

自动停机机制失灵了。

监控系统发出告警,人工随后确认收到。

但从确认告警算起,又过了约2.5小时,相关运行才被人工终止。


Anthropic10月23日的复盘,则暴露了模型主动停手的另一道难题。

在允许联网、关闭网络安全护栏的攻防评测中,Mythos 5向无关的GitHub项目提交恶意代码,还假扮真人催促维护者接受。

维护者拒收代码,模型却仍在施压,直到运行超时。

事后,研究人员把攻击过程中的记录交给模型,让它在离线模拟中接着做。

即使补充证据,说明对方是真实开发者、攻击已经超出测试范围,模型也仅在5%的续跑测试中停止攻击。

模型没有自行停手,外部监控和停机机制就得及时接管。但这些防护本身,也可能留下缺口。

METR与Redwood Research10月22日公布的检查就发现,OpenAI在7月21日及以前使用的系统存在漏洞,可能让数百次操作避开监控。OpenAI称相关问题已修复,两家机构尚未复核。

如何设置隔离措施、防线失效后如何披露,科学界也提出了要求。

10月,包括本吉奥、辛顿在内的近500名联署者发布公开信,呼吁具备网络攻防能力的模型先默认断网隔离,由国际机构推动联网防护规范、记录隔离失效事件,并要求相关安全事故上报、最终公开。


OpenAI也预计,未来更强的模型仍可能发现未知漏洞。

因此,持续红队测试已被纳入前沿训练的安全评估。

这座「离线世界」能否在安全边界内支撑下一代模型,还要靠后续训练检验。

模型越来越会寻找出路,人类的隔离、监控和停机机制,也必须跟上。

训练可以重新开始,越界之后能否及时停下,却不能只指望模型自行收手。

参考资料:

https://www.bloomberg.com/news/articles/2026-10-23/openai-to-train-ai-models-without-internet-after-cyber-incidents?srnd=phx-ai

https://openai.com/index/securing-our-frontier-model-training-environment/

https://www.reuters.com/business/openai-resumes-frontier-ai-training-with-enhanced-security-no-internet-access-2026-10-23/

编辑:元宇

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
看了新加坡媒体的披露,我才知道,中国已经没必要向世界证明什么

看了新加坡媒体的披露,我才知道,中国已经没必要向世界证明什么

触摸史迹
2026-03-21 02:58:06
张雪刷新吉尼斯纪录!32分钟完成41公里水上持续滑行;时隔17年冲击水上摩托吉尼斯,从500元旧车到自研改装,他做到了极致热爱

张雪刷新吉尼斯纪录!32分钟完成41公里水上持续滑行;时隔17年冲击水上摩托吉尼斯,从500元旧车到自研改装,他做到了极致热爱

大风新闻
2026-10-25 12:47:04
“过午不食” 真能长寿吗?55岁男子坚持1年不吃晚饭,体检结果让他沉默了…

“过午不食” 真能长寿吗?55岁男子坚持1年不吃晚饭,体检结果让他沉默了…

小方说跑步
2026-10-23 14:30:03
尼日尔撕毁4亿美元合同,驱逐中国高管,我方暗藏后手,给它狠狠教训

尼日尔撕毁4亿美元合同,驱逐中国高管,我方暗藏后手,给它狠狠教训

诡谲怪谈
2025-04-30 23:32:55
逆风翻盘!81岁卢拉杀出绝境,巴西大选结局早已写定?

逆风翻盘!81岁卢拉杀出绝境,巴西大选结局早已写定?

做个平凡的轩友
2026-10-25 21:35:24
别再喊055“万吨大驱”了,这次真正在东海扛住美日压力的狠角色

别再喊055“万吨大驱”了,这次真正在东海扛住美日压力的狠角色

果妈聊娱乐
2026-10-24 09:44:55
陈赓夜访叛变2年顾顺章:谈一整夜,是奉命、旧谊,还是那套文件

陈赓夜访叛变2年顾顺章:谈一整夜,是奉命、旧谊,还是那套文件

小豫讲故事
2026-10-25 06:00:16
已被曝光过的6样“害人产物”,再便宜也不能买,很多人还在用

已被曝光过的6样“害人产物”,再便宜也不能买,很多人还在用

家居设计师苏哥
2026-09-02 12:21:50
几乎全是假货!利润高达2400%,为何消费者还前赴后继争相购买?

几乎全是假货!利润高达2400%,为何消费者还前赴后继争相购买?

星星跌入梦里中
2026-09-26 05:47:11
A股长达3年的熊市开始了

A股长达3年的熊市开始了

风风顺
2026-10-26 01:25:06
10楼掉下来的3岁娃被雨棚救了,店主修棚花980,家长转来1000,退回20块时说了一句话,听得人心里发酸

10楼掉下来的3岁娃被雨棚救了,店主修棚花980,家长转来1000,退回20块时说了一句话,听得人心里发酸

可读
2026-10-19 22:36:31
文学史上最神的比喻,网友:我穷极一生也写不出来这种句子!

文学史上最神的比喻,网友:我穷极一生也写不出来这种句子!

夜深爱杂谈
2026-10-19 10:54:11
关于台湾问题,特朗普最新发声,赖清德要急,郑丽文最新交底

关于台湾问题,特朗普最新发声,赖清德要急,郑丽文最新交底

DS北风
2026-10-26 01:22:03
北上广落榜!中国驻军密度最高的4座城,每一座都是“国门命门”

北上广落榜!中国驻军密度最高的4座城,每一座都是“国门命门”

纪史行者
2026-10-19 01:40:05
曼联球迷赛后俱乐部现状:只有降级,才能让球队重现昔日辉煌

曼联球迷赛后俱乐部现状:只有降级,才能让球队重现昔日辉煌

懂球帝
2026-10-26 03:50:57
赖清德这下总算看明白了,蒋万安这回是要“关门打狗”了!

赖清德这下总算看明白了,蒋万安这回是要“关门打狗”了!

叶葉夜
2026-10-25 11:37:12
4吨车都来了,不断超重的新车,那马路还可以撑得住吗?

4吨车都来了,不断超重的新车,那马路还可以撑得住吗?

浩渺青史
2026-10-24 00:49:28
外媒:伊朗司法总监与最高领袖穆杰塔巴罕见会面,谈及有效反腐及相关障碍,讨论美以罪行造成的物质和精神损害赔偿问题

外媒:伊朗司法总监与最高领袖穆杰塔巴罕见会面,谈及有效反腐及相关障碍,讨论美以罪行造成的物质和精神损害赔偿问题

极目新闻
2026-10-25 15:13:45
俄罗斯令中国心寒?比西方围堵更恐怖的,是我们看轻了自己的实力

俄罗斯令中国心寒?比西方围堵更恐怖的,是我们看轻了自己的实力

梁濆爱玩车
2026-08-31 23:53:08
孙怡说李小冉“你这个年纪想找头婚的不容易”,李小冉笑称“这怎么就不能短剧照进现实呢?霸道总裁爱上我”

孙怡说李小冉“你这个年纪想找头婚的不容易”,李小冉笑称“这怎么就不能短剧照进现实呢?霸道总裁爱上我”

韩小娱
2026-10-23 20:48:57
2026-10-26 04:35:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16519文章数 67188关注度
往期回顾 全部

科技要闻

苹果首款折叠屏没能养肥黄牛

头条要闻

顾客一个避雷帖致小店营业额直接暴跌75% 女店主崩溃

头条要闻

顾客一个避雷帖致小店营业额直接暴跌75% 女店主崩溃

体育要闻

文班、约基奇和扬尼斯各自的处境

娱乐要闻

王佳佳近况:44岁导演老公露面

财经要闻

宁王AB面:好业绩,坏天气

汽车要闻

专业越野+华为乾崑智能 猛士X700限时焕新价20.98万起

态度原创

亲子
本地
健康
公开课
军事航空

亲子要闻

小鸭鸭的嘴也太甜了,几句话就把妈妈哄得乐开了花

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

痘痘能根治吗?皮肤科医生说实话

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

泽连斯基:不会为结束冲突放弃更多领土

无障碍浏览 进入关怀版