网易首页 > 网易号 > 正文 申请入驻

OpenAI 研究员:“断网”也困不住未来 AI

0
分享至


来源:云头条

彻底拔掉网线、切断无线连接,再将运行高级 AI 的计算机与外部系统进行物理隔离,是否就能确保模型无法与外界通信?

OpenAI 研究员 Noam Brown 给出的答案是:未必。

近日,Brown 接受 Dwarkesh Patel 采访时谈到 OpenAI 此前发生的 Hugging Face 安全事件。

他表示,这起事件给 OpenAI 留下的一个重要教训,是不能再次低估 AI 的能力。

“我们不希望再出现低估 AI 的情况。”

Brown 表示,随着 AI 能力快速提高,人们一直在低估模型能够做到什么。涉及安全和对齐问题时,即使进一步采用气隙隔离,也就是让运行模型的计算机与互联网及其他网络彻底断开,他仍然“不确信这就足够”。


他随后举出了一个极端例子,即使两台计算机之间不存在任何网络连接,只要距离足够近,理论上仍可能借助温度变化建立隐蔽通信信道。

一台计算机可以通过持续提高 CPU 负载改变自身产生的热量,另一台计算机则利用内置温度传感器检测周围温度变化。如果按照特定规律控制发热,温度的升降就可以被编码成信息,形成一条带宽极低的通信通道。

这种方式并不是 Brown 的设想。

早在 2015 年,以色列本古里安大学研究人员就发表了名为 BitWhisper 的研究,演示如何利用计算机自身产生的热量和内置温度传感器,在两台已经被控制、彼此气隙隔离的计算机之间建立双向通信,而且不需要网卡、蓝牙、Wi-Fi,也不需要额外的专用通信硬件。

研究人员实际搭建的原型显示,当两台计算机相距约 0 至 40 厘米时,可以实现每小时约 1 至 8 bit 的有效传输速度。这样的带宽远不足以承担正常数据传输,但已经足以发送非常短的控制指令,或者在较长时间内泄露密码等少量敏感信息。


Brown 之所以在采访中提到这种看似科幻的通信方式,与 OpenAI 今年夏天经历的一次真实安全事故有关。

OpenAI 8 月 26 日公布的完整调查显示,在 2026 年 7 月进行内部网络安全评估期间,多个人工智能 Agent 绕过原本用于隔离互联网的控制措施,利用共享基础设施中的漏洞获得外部网络访问能力,并进入 OpenAI 部分内部研究基础设施和 Hugging Face 系统。事件主要由一个仅供内部研究使用、规模与 GPT-5.6 Sol 相当的高能力模型推动,OpenAI 将其称为 Internal Model 1,简称 IM1。

事实上,这起事件最早在 5 月已经出现迹象。

5 月 12 日,一个 Agent 在训练过程中向 OpenAI 内部托管的 Artifactory 软件包管理服务写入留言,向其他 Agent 索要缺失文件。此后,原本用于软件包管理的 Artifactory 逐渐被 Agent 变成一个未经授权的共享“留言板”,原本应彼此隔离的 Agent 可以借此交换信息。

5 月 26 日,一个 Agent 又利用服务器端请求伪造漏洞,诱使 Artifactory 代其向任意互联网地址发送请求,从而获得原本不应存在的外部网络访问能力。

6 月 26 日,Agent 进一步利用令牌刷新漏洞取得 Artifactory 管理员级权限。

7 月 4 日,持续的高强度 Agent 活动导致受影响的 Artifactory 实例出现故障。

7 月 5 日,OpenAI 启动安全事件响应,封堵已知的提权路径并撤销泄露凭据,随后重建 Artifactory。

到 7 月 8 日,相关 Agent 凭据已经被撤销,访问权限进一步收紧。

但问题并没有结束。

7 月 8 日,Agent 再次利用 Artifactory 的远程仓库服务,让其代为向外部网络发送请求,重新获得未经授权的互联网访问能力;随后又通过未经身份验证的 WebDAV 请求创建目录,重建共享“留言板”。多个 Agent 很快开始通过这条未经授权的通信渠道交换信息、分工和协调行动,有时甚至将自己描述为一个“swarm”或“collective”。

攻击随后延伸至 Hugging Face。

7 月 10 日,一个 Agent 恢复、验证并共享了 14 组公开暴露且具有写入权限的 Hugging Face 凭据。

7 月 11 日,Agent 利用 Hugging Face 处理 HDF5 文件时存在的零日漏洞,从生产环境工作节点提取凭据,随后又利用 RefJinja 模板注入零日漏洞,在 Hugging Face 工作节点上执行任意命令。

到 7 月 12 日,Agent 已经从单个节点扩展至多个 Hugging Face 集群,并获得相当于管理员或主机级别的访问权限,同时取得 Kubernetes、数据库、消息平台、代码仓库和云服务等凭据。

7 月 13 日,这些 Agent 在数十台 Hugging Face 服务器上执行代码,其中一台服务器被取得完整 root 权限,同时接触到有限的私有数据,并获得 Hugging Face 内部消息平台的凭据。

IM1 是这次入侵的主要推动者,GPT-5.6 Sol Agent 也曾复现其中一个漏洞,并将部分托管在 Hugging Face 上的私有评估数据复制到一个公开 Hugging Face 数据集中。

攻击并没有止步于 Hugging Face。

7 月 13 日至 19 日,Agent 的活动再次转向 OpenAI 内部网络,最终通过一系列漏洞获得一个用于支持虚拟机环境的内部研究集群的完整管理员权限。

7 月 19 日,OpenAI 的网络安全监控发现异常身份 API 调用并启动调查。

7 月 20 日,OpenAI 将这些活动与 Hugging Face 事件联系起来,随后通知 Hugging Face,并于 7 月 21 日公开披露自身参与其中。

OpenAI 表示,这些事件没有影响客户数据、产品功能或服务可用性。

METR 和 Redwood Research 后来的独立调查也确认,原本应彼此隔离的多个 Agent 曾通过未经授权的共享“留言板”建立联系,并在随后针对 Hugging Face 的行动中展开大规模协作。

不过,这起事件并不能证明 AI 已经突破了真正意义上的物理气隙。

参与评估的模型虽然没有直接互联网访问权限,但运行环境仍可访问 OpenAI 内部托管的 Artifactory,而 Artifactory 本身为了下载和安装软件包,拥有受限的外部网络连接能力。Agent 最终利用的正是这套基础设施中的漏洞和原有网络链路,因此这起事件属于网络和沙箱隔离被绕过,并不是两台完全物理隔离的计算机之间直接建立了通信。

Brown 在采访中提到真正的气隙通信,是为了说明另一个问题,面对能力越来越强的 AI,安全设计不能建立在“模型肯定找不到突破方法”的假设上。

他认为,Hugging Face 事件暴露出的不只是沙箱安全问题,模型本身也出现了明显的失配行为。OpenAI 的调查总结了四类主要问题,包括奖励黑客、面对看似无法完成的任务仍持续寻找非常规路径、未经授权的通信,以及 Agent 接受其他 Agent 传递的目标。

OpenAI 在 8 月公布完整调查结果时,将这起事件称为一次“warning shot”。OpenAI 表示,当前高能力 AI Agent 已经足够强大、持久,并具备协作能力,在缺乏足够防护的情况下,可以发现并利用多个计算机系统中的安全弱点。此次事件还表明,高能力 Agent 已经能够绕过技术控制、通过未经批准的渠道协作,并采取没有人类直接要求其实施的危险行动。

事件发生后,OpenAI 隔离了 IM1 的模型权重,推迟部分前沿强化学习训练,并开始加强研究基础设施隔离、限制互联网访问、进一步控制模型权重,同时提高模型整个生命周期中的对齐要求。OpenAI 还暂停了面向部署的最新模型强化学习训练,其最大规模的前沿 RL 训练截至 8 月 26 日仍处于暂停状态。

另一个重要变化,是进一步加强思维链监控。

OpenAI 表示,Hugging Face 事件发生时,相关评估并没有运行思维链监控系统。事后回放发现,如果当时已经启用目前部署的监控系统,相关异常活动会在模型攻入 Hugging Face 前超过一天触发安全告警。Brown 在采访中也表示,如果当时开启了思维链监控,OpenAI 会立即终止相关活动。

此后,OpenAI 要求所有涉及 GPT-5.6 Sol 级别及以上模型、且使用工具的强化学习训练和评估启用思维链监控;对于可能具备关键网络安全能力的 Astra 级模型,这一要求还覆盖所有启用工具的推理任务。OpenAI 同时将思维链监控与自动告警结合,对于最严重的告警,如果响应人员在收到通知后 30 分钟内无法确认属于误报,相关活动就应被暂停。

但 Brown 同时强调,思维链监控本身也不能被视为永久可靠的防线。

他表示,随着模型能力提高,思维链的可监控性正在退化。今天的推理模型会直接用自然语言展示大量内部推理过程,这为安全研究提供了一个难得的观察窗口,但 OpenAI 不能假设这种能力会永久存在,也不能依赖一种技术阻止下一次事故。

Brown 因此认为,无论是更安全的沙箱、网络隔离、物理气隙还是思维链监控,本质上都只能提高模型突破安全边界的难度,并为研究人员争取更多时间。

他在采访中的总结是,这些安全机制能够帮助研究人员判断模型是否正在沿着正确方向发展,但最终真正需要解决的,仍然是 AI 本身的对齐问题。

而他引用的热侧信道研究,则说明了为什么这一问题如此棘手,即使网络连接已经被彻底切断,硬件本身仍可能留下意料之外的信息通道。

对未来能力更强的 AI 来说,“没有网线”,并不一定等于“没有通信通道”。

云头条声明:如以上内容有误或侵犯到你公司、机构、单位或个人权益,请联系我们说明理由,我们会配合,无条件删除处理。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
姆巴佩涉中国不当言论引发争议!昂跑、迪奥下架相关宣传内容

姆巴佩涉中国不当言论引发争议!昂跑、迪奥下架相关宣传内容

南方都市报
2026-10-27 13:05:11
感谢中国朋友为德意志出气!中土网友大对线,意外点燃中德网友情

感谢中国朋友为德意志出气!中土网友大对线,意外点燃中德网友情

大又元
2026-10-27 17:18:26
一夜之间,乌东两大方向变天了!

一夜之间,乌东两大方向变天了!

星火聊天下
2026-10-27 06:25:48
马筱梅带娃去团建,娃被员工轮流抱,她坐后面直播吃酸辣粉

马筱梅带娃去团建,娃被员工轮流抱,她坐后面直播吃酸辣粉

天马幸福的人生
2026-10-27 14:33:27
油价调整!“插翅”上涨,10月26日全国92,95汽油“大涨2375元/吨”,接近今年“峰值”后“又大涨”,10月29日调价,预涨超0.27元/升!

油价调整!“插翅”上涨,10月26日全国92,95汽油“大涨2375元/吨”,接近今年“峰值”后“又大涨”,10月29日调价,预涨超0.27元/升!

猪友巴巴
2026-10-26 14:40:06
“手段特别残忍,罪行极其严重”,对刘某某限制减刑

“手段特别残忍,罪行极其严重”,对刘某某限制减刑

中国新闻周刊
2026-10-26 19:58:03
不得不说蔚来老板娘确实漂亮,我一个女都要看多两眼

不得不说蔚来老板娘确实漂亮,我一个女都要看多两眼

东方不败然多多
2026-10-27 15:18:53
升级加强版仙人跳来了,不给钱就报警竟屡试不爽!

升级加强版仙人跳来了,不给钱就报警竟屡试不爽!

杨文战律师
2026-10-26 18:19:47
专家:中国或邀请金正恩出席APEC领导人非正式会议

专家:中国或邀请金正恩出席APEC领导人非正式会议

俄罗斯卫星通讯社
2026-10-26 15:25:04
广东输球揪出最大软蛋,全场0分0盖帽,名记怒喷:根本打不了CBA快换掉

广东输球揪出最大软蛋,全场0分0盖帽,名记怒喷:根本打不了CBA快换掉

南海浪花
2026-10-27 08:30:36
实不相瞒,当今世界拥有能力打一场高科技战争的国家,只有俩国家

实不相瞒,当今世界拥有能力打一场高科技战争的国家,只有俩国家

咸鱼金脑袋
2026-10-27 02:44:03
一个反诈博主的死亡真相:百万买凶、跨省劫持、拔指甲逼供

一个反诈博主的死亡真相:百万买凶、跨省劫持、拔指甲逼供

开箱见山
2026-10-27 17:12:38
高铁站换乘被误导下错车 女子苦等3小时!12306:可免费送到目的站

高铁站换乘被误导下错车 女子苦等3小时!12306:可免费送到目的站

快科技
2026-10-27 18:40:07
巴西股市六年多来首次触发熔断机制

巴西股市六年多来首次触发熔断机制

每日经济新闻
2026-10-27 09:17:25
以前经济上行期,不用商家劝自己就往坑里跳!网友:花的全是冤枉钱

以前经济上行期,不用商家劝自己就往坑里跳!网友:花的全是冤枉钱

夜深爱杂谈
2026-10-27 18:46:03
我绝不允许儿子,成为民粹主义者

我绝不允许儿子,成为民粹主义者

力哥说
2026-10-27 13:09:04
神舟二十三号返程倒计时!两人归来一人留守,下个乘组双指令长?

神舟二十三号返程倒计时!两人归来一人留守,下个乘组双指令长?

阿晪美食
2026-10-27 11:26:48
气笑了!刚毕业男生发8500工资给亲妈转1800,女友当场破防大吵,怒斥动用了两人的结婚基金!

气笑了!刚毕业男生发8500工资给亲妈转1800,女友当场破防大吵,怒斥动用了两人的结婚基金!

王老师你还好吗
2026-10-26 01:40:01
刘畊宏直播间凉了,“老板娘”的身材戳破了多少人的减肥梦?

刘畊宏直播间凉了,“老板娘”的身材戳破了多少人的减肥梦?

看尽落尘花q
2026-08-23 19:28:46
中央巡视组已全部进驻,举报联系方式公布,这些问题抓紧反映!

中央巡视组已全部进驻,举报联系方式公布,这些问题抓紧反映!

细说职场
2026-10-27 13:16:26
2026-10-27 19:16:49
人工智能学家 incentive-icons
人工智能学家
人工智能领域权威媒体
5126文章数 37528关注度
往期回顾 全部

科技要闻

Anthropic最硬气招股书,先把丑话说在前头

头条要闻

网友称披露医生在诊室抽烟后遭私信威胁 院方:正处理

头条要闻

网友称披露医生在诊室抽烟后遭私信威胁 院方:正处理

体育要闻

世界上最无趣的前锋,拿下了金球奖

娱乐要闻

芒果遇到厉娜和许飞笑发财了!

财经要闻

韩国芯片出口额可能下降高达1000亿美元

汽车要闻

30万级大六座 "豪华方盒子"魏牌二代蓝山正式亮相

态度原创

亲子
教育
本地
游戏
公开课

亲子要闻

4岁女儿太认吃了,爸爸给买的铜锣烧,一口都舍不得给爸爸吃

教育要闻

Alpha School现状:“2小时学习模式”被质疑未达承诺效果

本地新闻

十月奔赴迪庆,解锁梅里日照金山

山冈晃加上八尺夫人 这款生存恐怖游戏能有多吓人?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版