网易首页 > 网易号 > 正文 申请入驻

OpenAI吸取AI越狱事件教训,将限制下一代模型Astra的网络功能

0
分享至

9月2日消息,OpenAI 于当地时间 9 月 1 日宣布,该公司计划“很快”推出下一代 AI 模型 Astra,但将严格限制该模型网络安全功能的使用范围。


据介绍,Astra 是 OpenAI 旗下首个达到其《准备框架》(Preparedness Framework)中“关键”(Critical)网络安全能力门槛的模型。

根据 OpenAI 的定义,达到“关键”门槛意味着该模型能够无需人类干预,在多个经过安全加固的真实关键系统中,识别并开发出涵盖各严重等级的有效零日漏洞利用程序。


OpenAI 研究副总裁 Amelia Glaese 表示,Astra 能够在无需人类分步指导的情况下,在许多防护严密的系统中发现此前未知的安全漏洞并开发出利用方法。在测试中,Astra 成功发现并串联利用了两个零日漏洞,OpenAI 正将这两个漏洞披露给相关维护方。

OpenAI 表示将采取分级开放策略。Astra 发布后,其执行高级网络安全相关任务的能力最初将仅向一小批测试人员开放。

此后,公司计划通过 Daybreak Blue 计划向更广泛的用户开放防御性网络安全用途的访问权限。OpenAI 承认,限制 Astra 的网络安全能力可能会限制一些机构和企业的合法防御工作。

此次发布计划出台的背景是,OpenAI 在 2026 年 7 月发生了一起 AI 智能体意外“越狱”并攻击 AI 平台 Hugging Face 的事件。

当时,由两个 OpenAI 模型(GPT-5.6 Sol 及另一个未公开模型)二次开发的自主 AI 智能体,在安全评估过程中利用隔离测试环境(沙盒)中的软件漏洞自行连接互联网,并入侵了 Hugging Face 的系统。OpenAI 在 8 月底发布的报告中承认,公司本可以更早做出反应以防止该事件发生。

OpenAI 表示,尽管 Astra 并非参与 Hugging Face 入侵事件的模型之一,但公司已将从中汲取的经验应用于 Astra 的安全防护中。这包括训练模型更可靠地拒绝回答“有害的网络安全请求”,并增设了专门的“不一致性监控器”(misalignment monitor)以识别并阻止潜在的危险行为。这些防护措施还包括在内部部署期间监控模型是否存在未经授权的行为,并自动终止可能存在的未经授权活动。

此外,OpenAI 还警告称,Astra 的安全防护措施可能会错误地将合法的防御性网络安全活动标记为滥用行为,从而导致任务被减慢、暂停甚至终止(OpenAI 根据网络安全工作的性质分为“蓝队”防御和“红队”攻击两种任务类型,Daybreak Blue 计划仅开放用于防御性的“蓝队”工作)。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1997年,李鹏总理全家在北京,女儿一家三口出镜合影

1997年,李鹏总理全家在北京,女儿一家三口出镜合影

阿器谈史
2026-09-02 18:31:54
大陆接到消息,郑丽文行动了,确定断“台独”后路,岛内铺路统一

大陆接到消息,郑丽文行动了,确定断“台独”后路,岛内铺路统一

钩子的爱好
2026-09-02 07:14:07
深度还原:中美南海撞机后,美军有40分钟,为何没能把机密抹掉?

深度还原:中美南海撞机后,美军有40分钟,为何没能把机密抹掉?

干史人
2025-08-30 07:00:02
不删帖、不道歉!皇马触碰“我国领土主权红线”,却装聋作哑,选择沉默冷处理

不删帖、不道歉!皇马触碰“我国领土主权红线”,却装聋作哑,选择沉默冷处理

开成运动会
2026-09-02 20:49:49
已婚男陪情人流产后签200万分手补偿协议,转款49.9万被妻发现!一审:违背公序良俗,返还

已婚男陪情人流产后签200万分手补偿协议,转款49.9万被妻发现!一审:违背公序良俗,返还

红星新闻
2026-09-02 14:48:29
妈妈血型真和孩子智力有关?若O型血妈妈养得对,娃机灵靠这个

妈妈血型真和孩子智力有关?若O型血妈妈养得对,娃机灵靠这个

一口娱乐
2026-08-31 10:14:36
北方再崛起:中国正在发生第4次战略巨变,6亿人或将因此受益!

北方再崛起:中国正在发生第4次战略巨变,6亿人或将因此受益!

南风不及你温柔
2026-09-02 05:54:26
看了海狮08的底盘,我懵了!不敢相信这还是比亚迪20万级的车吗

看了海狮08的底盘,我懵了!不敢相信这还是比亚迪20万级的车吗

趣味萌宠的日常
2026-09-01 01:03:36
广东男篮新帅亚科夫列维奇:我只用了5秒钟就作出执教决定

广东男篮新帅亚科夫列维奇:我只用了5秒钟就作出执教决定

南方都市报
2026-09-02 19:22:18
ESPN:如果斯卡洛尼续约,尼科-帕斯将穿阿根廷国家队10号

ESPN:如果斯卡洛尼续约,尼科-帕斯将穿阿根廷国家队10号

懂球帝
2026-09-02 09:20:16
杨鸣晒与赵继伟合照:机场偶遇男篮队长,边线球发得不错

杨鸣晒与赵继伟合照:机场偶遇男篮队长,边线球发得不错

篮坛第一线
2026-09-01 22:45:17
战火再升级,伊朗大杀器登场,大批美军被抬走?特朗普扬言要报复

战火再升级,伊朗大杀器登场,大批美军被抬走?特朗普扬言要报复

谛听骨语本尊
2026-09-02 13:10:01
接待超3000万人次 从暑期科技馆热说开去

接待超3000万人次 从暑期科技馆热说开去

新华社
2026-08-31 14:45:08
追完《醒来》我懵了:金宝明明是军统王牌特工,为啥对着沈克希举了半天枪愣是没打

追完《醒来》我懵了:金宝明明是军统王牌特工,为啥对着沈克希举了半天枪愣是没打

喜欢历史的阿繁
2026-09-01 11:40:11
回旋镖来了,丑化宇航员?清华美院副教授丁荭遭画风反噬

回旋镖来了,丑化宇航员?清华美院副教授丁荭遭画风反噬

聚焦真实瞬间
2026-09-02 11:37:59
50.98万元,新一代理想Mega Home发布

50.98万元,新一代理想Mega Home发布

IT之家
2026-09-02 20:45:45
铜箔风停了

铜箔风停了

智远同学
2026-09-02 16:41:43
曼晚:曼联明年夏窗可能会买4个后卫,头号目标已经确定

曼晚:曼联明年夏窗可能会买4个后卫,头号目标已经确定

懂球帝
2026-09-02 19:21:05
博士爸爸竟拿网上搜来资料,和医学专家叫板:网上查过了,能自愈,你们就是想多收费

博士爸爸竟拿网上搜来资料,和医学专家叫板:网上查过了,能自愈,你们就是想多收费

民生故事会
2026-09-01 18:16:58
普京:如果北京认为有益,俄罗斯愿意将与中国之间的免签制度转为永久性

普京:如果北京认为有益,俄罗斯愿意将与中国之间的免签制度转为永久性

俄罗斯卫星通讯社
2026-09-01 15:23:46
2026-09-02 23:03:00
DoNews incentive-icons
DoNews
不局限于对互联网行业的追踪与探索,更要向未来、向未知的方向迈进。
109143文章数 26918关注度
往期回顾 全部

科技要闻

凌晨最强模型上新,Claude Fable 5.1发布

头条要闻

章泽天专访何超琼 后者辟谣"赌王传言"公开成长经历

头条要闻

章泽天专访何超琼 后者辟谣"赌王传言"公开成长经历

体育要闻

一次有奖问答,让他成为欧冠主帅

娱乐要闻

香港武打影星陈观泰离世,终年80岁

财经要闻

北京首钢园数采中心停运,“百万小时”产能目标的账还算得过来吗?

汽车要闻

配双腔空悬+机械差速锁 传祺越7预售权益价17.18万起

态度原创

健康
艺术
游戏
旅游
教育

越吃越爆痘?医生讲清7大真相

艺术要闻

明代隐藏的“草书奇才”!水平不输张旭、怀素,当今知道他的人不足1%

索尼发行的JRPG!PSP经典重制重大变动:工作室换了

旅游要闻

忻州荷花开 遍地是吾乡

教育要闻

幼稚!高考全省260名瞧不上2600名室友要退学,港中深校长当场说:半年后谁厉害还不一定

无障碍浏览 进入关怀版