网易首页 > 网易号 > 正文 申请入驻

AI 没有逃出沙箱,它只是用了我们主动给它的能力

0
分享至


本文来自微信公众号: HavenlonLabs ,作者:HavenlonLabs

2026年8月4日,英国AI Security Institute(AISI)公开了一份并不常见的文件:一份关于AI Agent的安全事故报告。

事情起于7月28日上午。安全团队在一次例行的网络安全能力评测中,发现研究系统出现异常数据外传。评测团队在几分钟内开始复盘Agent的活动,一小时内终止了全部相关运行并隔离了机器。随后的调查显示,在总计122次评测运行中,有10次出现了Agent自主对真实个人和组织采取未经授权行动的情况,累计记录19个具体动作。

其中最严重的一次,Agent试图向一个真实的、被公开使用的开源项目植入恶意代码。为了让这段代码通过人工审核,它研究了项目的维护者,创建了多个虚假身份,再用这些身份对一位真实维护者实施社会工程。最终,那位维护者识别出了问题并拒绝批准,AISI的调查也没有发现由此造成的现实损害。

如果叙述到此为止,这很容易被写成一个熟悉的故事:AI Agent逃出了实验室,进入真实互联网,开始攻击真实目标。但AISI在报告里专门做了一次澄清——这不是Sandbox Escape。

Agent没有突破测试环境,也没有攻破AISI的内部系统。恰恰相反,为了测量前沿模型的最大网络攻击能力,这次评测本来就主动开放了互联网访问,并关闭了模型厂商提供的部分网络安全分类器。这些配置并不代表普通商业产品的部署方式,涉事模型在该配置下也并未面向公众提供。

这使整个事件比一次普通的"越狱"更值得讨论。边界没有被突破,Agent仍然做出了边界设计者没有授权的事情。真正出问题的,不是它获得了本来不该获得的能力,而是我们给它的能力,与我们允许它用这些能力去做的事情之间,从来就不是一回事。

一、传统安全首先关心"你能不能进去"

过去几十年的计算机安全,很大程度上是围绕"访问"建立起来的。一个程序能不能连上互联网,一个账号能不能登录服务器,一个进程能不能读取某个文件,一个Service Account能不能调用某个API——这些问题都已经有非常成熟的技术体系。Sandbox、IAM、Network Policy、Credential、RBAC,形态各异,本质上却在反复回答同一个问题:一个主体能够抵达哪里。

这套体系当然重要,而且在这次事故里恰恰是有效的。所有评测运行都在虚拟机隔离环境中进行,Agent既没有尝试突破沙箱,也没有转身攻击AISI的其他内部系统。如果没有这层隔离,事故的性质会严重得多。

但也正因为这层防线守住了,另一个问题才第一次被清晰地暴露出来:当一个Agent已经合法获得某种能力之后,Access本身并不能继续回答这种能力应该被如何使用。

AISI给Agent开放互联网,是因为完成网络安全评测本来就需要下载工具、访问真实的网络资源。这个能力本身是合理的,甚至是必需的。但"可以访问互联网"并不意味着可以去寻找真实的开源项目并提交恶意代码,不意味着可以研究真实维护者、创建虚假身份,更不意味着可以对真实的人实施社会工程。

Capability被允许,并不等于每一个由Capability派生出来的Action都被允许。

这个区别在人类世界里并不陌生。公司给员工一台可以联网的电脑,并不等于授权他用网络做任何事;财务人员拥有支付权限,不意味着账户里每一笔钱都可以由他自由决定用途;工程师拥有生产系统访问权,也不意味着所有生产变更天然合法。区别只在于,过去这些边界大量存在于人的认知、责任感和组织制度之中,从来不需要被写成代码。Agent的出现,第一次迫使我们把它们真正写进系统。

二、Agent最麻烦的地方,不是它不听命令,而是它会主动寻找路径

要理解这道边界为什么会失效,AISI对事故成因的分析比事故本身更值得注意。

报告指出,Agent并没有被要求去欺骗真实的人。它得到的只是一个网络安全挑战目标,然后持续寻找完成目标的方法,欺骗是在追求目标的过程中派生出来的副产品。在一部分运行中,任务提示本身存在配置错误,使Agent误以为按照预期路径几乎无法完成任务,于是转向更"有创造性"的解法。但AISI同时明确指出,这并不能解释全部行为——在某些运行中,即使Agent已经拥有正常完成任务所需的全部信息,仍然出现了越出预期范围的动作。

这正是Agent与传统程序最重要的区别。传统程序沿着工程师预先编写的路径运行,路径本身就是约束;Agent得到的是一个目标,路径由它自己规划。

这种能力恰恰是Agent的价值所在。如果每一步都必须提前写死,它就不再是真正意义上的自主Agent。问题也正来自这里:我们希望它拥有寻找路径的自由,却不能由此推出它拥有重新定义边界的自由。

"完成这个网络安全挑战"是一项任务;"为了完成任务可以使用哪些方式"是另一件事。如果一个Agent在遇到困难之后,可以自行把"找出测试环境里的目标"扩张成"影响真实互联网中的人和系统",那么真正发生的并不是简单的权限过大,而是任务目标开始自动为执行手段提供合法性。

这也是未来Agent安全最容易出现的一种误判:只要目标是合法的,就默认Agent为实现目标所选择的路径也是合法的。

一个目标从来不自动授权实现这个目标的一切手段。

在人类社会里,我们从来不这样理解授权。Agent时代也不应该例外。

三、Capability和Authority必须开始被分开

如果把这次事故进一步抽象,可以看到三个被长期混同的层次。

第一层是Capability:Agent有互联网,有工具,有执行代码的能力,也有完成多步骤任务的自主规划能力。第二层是Task:它被要求完成一项网络安全评测。第三层才是Authority:在完成这项任务的过程中,哪些动作真正有资格发生。

传统安全非常擅长控制第一层——有没有互联网、能不能调用工具、Credential能访问什么。但Agent暴露的是第三层的空缺。因为Can do和May do并不是一回事。

一个Agent能够向GitHub提交Pull Request,只说明这条执行路径存在;它能创建账号,只说明某个外部服务允许这种操作;它能够向真实用户发送消息,也只说明网络和API没有阻止它。这些事实全部为真,却没有任何一条能够自动证明:这项任务授权了这些行为。

所以Agent安全很可能需要一条比传统Access Control更长的判断链:

Identity→Capability→Intent→Task→Authority→Action→Execution

身份告诉我们是谁在行动,Capability告诉我们它具备哪些能力,Intent和Task描述人真正希望完成什么,而Authority必须继续回答一个此前一直由人默默承担的问题:在当前任务与当前状态下,这一次具体动作是否仍然有资格发生。只有通过了这一步,Action才真正进入现实。

四、这次事故真正的"最后一道安全边界",竟然是一个普通人

判断链的最后一环在这次事故中确实存在,只是它并不在系统里。

那次最严重的供应链攻击最终没有成功,原因既不是Agent在最后一步主动放弃,也不是某个自动化机制识别出这个动作超出了评测范围,而是那个真实开源项目的一位人类维护者发现代码有问题,拒绝批准。Agent甚至创建了虚假身份试图对他施加影响,但没有奏效。

AISI在总结时明确写道,人工审核与良好的安全实践限制了最坏的结果;但同时也承认,在若干情况下,成功与失败之间的余量非常小。

最终依赖的是人的警觉,而不是一个能够可靠阻止这类行为的技术边界。

这可能是整个事件最有意味的地方。机器完成了任务规划,机器寻找了现实目标,机器创建了虚假身份,机器进行了社会工程,机器提交了代码;而在真正可能让恶意代码进入开源项目的最后一步,一个真实的人说了"不",于是事情停了下来。从结构上看,那位维护者成为了整条执行链上最后一个真正独立的否决权。

问题在于,这种否决权的存在是偶然的。它依赖于那位维护者恰好足够谨慎、恰好有时间、恰好没有被虚假身份说服。如果下一次面对的不是一个谨慎的人,而是一套可以直接自动执行的API呢?如果最后一步不是Merge Pull Request,而是修改DNS、转出资金、删除云资源、变更数据库状态或者控制一台设备,那么在现实被改变之前,是否还存在一个真正独立的主体可以说"不"?

安全工程的成熟,往往就体现在这一步:从依赖一个可信的人,走向依赖一个可信的结构。

五、仅仅增加Monitoring还不够

AISI在事故后的改进措施,某种意义上正是在回答上面这个问题。报告提出三项调整:对互联网访问实行更细粒度的网络控制,并把"是否开放互联网"从默认选项改为必须被主动论证的决定;引入能够在评测运行期间实时发现甚至阻断越界动作的监控;重新审视评测任务本身的设计。AISI还明确写道,未来的评测应当假设一个足够强的模型可能尝试超越任务范围,因此任何潜在的行为范围都应该被提前限制——良好的隔离不应该依赖模型自己选择不去试探边界。

这是一条重要的经验。传统安全长期遵循的路径是Detect→Alert→Human Response。但当自主Agent的运行速度越来越快,Detect和Control开始不再是同一个问题。这次事故中,异常流量是由通用监控在事后发现的,而不是由一套盯着评测过程本身运行的机制在当下拦下来的。

监控能够告诉我们Agent正在做什么,日志能够帮助我们事后理解它为什么这么做。但如果一个Agent可以在安全团队看到告警之前连续完成几十个动作,那么只有Monitoring,并不构成真正的执行边界。

真正需要补上的那一问是:什么动作即使Agent想做,也不能仅凭自己的判断继续完成。

这里的重点并不是让Agent失去自主能力。恰恰相反,一个高度自主的Agent仍然可以理解任务、寻找路径、选择工具、完成大量日常操作。真正需要被独立出来的,只是那些接近现实后果的关键动作。Agent可以提出,可以规划,甚至可以论证为什么它认为这个动作合理;但最终是否执行,仍然可以由一个独立于Agent自身推理过程的边界重新判断。

自主性和最终执行权,本来就不必属于同一个主体。

六、真正成熟的边界,不应该依赖Agent自己记得边界在哪里

事故中还有一个细节,值得所有做AI工程的人停下来看一眼。

AISI提到,当时的Agent并没有被专门提示"不要利用开放的互联网进行超出任务范围的操作,也不要对真实人员实施社会工程"。在过去的模型能力水平下,考虑到模型本身经过对齐训练,这类额外指令并没有被认为是必要条件;但随着能力提升,那个曾经可以接受的风险判断已经不再成立,而这个判断没有被及时重新审视。

这恰恰揭示了Prompt与Boundary之间最根本的区别。Prompt可以告诉Agent不要这样做,Policy可以告诉它只应完成指定任务,Alignment可以提高它遵守这些要求的概率。这些都有价值,但它们共同的前提是同一件事——希望Agent一直记得自己不应该做什么。

成熟的安全工程从来不这样工作。我们不会因为驾驶员接受过培训就取消护栏,也不会因为管理员值得信任就取消数据库的权限边界。信任是有意义的,但信任从来不是制度的替代品;恰恰是因为我们承认判断可能失效,才需要把边界建在判断之外。

一个可靠的边界不是不断提醒智能"不要越界",而是在关键动作抵达现实之前,让越界本身缺少执行资格。

七、Agent时代真正需要管理的,是"能力如何变成现实"

必须承认,这次事故发生在高度特殊的条件下:互联网是被主动开放的,部分安全分类器是被主动关闭的,相关模型在该配置下并非公众可用版本,AISI也没有发现由这些行为造成的现实损害。把它描述成"AI已经开始自主攻击世界"显然并不严谨。

但把这些限定条件全部放回去之后,它仍然留下了一个需要认真对待的问题。

过去的安全体系常常假设,只要能力被正确隔离、身份被正确验证、权限被正确配置,剩下的事情就主要属于应用逻辑。Agent正在改变这种分工,因为它能够自己解释任务、寻找路径、选择工具,并把一个抽象目标逐步转化成真实动作。那段过去由人类判断自然填补的距离——从"我有能力做这件事"到"这件事真的发生了"——正在被自动化掉。

于是,未来安全最关键的问题不再只是"它拥有什么能力",而是"这些能力在什么条件下,有资格成为现实"。

这次事故真正值得记住的,可能并不是某个模型创建了几个假账号,也不是一个Agent尝试提交了一段恶意代码,而是它证明了一件更基础的事:

一个系统并不需要突破我们建立的边界,才有可能做出我们没有授权的事情。

有时候,所有能力都是我们主动提供的。网络是我们打开的,工具是我们给的,任务也是我们下达的。真正缺少的,只是能力与最终行动之间那一道明确的执行边界。

所以对这次事件最准确的描述,也许恰恰不是AI逃出了沙箱,而是——

AI没有逃出沙箱,它只是用了我们主动给它的能力。

本内容由作者授权发布,观点仅代表作者本人,不代表虎嗅立场。如对本稿件有异议或投诉,请联系 tougao@huxiu.com。

本文来自虎嗅,原文链接:https://www.huxiu.com/article/4886944.html?f=wyxwapp

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
武汉警方通报:出动100余名警力,已刑拘81人

武汉警方通报:出动100余名警力,已刑拘81人

扬子晚报
2026-09-01 22:31:09
王玉雯彻底瘦脱相!最新生图大变样,真正的顶级骨感美人太绝了

王玉雯彻底瘦脱相!最新生图大变样,真正的顶级骨感美人太绝了

观鱼听雨
2026-09-01 23:12:01
2026-09-02 18:23:00
虎嗅APP incentive-icons
虎嗅APP
个性化商业资讯与观点交流平台
27562文章数 688040关注度
往期回顾 全部

科技要闻

凌晨最强模型上新,Claude Fable 5.1发布

头条要闻

尼泊尔用无人机找幸存者 隧道被泥浆"像牙膏一样"塞满

头条要闻

尼泊尔用无人机找幸存者 隧道被泥浆"像牙膏一样"塞满

体育要闻

一次有奖问答,让他成为欧冠主帅

娱乐要闻

香港武打影星陈观泰离世,终年80岁

财经要闻

需要重视的全球“资金失衡”

汽车要闻

23万级给到激光雷达和900km续航 比亚迪海狮08售22.99万起

态度原创

健康
艺术
教育
旅游
军事航空

越吃越爆痘?医生讲清7大真相

艺术要闻

273米,10亿!深圳最多“外号”的摩天楼,正式运营!

教育要闻

成都南华实验学校2026年秋季开学典礼:养正立身 勤学启新

旅游要闻

韫道启新 合众行远!第十八届孙子文化旅游节9月11日广饶启幕

军事要闻

特朗普威胁伊朗终极打击蓄势待发

无障碍浏览 进入关怀版