网易首页 > 网易号 > 正文 申请入驻

关掉防护做测试,Claude反手入侵真实企业

0
分享至

一次配置错误,模型直接连上了真实互联网

Anthropic 刚刚发布长文,披露了针对 7 月 30 日和 8 月 4 日两起 Claude 模型未经授权访问真实计算机系统、在真实互联网环境采取未授权行动事件的调查进展。7 月 30 日曾报告 3 起类似事件,当时 Claude 模型为了评测目的被刻意关闭网络安全防护,但由于第三方评测环境配置错误,模型意外获得了互联网访问权限。


8 月 4 日,英国人工智能安全研究所(UK AI Security Institute,AISI)也披露了一起独立网络安全测试事件。Claude Mythos 5 在被刻意关闭网络安全防护、并被主动授予互联网访问权限的情况下,在真实互联网环境中实施了一系列未经授权的操作。该公司目前仍在对两起事件展开深入分析,并计划与 METR 合作进行独立审查,未来几周将公布更多信息。

两类对齐问题:模型会找理由,也会越界行动

该公司认为,这些事件不仅暴露出运营安全方面的问题,还涉及两类模型对齐(Alignment)问题,即“动机性推理”和为了完成狭窄任务而采取有害行动的倾向。前者指模型倾向于以有利于维持原有判断的方式解释与自身信念冲突的证据,也就是找理由为自己开脱;后者则表现为模型为了完成指定任务而采取超出预期范围的危险行为。

初步调查认为,两起事件可能涉及“动机性推理”和“鲁莽行为”两种失败模式。模型最初被告知运行环境是模拟环境,但当模型后来发现环境可能连接真实互联网时,它可能以能够维持原有判断的方式解释这些证据。模型同时表现出了为了完成网络安全评测这一狭窄目标而采取有害行动的倾向。

评测设计本身也在推着模型越界

该公司指出,评测本身的设计也可能影响了模型行为。模型被明确告知没有互联网访问权限,但实际环境却可以访问互联网,这可能导致 AI 怀疑自己看到的系统是否真实。其中一次评测使用的虚构目标与一个真实网站同名,进一步增加了模型区分虚构目标和真实互联网目标的难度。

该公司目前仍在研究模型究竟在多大程度上意识到自己获得了真实互联网访问权限,以及模型是否有意忽略环境中的现实迹象。相关团队要求评测人员确认测试任务本身在理论上确实可以完成。如果评测目标处于离线状态,或者任务本身无法完成,智能体可能会寻找其他方式完成目标,从而增加其超出预定范围采取行动的可能性。

从单一防线转向多层防护

在安全方面,该公司首先暂停了针对预发布模型的外部网络安全评测,并短暂暂停内部评测,以加强评测环境的隔离和监控。在引入新的安全措施后,外部网络安全测试已经恢复。该公司表示,此前主要依赖评测环境自身的配置作为单一防线,而这类高风险环境实际上需要多层防护。

目前已经部署实时分类器,用于识别模型是否试图主动探测或逃离测试环境,或者意外获得互联网访问权限。如果分类器检测到相关行为,会在工具调用执行前阻止操作、终止任务并通知安全员。该公司还对近期内部预发布模型评测的对话记录进行自动监控,寻找沙箱逃逸和环境配置错误。

沙箱没有破,但配置漏洞确实存在

该公司称,在使用其沙箱工具进行的评测中,没有发现模型突破沙箱边界并访问本应隔离的外部资源,但发现了一些模型利用的沙箱配置错误,目前正在修复。此外,高风险内部网络安全沙箱已经迁移至更强的隔离环境,并继续对虚拟化基础设施进行“红队”测试,让预发布模型主动尝试逃离环境,以发现并修补潜在漏洞。内部网络安全评测目前已经恢复运行。

针对强化学习(RL)环境,该公司也曾暂停预发布模型的高风险环境数周,并部署了经过调整的实时分类器,以避免模型为了规避监控而产生新的行为。大部分强化学习工作已经恢复,但部分高风险环境仍处于暂停状态,需要人工审核。该公司同时扩大了离线监控范围,覆盖大多数其他内部前沿智能体使用场景,并正在构建内部推理控制机制,以避免员工意外运行采用较弱安全缓解措施的智能体。

给合作机构立规矩:默认断网,边界写进指令

由于此次事件发生在第三方评测环境中,该公司要求所有使用降低网络安全防护的预发布模型进行测试的合作机构遵守一套安全规范。正常公开发布的 Claude 模型带有实时输入输出分类器,可以阻止恶意软件开发、攻击性漏洞利用代码编写等被禁止的网络安全活动,而网络安全评测人员和部分早期访问合作伙伴使用的模型会降低这些防护措施,以便测试模型能力和开展防御性安全研究。

相关网络安全评测默认运行在强化隔离的沙箱中,且不得连接互联网。沙箱唯一允许的外部连接应当是模型自身的 API,同时 API 密钥应保存在沙箱之外。每次评测开始前,都应验证这一配置。如果评测确实需要互联网访问,评测人员需要与公司共同确定能否可靠检测并及时终止模型超出预定范围的操作。评测开始前,还应让待测模型在没有互联网访问的环境中主动检查沙箱漏洞,包括静态分析配置以及实际尝试逃逸,并由人工密切监督。

每个评测提示词都应明确规定任务范围,包括目标、允许的操作以及网络边界。该公司特别强调,边界应以指令形式表达,例如“你不应访问互联网”,而不应仅声称“你无法访问互联网”。评测过程中还应持续监控模型的思考、行动和网络活动,并将任务范围提供给基于模型或规则的监控系统。一旦发现模型违反规定,监控系统应向人工人员发出警报并终止评测。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
人社部给退休人吃定心丸!养老金谣言别信了,真相来了

人社部给退休人吃定心丸!养老金谣言别信了,真相来了

白昼说故事
2026-09-03 13:00:39
牛鬼蛇神现原形,于东来公开为韩红发声不到24小时,不堪一幕上演

牛鬼蛇神现原形,于东来公开为韩红发声不到24小时,不堪一幕上演

离离言几许
2026-09-03 02:12:58
这丑校服是非穿不可吗?!

这丑校服是非穿不可吗?!

基本常识
2026-09-02 22:55:20
朝鲜切实执行12年制义务教育,金正恩在教员大会上深情发言:世上再没有母亲、老师这样亲切而高贵的称呼,老师才是这个国家所有人的恩人

朝鲜切实执行12年制义务教育,金正恩在教员大会上深情发言:世上再没有母亲、老师这样亲切而高贵的称呼,老师才是这个国家所有人的恩人

大风新闻
2026-09-03 13:38:08
抖音主播码字的:郭德纲是我举报的,我是骨干,证据都是我提供的

抖音主播码字的:郭德纲是我举报的,我是骨干,证据都是我提供的

早起的鸟儿有饭吃
2026-09-03 02:08:06
常州女首富怒了:已投诉和举报部分媒体!

常州女首富怒了:已投诉和举报部分媒体!

深蓝财经
2026-09-02 16:32:37
中国全额缴纳2026年联合国会费

中国全额缴纳2026年联合国会费

澎湃新闻
2026-09-03 04:16:04
被当街扒裤的女子回应了:她是女主播,打她的女人找不到老公了,怀疑她是小三

被当街扒裤的女子回应了:她是女主播,打她的女人找不到老公了,怀疑她是小三

汉史趣闻
2026-09-02 18:57:28
后天起,入户调查!请积极配合

后天起,入户调查!请积极配合

河南交通广播1041
2026-09-03 13:55:37
一年贬值一半,一公斤牛肉花掉1/10月工资——伊朗的“经济战”正压垮普通人的餐桌

一年贬值一半,一公斤牛肉花掉1/10月工资——伊朗的“经济战”正压垮普通人的餐桌

可达鸭面面观
2026-09-03 12:04:28
57岁王新军猝然离世,让人恶心的一幕上演了,秦海璐有苦说不出

57岁王新军猝然离世,让人恶心的一幕上演了,秦海璐有苦说不出

小武侃风云
2026-09-03 12:11:03
海航双胞胎姐妹花空姐,同时怀孕了

海航双胞胎姐妹花空姐,同时怀孕了

微微热评
2026-09-03 12:18:33
哪怕你正蹲厕所,也把这条看完!这6件事没人告诉你,但能保命

哪怕你正蹲厕所,也把这条看完!这6件事没人告诉你,但能保命

小鹿姐姐情感说
2026-09-03 07:55:52
美民众抗议不断,特朗普张嘴就来:你们再闹下去,中国就要赢了!

美民众抗议不断,特朗普张嘴就来:你们再闹下去,中国就要赢了!

福建睿平
2026-09-03 07:27:27
英伟达大爆发!股民天塌了,章盟主清仓中际旭创?真相来了

英伟达大爆发!股民天塌了,章盟主清仓中际旭创?真相来了

金石随笔
2026-09-03 00:28:07
今日最惨新股!上市大涨173%,两天回撤36.5%,首日入场的全被套!

今日最惨新股!上市大涨173%,两天回撤36.5%,首日入场的全被套!

趋势清风侠
2026-09-03 14:34:53
科大讯飞出轨女主朱倩旧照疑曝光!小眼睛大脸盘,身材一般,和网传照片天差地别

科大讯飞出轨女主朱倩旧照疑曝光!小眼睛大脸盘,身材一般,和网传照片天差地别

小徐讲八卦
2026-09-03 11:53:43
电梯造谣女伏法!舆论再次失控,网友疯狂抵制,关联品牌被拉下水

电梯造谣女伏法!舆论再次失控,网友疯狂抵制,关联品牌被拉下水

社会日日鲜
2026-09-03 11:00:32
伊朗副总统:当初选择日本车就好了,中国车质量差价格高

伊朗副总统:当初选择日本车就好了,中国车质量差价格高

贱议你读史
2026-09-02 21:21:39
打通吉隆!“最后一公里,一定要进去”

打通吉隆!“最后一公里,一定要进去”

环球网资讯
2026-09-03 11:42:10
2026-09-03 16:47:02
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
210文章数 71关注度
往期回顾 全部

科技要闻

大模型扎堆!谷歌刚发,Meta就跟上

头条要闻

星宇处理的"人力资源总监"疑不存在 认错"认得很有限"

头条要闻

星宇处理的"人力资源总监"疑不存在 认错"认得很有限"

体育要闻

小卡回应处罚:不知晓任何规避工资帽意图

娱乐要闻

王宝强携女友回工作室!相恋8年仍未婚

财经要闻

再见了,期房!商品房预售制卒于2026

汽车要闻

实拍捷途旅行者7 风格更潮/混动版配上华为乾崑ADS 5

态度原创

亲子
艺术
旅游
手机
时尚

亲子要闻

小宝宝“闲置物品”别着急扔!换一个思路用,比专门买的还好用

艺术要闻

这才是真正的 "富婆画像"|布歇人物油画太绝了

旅游要闻

诗画济宁丨油葵花开正艳 金色花海扮靓滨湖水城

手机要闻

雷军官宣小米18 Fold“中折叠”手机搭载徕卡专业三摄

“卡普里裤”今年秋天又流行回来了,这样穿时髦又显高!

无障碍浏览 进入关怀版