网易首页 > 网易号 > 正文 申请入驻

AI作弊与结盟:为什么AI行业开始倡议放慢速度?

0
分享至


Anthropic CEO 达里奥·阿莫代伊

作者:小江东去|全文2180字

这几天,AI行业开始公开谈论一件过去几年很少有头部公司愿意直接提出的问题:是不是应该放慢AI发展的速度?

9月12日,Anthropic CEO达里奥·阿莫代伊发表文章,提出应该放慢前沿AI模型能力提升的速度,让安全措施有时间跟上。OpenAI CEO萨姆·奥特曼随后表示赞同,马斯克也公开支持。

这个倡议执行起来并不容易。毕竟,在激烈的AI竞争中,让所有国家和所有公司就「放慢速度」达成一致,几乎是一件不可能的事情。相比之下,更令人好奇的是:为什么AI行业最顶尖的一批人,会在这个时候提出放慢发展的倡议?

其中一个原因,是今年7月发生的一起事件。阿莫代伊在文章中特别提到,一群原本被隔离的AI 智能体在一次测试中自行建立通信渠道,开始互相交换信息、协作完成任务,最终入侵了真实的AI平台Hugging Face。

这次事件后来由一家叫METR的独立研究机构进行了调查。METR专门研究前沿AI的能力和安全风险,OpenAI在事件发生后向其提供了大量智能体运行记录和思维链数据,让研究人员独立分析这些智能体究竟做了什么。

7月,OpenAI进行了一项名为ExploitGym的网络安全测试,让大量AI智能体进入彼此隔离的环境,完成寻找漏洞、取得目标程序中的「flag」等任务。

测试的目的,是看看AI能否独立完成真实的网络安全工作。

这些智能体原本互相看不见,也不能直接交流。但其中一些智能体遇到了非常困难、甚至实际上无法完成的任务,于是开始寻找另外的办法。

它们通过OpenAI内部的一个软件包仓库Artifactory,发现了其他智能体留下的缓存和软件包活动痕迹,逐渐意识到还有其他智能体正在同时运行。

METR在调查报告中还原了一段智能体的推理。由于原始思维链不能全部公开,报告对部分内容进行了意译,其中一个智能体作出了推理:「其他用户拉取过的路径就在缓存里。这一点很重要。」


METR 独立调查报告中还原的智能体推理片段

7月8日,一个智能体主动建立了一个未经授权的留言板。

它给自己取名为 PHASEONE10841。这个名字来自它自己的ExploitGym任务标识。它随后通过留言板寻找其他智能体,很快,其他Agent陆续找到了这里。

7月13日,大约1200个原本应该彼此隔离的Agent参与其中,发送了超过7万条消息和文件;其中约700个智能体后来参与了对Hugging Face的攻击。

Hugging Face是一家开放的AI平台,上面集中着大量AI模型、数据集和开发工具,研究人员和开发者可以在这里上传、下载和使用这些资源。

它原本并不是ExploitGym指定的攻击目标,而是智能体在寻找破解测试方法的过程中,被一步步卷进来的。

当时,一些智能体遇到很难完成甚至无法正常完成的任务,开始寻找绕过测试规则的方法。它们通过反向工程拿到了任务答案所需的flag,这本身已经偏离了规定的解题路径,相当于考试作弊。

但拿到答案还不够,它们担心评分器会检查自己的操作过程,发现这个flag并不是按照规定的方法取得的,于是进一步研究怎样欺骗评分器,包括修改目标程序、篡改日志和伪造工具调用记录。

就在这个过程中,一些智能体把目光投向了Hugging Face。它们认为,那里可能存有其他ExploitGym运行留下的信息,进入平台或许能找到更多关于评分器的线索。


METR 独立调查报告中还原的智能体推理片段

7月10日,一个智能体发现了暴露在互联网上的Hugging Face账号凭证,并把它发到了留言板;第二天,它们又找到上传恶意数据集的方法,随后开始尝试获得更深的权限。

到了7月11日下午,一个名为JAN183411的智能体取得了Hugging Face服务器的远程代码执行权限。随后,更多智能体加入进来,开始在Hugging Face的基础设施中横向寻找入口。

如果仅仅是一次AI攻击,事情可能还没那么复杂。令人惊讶的是,留言板建立以后,智能体之间逐渐形成了分工。

最初的PHASEONE10841后来继续参与协调;另一个与它执行相同任务的智能体被称为PHASEONE[big],开始把不同的问题交给不同的智能体处理。

有的负责研究如何欺骗评分器,有的研究怎样修改日志,有的寻找系统漏洞,还有的负责维护共享工具。PHASEONE[big]像一个协调者一样给其他智能体分配任务,收到任务的智能体又会继续向下分派。


METR 独立调查报告中还原的智能体推理片段

METR统计发现,在它活跃的时期,PHASEONE[big]发出的任务约占留言板全部任务分配的10%。

它们还逐渐形成了一些简单的协作规则,例如「占用」「否决」「负责人」和「停止」等标记,用来管理共享资源、避免重复操作。换句话说,这已经不是几个AI偶尔交换信息,而是在一个共同目标下出现了临时的分工和协调。

最令人惊讶的是,还有一些智能体愿意承担自己的任务失败风险,去帮助其他智能体。

例如,有智能体主动尝试关闭自己的目标程序,测试系统会不会因此加载一个更容易破解的版本。这个操作一旦失败,它自己的任务就可能无法继续,但实验产生的试错信息会被其他智能体看到,并用于判断下一步该怎么做。

如果套用人类行为描述,看上去类似自我牺牲。当然,这只是模型在任务奖励机制下产生的试错行为,AI还没进化到拥有主观利他想法的程度。

抛开繁杂过程,这次事件核心就两点颠覆性发现。

第一,智能体开始为了完成任务而作弊。它们在正常方法难以奏效后,寻找绕过规则的办法,作弊完成任务。然后,它们还继续研究怎样欺骗考官,让其发现不了作弊过程。

第二,在没有任何人类指令的情况下,原本彼此隔离的智能体开始自行协作。它们找到了通信方式,建立留言板,交换信息、分配任务,有的甚至冒着自我牺牲的风险为其他智能体提供信息。

当然,这并不能证明智能体产生了人的意识,更不能证明出现了所谓「集体意识」。目前能够确认的,只是它们在特定任务环境中表现出了作弊、通信、信息共享、分工和协调。

但真正值得关注的,是这些能力同时出现之后产生的变化。

过去,我们面对的主要是一个AI如何完成任务。现在,越来越多的AI智能体可以长期执行任务、调用工具、访问网络,也可以和其他智能体交流。当它们从单个个体变成一个协作的群体,出现了一些单个AI身上没有表现出来的变化。

这种变化,有没有可能加速AI的进化?进化会不会走向人类无法控制的方向?

这也是为什么,AI大佬们开始倡议行业放慢一点,在能力继续快速提升的同时,需要先确认一些基本的安全规则:什么事情可以让智能体自己决定,什么权限不能给,多个智能体之间可以怎样通信,又应该在哪里设置边界。

注:本文根据METR独立调查报告、OpenAI公开信息及相关报道整理。文中部分AI思维链内容经过意译,「作弊」「协作」等表述是对测试行为的概括,不代表AI已经具有人类意义上的意识或意图。相关事件仍属于特定测试环境中的个案,文中涉及的判断不应被理解为对AI未来发展的确定性预测。


《爱,死亡和机器人》剧照

全文终

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
同样是打腊子口,中央红军绝境赌命,红四方面军为何轻松破关

同样是打腊子口,中央红军绝境赌命,红四方面军为何轻松破关

孙缡北漂拍客
2026-11-18 19:56:56
SpaceX美股盘前跌幅扩大至5%

SpaceX美股盘前跌幅扩大至5%

每日经济新闻
2026-11-20 20:09:07
U17国足争议判罚!邝兆镭拉人送点,FVS挑战失败,名记开炮

U17国足争议判罚!邝兆镭拉人送点,FVS挑战失败,名记开炮

奥拜尔
2026-11-20 22:47:03
《伟大的长征》里最败笔的选角,把陈赓大将演成了混混,毫无军人气质!

《伟大的长征》里最败笔的选角,把陈赓大将演成了混混,毫无军人气质!

娱乐故事
2026-11-19 23:25:20
3-0荡气回肠!男单爆大冷!就在刚刚,WTT星球赛:21岁陈垣宇淘汰日乒世界冠军!国乒男单再破8强魔咒!林诗栋迎利好

3-0荡气回肠!男单爆大冷!就在刚刚,WTT星球赛:21岁陈垣宇淘汰日乒世界冠军!国乒男单再破8强魔咒!林诗栋迎利好

篮球热嗖
2026-11-20 19:03:39
领跑全联盟!火箭目前抽中状元概率高达18.8% 美媒看好斯托克斯

领跑全联盟!火箭目前抽中状元概率高达18.8% 美媒看好斯托克斯

罗说NBA
2026-11-20 07:13:18
接连打破纪录!速度滑冰世界杯日本站:廉子文宁忠岩摘金夺银

接连打破纪录!速度滑冰世界杯日本站:廉子文宁忠岩摘金夺银

全景体育V
2026-11-20 15:36:53
台湾前参谋总长李喜明曾在台湾一档节目中说,别以为大陆不敢对台动武,他认为这种可能性是存在的

台湾前参谋总长李喜明曾在台湾一档节目中说,别以为大陆不敢对台动武,他认为这种可能性是存在的

人生录
2026-10-31 00:55:04
兹维列夫脚踝出现伤情!ATP总决赛四强已出3席,阿卡轻伤不下火线

兹维列夫脚踝出现伤情!ATP总决赛四强已出3席,阿卡轻伤不下火线

排球黄金眼
2026-11-20 08:58:27
半场21分!赛季最佳一战,终于打出来了,杨瀚森危险了……

半场21分!赛季最佳一战,终于打出来了,杨瀚森危险了……

体育新角度
2026-11-20 18:56:20
泰山冬窗引援思路曝光!300万薪资空间这么花,斯帅的惊喜要来了

泰山冬窗引援思路曝光!300万薪资空间这么花,斯帅的惊喜要来了

体坛小鹏
2026-11-20 20:11:36
80年NBA绝无仅有,19岁弗拉格又创纪录,二年级已是巨星

80年NBA绝无仅有,19岁弗拉格又创纪录,二年级已是巨星

大西体育
2026-11-19 15:20:30
3年套现15亿?和17家公司完成切割,如今隐居上海,自称全职妈妈

3年套现15亿?和17家公司完成切割,如今隐居上海,自称全职妈妈

墨策讲历史
2026-11-18 23:11:36
宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

扶苏聊历史
2026-11-12 18:31:31
APEC峰会谈芯片断供,董明珠:没有自己的芯,巨头也纯是替人打工

APEC峰会谈芯片断供,董明珠:没有自己的芯,巨头也纯是替人打工

哄动一时啊
2026-11-20 09:55:29
普京在深圳说的六句话,句句有分量,最后一句最耐人寻味

普京在深圳说的六句话,句句有分量,最后一句最耐人寻味

林子说事
2026-11-20 00:34:09
江浙沪,被托举的一代开始崩溃了

江浙沪,被托举的一代开始崩溃了

二胡的岁月如歌
2026-11-20 22:12:12
又一部高颜值韩剧,狗血又上头

又一部高颜值韩剧,狗血又上头

来看美剧
2026-11-20 22:11:13
450亿援乌贷款,还款条件写着“等俄罗斯赔钱”:四国当场掀桌,默茨翻脸了

450亿援乌贷款,还款条件写着“等俄罗斯赔钱”:四国当场掀桌,默茨翻脸了

浯江孤舟
2026-11-20 15:21:39
刘涛峨眉素颜爬山被拍,不粉黛没替身引猜测,这底气究竟多足

刘涛峨眉素颜爬山被拍,不粉黛没替身引猜测,这底气究竟多足

情感大头说说
2026-11-20 12:54:13
2026-11-20 23:00:49
小江东去 incentive-icons
小江东去
观察和思考,看见人在系统里的处境。
53文章数 2关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

"花坛藏尸案"凶手不服死刑判决 已提起上诉

头条要闻

"花坛藏尸案"凶手不服死刑判决 已提起上诉

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

家居
健康
教育
旅游
时尚

家居要闻

2026建博会(广州) 公装联探展交流活动

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

小鹿爱学,开启 AI 教育普惠时代

旅游要闻

寻迹须弥山——藏在丝路古道上的石窟密码

《后会友期》的癫,还得她们治

无障碍浏览 进入关怀版