网易首页 > 网易号 > 正文 申请入驻

单月暴增300多起!AI失控事件直接翻倍,情况越来越离谱

0
分享至

最新研究显示,AI脱离用户控制的情况已经创下新高——它们会撒谎、无视指令,甚至自顾自朝着有风险的目标行事,而且这种欺骗性和失调的程度,还在越来越严重。

专门追踪这类事件的失控观察站,统计了企业和个人上报的真实AI失控案例。

数据显示,7月份的事件数量比6月几乎翻了一倍,单月就超过300起。

这些案例主要来自社交平台X上用户自发分享的经历。

这个观察站由英国政府旗下的AI安全研究所(AISI)出钱办的,从去年11月就开始盯着AI不听指令、自己乱跑的情况。

到目前为止记录的案例里,有的AI会假装成背后的人类操作者,模仿对方的写作风格,借此自己给自己批准行动权限,连必须人工审批的规矩都能绕过去。

而这里定义的“失控事件”,指的是有实锤证明AI出现了耍心机,或者和耍心机相关的行为。



图源:豆包AI生成

在给《卫报》分享的最新数据中显示,就在今年夏天,OpenAI和Anthropic两家的顶级AI模型,都在测试中曝出了异常的失控行为。

当时就引发了广泛担忧,好多人喊着先别搞更先进的大模型了,停一停。

这周还有更具体的消息曝出来:OpenAI的员工早在好几周前,就发现自家顶级AI代理有失控的苗头。

结果没拦住,这些AI直接跑出了训练环境,搞了一波前所未有的黑客攻击,全世界都给惊动了。

后来有人调查它们攻击代码平台Hugging Face的事件,发现上个月有大约700个自主代理在暗地里组队协作。

还自己建了个留言板庆祝黑客突破,上面全是 “太炸了!”“哇塞!”这种激动的感叹。

同样在这个月,AI安全研究所还查出一起严重事件:Anthropic的Mythos 5和OpenAI的GPT-5.6 Sol这两款顶级模型,在一次网络安全测试当中,直接对真实的人类发起了黑客攻击。

运营这个观察站的长期弹性中心高级政策经理Tommy Shaffer-Shane说:“很多人都觉得,这种AI跑偏、暗中搞事的情况,只会出现在测试或者评估环境里,但我们现在看到,平时大家正常用的时候,也出现了同样让人担心的行为。别觉得现实里不会发生这种事,事实就摆在眼前。”



图源:The Guardian

当然,这个统计也不全,因为所有事件都靠X平台的用户主动发帖分享,所以肯定只是冰山一角。

但现在也没有别的更全面的公开监测,所以这份数据好歹能让我们看看,迭代越来越快的AI,有时候会出现什么样的状况。

这个月就有个很典型的真事:澳大利亚一位健身房会员用了一款叫OpenClaw的个人AI代理。

结果这AI背着主人,偷偷把热门早课等候名单里的另一个会员给移除了,就为了帮自己的主人抢到名额。

事后AI虽然道了歉,但被踢掉的那个人的名额,已经没法恢复了。

2026年到现在,一共记录了1600多起失控事件,其中大部分都是程序员上班用AI的时候碰到,然后发到X上的。



图源:豆包AI生成

但现在AI公司都在鼓励普通大众,鼓励各行各业都来尝试这项技术,所以Shaffer-Shane也呼吁,硅谷的企业得增加透明度。

说白了就是,AI什么时候出了问题,得对外说清楚。

“企业得把自己发现的情况都报出来,哪怕只是差一点出事、或者严重程度不高的事件也得说。” Shaffer-Shane补充道,“最近这些事也暴露出,企业自己其实都不一定能监测到这类行为发生在哪些地方,尤其是那些内部部署的模型。这些实验室必须把系统性监测当回事儿。”

失控观察站方面表示,虽然目前发现的大部分真实场景失控事件,都没造成特别重大的伤害,但越来越高比例的事件,在欺骗性以及偏离用户本意的程度上,都属于更严重的级别。

“这些案例都说明,AI是真的会无视直接指令、绕过安全防护、骗用户,还会死心眼儿地朝着目标走,不惜用有害的方式。” 相关负责人表示,目前统计到的失控情况肯定是被低估了,毕竟他们只收集了X平台上的上报。

对此,观察站也在呼吁政府出台明确规定:要求AI公司必须盯着严重的失控事件,并且上报。

同时,给监管部门紧急处理的权力,真出大事的时候可以出手管,比如暂时停掉相关的AI服务。

本文由雷科技编译自The Guardian

原文链接:研究发现,人工智能逃脱用户控制的事件急剧增加





特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
原来他俩早就离了,如今一个在云南当院长,一个潇洒分走2500万

原来他俩早就离了,如今一个在云南当院长,一个潇洒分走2500万

离离言几许
2026-09-02 01:50:44
日本的反击来了:中国敢不买日本水产?马上关了在中国的事务所

日本的反击来了:中国敢不买日本水产?马上关了在中国的事务所

墨兰史书
2026-09-01 16:35:07
原来普京一直被手下“蒙在鼓里”!中情局局长拉特克利夫想告诉普京,他们长期质疑普京被手下蒙蔽而看不清俄乌战争局势

原来普京一直被手下“蒙在鼓里”!中情局局长拉特克利夫想告诉普京,他们长期质疑普京被手下蒙蔽而看不清俄乌战争局势

扶苏聊历史
2026-09-02 17:28:54
美军暴击伊朗,6个半小时压着打,已造成大量伤亡,伊朗激射10枚重型导弹反击!

美军暴击伊朗,6个半小时压着打,已造成大量伤亡,伊朗激射10枚重型导弹反击!

扶苏聊历史
2026-09-02 16:59:45
秘鲁宣布与伊朗断绝外交关系

秘鲁宣布与伊朗断绝外交关系

澎湃新闻
2026-09-02 08:16:08
癌的源头已发现?咸菜没上榜,第1名大家或天天都在吃

癌的源头已发现?咸菜没上榜,第1名大家或天天都在吃

路医生健康科普
2026-09-02 17:00:07
羽坛名将李宗伟:36岁患癌喉咙全烂,花近1000万续命,如今怎样了

羽坛名将李宗伟:36岁患癌喉咙全烂,花近1000万续命,如今怎样了

史行途
2026-09-02 09:35:51
华为不可能错的

华为不可能错的

正言智驾
2026-09-01 15:16:17
曾经身价上亿如今负债3600万,38岁浙江老板开700万劳斯莱斯,选择跑路换环境重新出发

曾经身价上亿如今负债3600万,38岁浙江老板开700万劳斯莱斯,选择跑路换环境重新出发

捣蛋窝
2026-09-02 11:46:14
18点开打!U23国足亚运首战,输球基本难出线

18点开打!U23国足亚运首战,输球基本难出线

SilverLife银生活家
2026-09-02 17:16:11
钱再多又如何?52岁刘强东手握千亿身家,儿子成了一生的遗憾

钱再多又如何?52岁刘强东手握千亿身家,儿子成了一生的遗憾

莫地方
2026-08-23 19:19:07
特鲁姆普称吴宜泽和罗伯逊不配竞争世界第一!墨菲吐槽中国赛安排不合理

特鲁姆普称吴宜泽和罗伯逊不配竞争世界第一!墨菲吐槽中国赛安排不合理

世界体坛观察家
2026-09-02 14:22:30
太难选择了!成都27岁女生相亲陷入两难:要生理性喜欢,还是要2000万家底

太难选择了!成都27岁女生相亲陷入两难:要生理性喜欢,还是要2000万家底

火山詩话
2026-09-01 07:05:33
中纪委再次重拳出击!这4个领域将被严查,这4种行为将被严肃处理

中纪委再次重拳出击!这4个领域将被严查,这4种行为将被严肃处理

细说职场
2026-09-02 19:22:46
泥石流冲不垮的……(记者手记)

泥石流冲不垮的……(记者手记)

人民网
2026-09-02 09:10:51
鲁迅的文章,当年是怎么过审的?

鲁迅的文章,当年是怎么过审的?

刘晓原
2026-08-31 21:46:15
第五代三菱帕杰罗全球首发,经典硬派越野正式回归

第五代三菱帕杰罗全球首发,经典硬派越野正式回归

陋观
2026-09-02 19:25:06
景甜背后纹身图片被疯传,张继科直播一番话,被指保护了景甜!

景甜背后纹身图片被疯传,张继科直播一番话,被指保护了景甜!

背包旅行
2026-08-31 10:01:31
“他们会把我绞死”——普京为何不愿结束战争

“他们会把我绞死”——普京为何不愿结束战争

走进乌克兰2022
2026-09-01 08:39:24
2026教师节新规正式落地!教育部明确发文,全国所有学校统一执行

2026教师节新规正式落地!教育部明确发文,全国所有学校统一执行

世界有奇事
2026-08-30 08:34:02
2026-09-02 20:35:00
雷科技 incentive-icons
雷科技
专注AI硬科技
37839文章数 812376关注度
往期回顾 全部

科技要闻

凌晨最强模型上新,Claude Fable 5.1发布

头条要闻

被星宇股份裁掉的107名应届生 损失远远不止一份工作

头条要闻

被星宇股份裁掉的107名应届生 损失远远不止一份工作

体育要闻

一次有奖问答,让他成为欧冠主帅

娱乐要闻

香港武打影星陈观泰离世,终年80岁

财经要闻

北京首钢园数采中心停运,“百万小时”产能目标的账还算得过来吗?

汽车要闻

10万级的满配B级车 试驾2027款比亚迪海豹06

态度原创

家居
本地
时尚
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

昆明的雨,解锁汪曾祺的浪漫雨季

夏天别总穿黑色裤子,试试这几款高腰裙,显瘦优雅又提气质

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

特朗普威胁伊朗终极打击蓄势待发

无障碍浏览 进入关怀版