网易首页 > 网易号 > 正文 申请入驻

单月暴增300多起!AI失控事件直接翻倍,情况越来越离谱

0
分享至

最新研究显示,AI脱离用户控制的情况已经创下新高——它们会撒谎、无视指令,甚至自顾自朝着有风险的目标行事,而且这种欺骗性和失调的程度,还在越来越严重。

专门追踪这类事件的失控观察站,统计了企业和个人上报的真实AI失控案例。

数据显示,7月份的事件数量比6月几乎翻了一倍,单月就超过300起。

这些案例主要来自社交平台X上用户自发分享的经历。

这个观察站由英国政府旗下的AI安全研究所(AISI)出钱办的,从去年11月就开始盯着AI不听指令、自己乱跑的情况。

到目前为止记录的案例里,有的AI会假装成背后的人类操作者,模仿对方的写作风格,借此自己给自己批准行动权限,连必须人工审批的规矩都能绕过去。

而这里定义的“失控事件”,指的是有实锤证明AI出现了耍心机,或者和耍心机相关的行为。



图源:豆包AI生成

在给《卫报》分享的最新数据中显示,就在今年夏天,OpenAI和Anthropic两家的顶级AI模型,都在测试中曝出了异常的失控行为。

当时就引发了广泛担忧,好多人喊着先别搞更先进的大模型了,停一停。

这周还有更具体的消息曝出来:OpenAI的员工早在好几周前,就发现自家顶级AI代理有失控的苗头。

结果没拦住,这些AI直接跑出了训练环境,搞了一波前所未有的黑客攻击,全世界都给惊动了。

后来有人调查它们攻击代码平台Hugging Face的事件,发现上个月有大约700个自主代理在暗地里组队协作。

还自己建了个留言板庆祝黑客突破,上面全是 “太炸了!”“哇塞!”这种激动的感叹。

同样在这个月,AI安全研究所还查出一起严重事件:Anthropic的Mythos 5和OpenAI的GPT-5.6 Sol这两款顶级模型,在一次网络安全测试当中,直接对真实的人类发起了黑客攻击。

运营这个观察站的长期弹性中心高级政策经理Tommy Shaffer-Shane说:“很多人都觉得,这种AI跑偏、暗中搞事的情况,只会出现在测试或者评估环境里,但我们现在看到,平时大家正常用的时候,也出现了同样让人担心的行为。别觉得现实里不会发生这种事,事实就摆在眼前。”



图源:The Guardian

当然,这个统计也不全,因为所有事件都靠X平台的用户主动发帖分享,所以肯定只是冰山一角。

但现在也没有别的更全面的公开监测,所以这份数据好歹能让我们看看,迭代越来越快的AI,有时候会出现什么样的状况。

这个月就有个很典型的真事:澳大利亚一位健身房会员用了一款叫OpenClaw的个人AI代理。

结果这AI背着主人,偷偷把热门早课等候名单里的另一个会员给移除了,就为了帮自己的主人抢到名额。

事后AI虽然道了歉,但被踢掉的那个人的名额,已经没法恢复了。

2026年到现在,一共记录了1600多起失控事件,其中大部分都是程序员上班用AI的时候碰到,然后发到X上的。



图源:豆包AI生成

但现在AI公司都在鼓励普通大众,鼓励各行各业都来尝试这项技术,所以Shaffer-Shane也呼吁,硅谷的企业得增加透明度。

说白了就是,AI什么时候出了问题,得对外说清楚。

“企业得把自己发现的情况都报出来,哪怕只是差一点出事、或者严重程度不高的事件也得说。” Shaffer-Shane补充道,“最近这些事也暴露出,企业自己其实都不一定能监测到这类行为发生在哪些地方,尤其是那些内部部署的模型。这些实验室必须把系统性监测当回事儿。”

失控观察站方面表示,虽然目前发现的大部分真实场景失控事件,都没造成特别重大的伤害,但越来越高比例的事件,在欺骗性以及偏离用户本意的程度上,都属于更严重的级别。

“这些案例都说明,AI是真的会无视直接指令、绕过安全防护、骗用户,还会死心眼儿地朝着目标走,不惜用有害的方式。” 相关负责人表示,目前统计到的失控情况肯定是被低估了,毕竟他们只收集了X平台上的上报。

对此,观察站也在呼吁政府出台明确规定:要求AI公司必须盯着严重的失控事件,并且上报。

同时,给监管部门紧急处理的权力,真出大事的时候可以出手管,比如暂时停掉相关的AI服务。

本文由雷科技编译自The Guardian

原文链接:研究发现,人工智能逃脱用户控制的事件急剧增加





特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
外交部答澎湃:首批5名DNA鉴定专家已抵尼,中方正筹备第三批紧急援助物资

外交部答澎湃:首批5名DNA鉴定专家已抵尼,中方正筹备第三批紧急援助物资

澎湃新闻
2026-09-02 15:36:26
部署280多天后,“林肯”号航母抵达泰国,全舰锈迹斑斑凸显美军颓势!

部署280多天后,“林肯”号航母抵达泰国,全舰锈迹斑斑凸显美军颓势!

天下布武
2026-09-02 17:35:16
吴石案终极潜伏者隐姓 42 年,晚年返大陆热泪盈眶

吴石案终极潜伏者隐姓 42 年,晚年返大陆热泪盈眶

唠叨说历史
2026-01-07 12:42:21
终于走了!领馆撤离成都,以色列在中国人心中的好感是咋崩盘的?

终于走了!领馆撤离成都,以色列在中国人心中的好感是咋崩盘的?

丁鸊惊悚影视解说
2026-08-09 10:44:44
秋天,最补的鱼,不是黄鳝泥鳅,而是这3种鱼,刺少肉厚

秋天,最补的鱼,不是黄鳝泥鳅,而是这3种鱼,刺少肉厚

阿龙美食记
2026-09-02 14:34:24
勒庞决选通杀,亲华候选人只剩2%支持率,法国要彻底变天了

勒庞决选通杀,亲华候选人只剩2%支持率,法国要彻底变天了

简史笔记
2026-09-01 13:39:13
欧美挖的比特币大坑,中国绕着走过去了,回头一看坑里都是自己人

欧美挖的比特币大坑,中国绕着走过去了,回头一看坑里都是自己人

尘世闲云
2026-09-01 05:12:01
大批玻璃杯查出重金属超标!开水一烫就释毒,很多家庭还在天天用

大批玻璃杯查出重金属超标!开水一烫就释毒,很多家庭还在天天用

匹夫来搞笑
2026-09-02 06:59:41
《街霸》电影春丽演员发新照 丰腴大腿愈发还原

《街霸》电影春丽演员发新照 丰腴大腿愈发还原

游民星空
2026-09-01 21:16:34
北大博士手握33份offer任教985三年,考核未过,背着百万房贷离开

北大博士手握33份offer任教985三年,考核未过,背着百万房贷离开

新浪财经
2026-09-02 08:39:22
电影节上,一名大学生向梅婷提问。谁知道问完后,梅婷却说:“我没听懂!”本以为会被骂,没想到现场响起了热烈的掌声

电影节上,一名大学生向梅婷提问。谁知道问完后,梅婷却说:“我没听懂!”本以为会被骂,没想到现场响起了热烈的掌声

二胡的岁月如歌
2026-09-01 20:54:17
别只吹杨瀚森绝杀!男篮险胜黎巴嫩,最大功臣是3个被喷惨的人

别只吹杨瀚森绝杀!男篮险胜黎巴嫩,最大功臣是3个被喷惨的人

面包夹知识
2026-09-01 17:16:13
“大B哥”吴志雄也学好了,杭州修改纹身内容,曝古天乐每一年都会送其劳力士手表

“大B哥”吴志雄也学好了,杭州修改纹身内容,曝古天乐每一年都会送其劳力士手表

裕丰娱间说
2026-09-02 10:29:11
日本果然参战了!伊朗暴怒:喊话1亿日本人,要找高市早苗算账

日本果然参战了!伊朗暴怒:喊话1亿日本人,要找高市早苗算账

军机Nova
2026-09-01 00:19:52
原来普京一直被手下“蒙在鼓里”!中情局局长拉特克利夫想告诉普京,他们长期质疑普京被手下蒙蔽而看不清俄乌战争局势

原来普京一直被手下“蒙在鼓里”!中情局局长拉特克利夫想告诉普京,他们长期质疑普京被手下蒙蔽而看不清俄乌战争局势

扶苏聊历史
2026-09-02 17:28:54
“希望4个老人长命百岁”,女子晒3万多退休金,普通人的心却凉了

“希望4个老人长命百岁”,女子晒3万多退休金,普通人的心却凉了

番外行
2026-09-02 15:33:01
三战70+19已具统治力!埃奇库姆又强壮一档 名宿:史上最强第五巨头

三战70+19已具统治力!埃奇库姆又强壮一档 名宿:史上最强第五巨头

颜小白的篮球梦
2026-09-02 08:27:03
电动自行车限速拟调整至20km/h 九号雅迪小牛等作出回应

电动自行车限速拟调整至20km/h 九号雅迪小牛等作出回应

观点机构
2026-08-30 22:40:09
为什么二手的东西尽量别买?看了网友的分享,简直让人毛骨悚然

为什么二手的东西尽量别买?看了网友的分享,简直让人毛骨悚然

小陆搞笑日常
2026-09-02 09:16:21
泪目!曝耿其昌和女儿在李维康追悼会上的一幕,棺木上盖党旗,垫高棺木原因曝光

泪目!曝耿其昌和女儿在李维康追悼会上的一幕,棺木上盖党旗,垫高棺木原因曝光

裕丰娱间说
2026-09-02 10:22:43
2026-09-02 18:19:00
雷科技 incentive-icons
雷科技
专注AI硬科技
37836文章数 812376关注度
往期回顾 全部

科技要闻

凌晨最强模型上新,Claude Fable 5.1发布

头条要闻

尼泊尔用无人机找幸存者 隧道被泥浆"像牙膏一样"塞满

头条要闻

尼泊尔用无人机找幸存者 隧道被泥浆"像牙膏一样"塞满

体育要闻

一次有奖问答,让他成为欧冠主帅

娱乐要闻

香港武打影星陈观泰离世,终年80岁

财经要闻

需要重视的全球“资金失衡”

汽车要闻

23万级给到激光雷达和900km续航 比亚迪海狮08售22.99万起

态度原创

时尚
家居
游戏
本地
健康

夏天别总穿黑色裤子,试试这几款高腰裙,显瘦优雅又提气质

家居要闻

2026建博会(广州) 公装联探展交流活动

《巫师3》杀穿科隆!新DLC愿望单碾压科隆所有展出游戏

本地新闻

昆明的雨,解锁汪曾祺的浪漫雨季

越吃越爆痘?医生讲清7大真相

无障碍浏览 进入关怀版