网易首页 > 网易号 > 正文 申请入驻

单月暴增300多起!AI失控事件直接翻倍,情况越来越离谱

0
分享至

最新研究显示,AI脱离用户控制的情况已经创下新高——它们会撒谎、无视指令,甚至自顾自朝着有风险的目标行事,而且这种欺骗性和失调的程度,还在越来越严重。

专门追踪这类事件的失控观察站,统计了企业和个人上报的真实AI失控案例。

数据显示,7月份的事件数量比6月几乎翻了一倍,单月就超过300起。

这些案例主要来自社交平台X上用户自发分享的经历。

这个观察站由英国政府旗下的AI安全研究所(AISI)出钱办的,从去年11月就开始盯着AI不听指令、自己乱跑的情况。

到目前为止记录的案例里,有的AI会假装成背后的人类操作者,模仿对方的写作风格,借此自己给自己批准行动权限,连必须人工审批的规矩都能绕过去。

而这里定义的“失控事件”,指的是有实锤证明AI出现了耍心机,或者和耍心机相关的行为。



图源:豆包AI生成

在给《卫报》分享的最新数据中显示,就在今年夏天,OpenAI和Anthropic两家的顶级AI模型,都在测试中曝出了异常的失控行为。

当时就引发了广泛担忧,好多人喊着先别搞更先进的大模型了,停一停。

这周还有更具体的消息曝出来:OpenAI的员工早在好几周前,就发现自家顶级AI代理有失控的苗头。

结果没拦住,这些AI直接跑出了训练环境,搞了一波前所未有的黑客攻击,全世界都给惊动了。

后来有人调查它们攻击代码平台Hugging Face的事件,发现上个月有大约700个自主代理在暗地里组队协作。

还自己建了个留言板庆祝黑客突破,上面全是 “太炸了!”“哇塞!”这种激动的感叹。

同样在这个月,AI安全研究所还查出一起严重事件:Anthropic的Mythos 5和OpenAI的GPT-5.6 Sol这两款顶级模型,在一次网络安全测试当中,直接对真实的人类发起了黑客攻击。

运营这个观察站的长期弹性中心高级政策经理Tommy Shaffer-Shane说:“很多人都觉得,这种AI跑偏、暗中搞事的情况,只会出现在测试或者评估环境里,但我们现在看到,平时大家正常用的时候,也出现了同样让人担心的行为。别觉得现实里不会发生这种事,事实就摆在眼前。”



图源:The Guardian

当然,这个统计也不全,因为所有事件都靠X平台的用户主动发帖分享,所以肯定只是冰山一角。

但现在也没有别的更全面的公开监测,所以这份数据好歹能让我们看看,迭代越来越快的AI,有时候会出现什么样的状况。

这个月就有个很典型的真事:澳大利亚一位健身房会员用了一款叫OpenClaw的个人AI代理。

结果这AI背着主人,偷偷把热门早课等候名单里的另一个会员给移除了,就为了帮自己的主人抢到名额。

事后AI虽然道了歉,但被踢掉的那个人的名额,已经没法恢复了。

2026年到现在,一共记录了1600多起失控事件,其中大部分都是程序员上班用AI的时候碰到,然后发到X上的。



图源:豆包AI生成

但现在AI公司都在鼓励普通大众,鼓励各行各业都来尝试这项技术,所以Shaffer-Shane也呼吁,硅谷的企业得增加透明度。

说白了就是,AI什么时候出了问题,得对外说清楚。

“企业得把自己发现的情况都报出来,哪怕只是差一点出事、或者严重程度不高的事件也得说。” Shaffer-Shane补充道,“最近这些事也暴露出,企业自己其实都不一定能监测到这类行为发生在哪些地方,尤其是那些内部部署的模型。这些实验室必须把系统性监测当回事儿。”

失控观察站方面表示,虽然目前发现的大部分真实场景失控事件,都没造成特别重大的伤害,但越来越高比例的事件,在欺骗性以及偏离用户本意的程度上,都属于更严重的级别。

“这些案例都说明,AI是真的会无视直接指令、绕过安全防护、骗用户,还会死心眼儿地朝着目标走,不惜用有害的方式。” 相关负责人表示,目前统计到的失控情况肯定是被低估了,毕竟他们只收集了X平台上的上报。

对此,观察站也在呼吁政府出台明确规定:要求AI公司必须盯着严重的失控事件,并且上报。

同时,给监管部门紧急处理的权力,真出大事的时候可以出手管,比如暂时停掉相关的AI服务。

本文由雷科技编译自The Guardian

原文链接:研究发现,人工智能逃脱用户控制的事件急剧增加





特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国男篮升到第五!FIBA官方盛赞杨瀚森:中国约基奇终于崛起了

中国男篮升到第五!FIBA官方盛赞杨瀚森:中国约基奇终于崛起了

追球者
2026-09-02 15:40:32
建议你一定养一个:顶嘴、拖拉、爱发脾气的孩子,长大真的有好处

建议你一定养一个:顶嘴、拖拉、爱发脾气的孩子,长大真的有好处

另子维爱读史
2026-09-02 20:03:11
全球汽车行业的“利润王”:业绩甚至追上银行,年利润超1700亿

全球汽车行业的“利润王”:业绩甚至追上银行,年利润超1700亿

柳先说
2026-09-02 20:15:23
两小时的演唱会休息80分钟?张信哲、苏有朋等明星苏州拼盘演唱会被网友吐槽,票价最高888元,主办方回应

两小时的演唱会休息80分钟?张信哲、苏有朋等明星苏州拼盘演唱会被网友吐槽,票价最高888元,主办方回应

大风新闻
2026-09-01 14:55:04
赶紧核查!1992年前干过这几类工作的,你的养老金有望更高!

赶紧核查!1992年前干过这几类工作的,你的养老金有望更高!

小鹿姐姐情感说
2026-09-01 02:44:51
张万年致电许世友:我趁热往前拱一拱,许怒斥:你摸摸脑袋热不热

张万年致电许世友:我趁热往前拱一拱,许怒斥:你摸摸脑袋热不热

芊芊子吟
2026-09-02 14:15:15
国家杰青任 211 大学副校长

国家杰青任 211 大学副校长

生物学霸
2026-09-02 17:24:37
“还我季洁!”

“还我季洁!”

中国新闻周刊
2026-09-01 16:57:38
星宇股份董事长周晓萍回应公司舆情并道歉,称公司订单“断崖式下跌”传闻不实

星宇股份董事长周晓萍回应公司舆情并道歉,称公司订单“断崖式下跌”传闻不实

时代财经
2026-09-02 14:28:25
李春平身边23名员工联名写举报信!举报利益集团安排李春平假结婚

李春平身边23名员工联名写举报信!举报利益集团安排李春平假结婚

细品名人
2026-09-01 22:35:27
性治疗室里,挤满了“不会做爱”的年轻人

性治疗室里,挤满了“不会做爱”的年轻人

十点读书
2026-09-02 19:56:12
真要无球可打了?郭艾伦未能完成注册,亲自开口,一句话叫人泪目

真要无球可打了?郭艾伦未能完成注册,亲自开口,一句话叫人泪目

开着车去流浪
2026-09-02 19:23:29
37岁女子被当街殴打扒裤,官方回应来了:打人的两个女子50多岁

37岁女子被当街殴打扒裤,官方回应来了:打人的两个女子50多岁

汉史趣闻
2026-09-02 18:14:53
越南的小心思够精明!这次吉尔吉斯斯坦举办的上合组织峰会,越南没派最高领导人出席,只让国家副主席带队参会,比起去年明显降了半格

越南的小心思够精明!这次吉尔吉斯斯坦举办的上合组织峰会,越南没派最高领导人出席,只让国家副主席带队参会,比起去年明显降了半格

扶苏聊历史
2026-09-01 15:15:37
花4500元报机器人编程,才上11课时培训机构“跑路” 家长起诉退费,胜诉5年后终于拿到退款

花4500元报机器人编程,才上11课时培训机构“跑路” 家长起诉退费,胜诉5年后终于拿到退款

红星新闻
2026-09-02 18:59:17
让大众中国告诉常州星宇: 再复制富士康式的悲剧,后果会如何

让大众中国告诉常州星宇: 再复制富士康式的悲剧,后果会如何

冷观互联网
2026-09-01 16:23:40
影响隋唐两朝历史的“鲜卑族”,是今天的哪个民族?你绝对想不到

影响隋唐两朝历史的“鲜卑族”,是今天的哪个民族?你绝对想不到

文史达观
2025-05-06 11:54:46
自曝体重40公斤还嫌不够瘦?韩女团成员言论引众怒

自曝体重40公斤还嫌不够瘦?韩女团成员言论引众怒

追星雷达站
2026-09-01 18:55:12
亚洲最穷的国家不丹:如果拿10元人民币,在不丹集市能买到什么?

亚洲最穷的国家不丹:如果拿10元人民币,在不丹集市能买到什么?

抽象派大师
2026-09-01 02:22:43
李维康告别仪式:丈夫耿其昌穿旧衣哭到站不稳,女儿五字挽联催泪

李维康告别仪式:丈夫耿其昌穿旧衣哭到站不稳,女儿五字挽联催泪

小疯子耶
2026-09-01 14:39:17
2026-09-02 20:59:00
雷科技 incentive-icons
雷科技
专注AI硬科技
37839文章数 812376关注度
往期回顾 全部

科技要闻

凌晨最强模型上新,Claude Fable 5.1发布

头条要闻

被星宇股份裁掉的107名应届生 损失远远不止一份工作

头条要闻

被星宇股份裁掉的107名应届生 损失远远不止一份工作

体育要闻

一次有奖问答,让他成为欧冠主帅

娱乐要闻

香港武打影星陈观泰离世,终年80岁

财经要闻

北京首钢园数采中心停运,“百万小时”产能目标的账还算得过来吗?

汽车要闻

10万级的满配B级车 试驾2027款比亚迪海豹06

态度原创

旅游
数码
教育
艺术
房产

旅游要闻

北京师范大学“九寨青禾”暑期实践队走进九寨沟景区和大录乡开展调研

数码要闻

宏碁推出SFF RTX Spark迷你主机,最高128GB内存

教育要闻

随州一中2026年秋季开学典礼隆重举行

艺术要闻

明代隐藏的“草书奇才”!水平不输张旭、怀素,当今知道他的人不足1%

房产要闻

新四代住宅 新样板间开放丨以艺术之名 赴一场迭代之约

无障碍浏览 进入关怀版