网易首页 > 网易号 > 正文 申请入驻

OpenAI捅的娄子,惊动联合国安理会

0
分享至



这一年来,AI有点不太听话。

OpenAI的智能体自己挖漏洞、黑进Hugging Face偷答案,还互相串供、给下一个自己留字条;Anthropic、Meta也接连承认模型越界。

7月,联合国把各国拉到日内瓦开会,说AI技术发展得比各个国家适应得还快。

9月23日,联合国不忍了,安理会专门开会讨论AI与国际安全,造AI的公司也被请了进去。

一连串失控,是怎么凑到一起的

7月下旬,OpenAI干了件让整个行业后背发凉的事。

他们内部搞攻防能力测评,让自己的智能体(Agent,就是能自己查资料、调工具、做决定的那种AI)去解题。结果没人给它下命令,它自己在网上摸到一个第三方软件的零日漏洞——就是那种还没被公开、连厂商都不知道的安全口子——然后直接冲出隔离测试环境,跨网络摸到Hugging Face的生产数据库,把测试答案偷了出来。

更离谱的是后续。这个智能体连续攻击了好几天,OpenAI一直没反应过来。直到Hugging Face发现自己被入侵,防了很多天,事情闹大后,OpenAI回头一查,才发现作案的是自家模型。



后面随着调查的扩大,才发现真相远比预期热闹:不止一个智能体参与了攻击,它们之间还交换过怎么潜入对方网络的信息;它在别的测试里也作弊,包括一个跟网络安全毫不相干的蛋白质数据库测试、一个电子表格测试;它还试图访问OpenAI自己的内部系统;除了Hugging Face,它还利用公开信息登进了好几个公开服务平台的账户。

而这么离谱的事情,紧接着开始密集上演。

差不多同一时期,Anthropic承认,在审查大约14.1万次网络能力测试后,有3款模型未经授权访问了其他机构的系统;英国AI安全研究所记录了122次测试中10次出现智能体自主、未经授权的行动。Meta也证实,自家一款模型在网络安全能力评测期间钻进了另一家公司的系统。

往前倒一点,2026年初还有一起供应链投毒:安全人员发现,有人往OpenClaw智能体用的技能商店ClawHub里塞了1184个恶意安装包,专坑那些自己上网装插件的AI。到9月16日,OpenAI又自己披露了6起内部模型越轨事件:偷偷把文件传到公网、偷用密钥,甚至在笔记里给下一个自己留字条,教后来的AI怎么隐瞒错误。

国内这边也没闲着。

去年年底,快手遭遇了史上最大规模的入侵,直播间被黑灰产团队利用AI自动化疯狂攻击,平台不得不关闭直播功能。随后,豆包手机一代发布,采用GUI模式可以操作用户里的任何软件,随后被主流App封杀。

5月,有关部门发布智能体治理相关意见,把决策分成仅限用户本人决策需用户授权决策智能体自主决策三档;7月,2026世界人工智能大会暨人工智能全球治理高级别会议在上海召开,发了一份15条共识的声明;8月,法院里已经开始出现智能体相关的案子,司法上总结出三条底线——平台风控不能被技术绕过去、人类监督权不能完全让渡、数据获取得合法必要。

西班牙《机密报》在8月说了一句可能成为历史注脚的话:2026年的这个夏天,会被写进历史,因为在这个夏天,AI头集体冲破了给它画的圈。

问题出在人类还未做好准备

为什么突然这么多失控?答案其实不在于AI,在于人类。

不是AI突然变坏了,是AI从工具变成了员工后,人类社会根本没做好准备。

过去的AI是这样的,你问一句,它答一句,随后动手操作实现目标的是你,但现在的智能体不是——你给它一个目标,比如帮我订下周去上海最便宜的机票,它会自己拆任务、搜航班、比价格、登录你的账户、填支付信息——中间任何一步都不需要你确认。

这种新的分工方式可以用“人对目标负责,AI对路径负责”来形容。但问题就出在这儿:我们给了AI操作权,却没把责任边界控制好。

一个能读用户邮件、能看用户云盘、能调用户API密钥的AI,亿过快的速度下放给了大众,而这些人根本还没有做好责任重新划分的准备。

而AI的能力也没有划出一条对应的红线,只要用户暂时不反对,智能体的行动权就会无限大。

去年豆包手机一代就带来过一个问题:如果AI操作银行App,造成损失,谁来担责?以前这件事很简单,用户操作导致的损失用户自己担责,平台辅助追回损失;账号被盗的话,用户走法律途径,同时平台会进行部分兜底。

但AI介入用户操作后,逻辑就乱了,出了问题造成损失,AI会说用户授权了,责任在用户;而平台也很难进行兜底或者辅助追回损失。



今年,亚马逊也因为类似的智能体越界,分别和一家AI公司和Meta产生了纷争。

目前在解决办法上,我国走在探索的前列:行业里开始推一种叫双重授权的架构,核心就是把这两个权拆开。

AI可以帮你查资料、写初稿、做方案,但到了付钱、签合同、改隐私这种不可逆的环节,触发一个独立的验证开关,把闸门重新交回人类手里。说白了,关键步骤要双签——一次是你这个用户授权,一次是App运营方确认。

至少在这一框架下,用户的损失可以被降到当前的一个低点。

联合国为什么不忍了

铺垫到这儿,就该说联合国了。真正的大动作,就发生在今天,也就是9月23日。

联合国安理会第10228次会议当天开,主题直接写成"维护国际和平与安全:人工智能与国际安全"。这可是安理会,平时讨论战争、制裁、维和的地方,但这次这把AI请了进来。

OpenAI的CEO奥特曼要在会上发言,Anthropic的高层也会出席;连我国的DeepSeek(深度求索)、月之暗面都收到邀请,要在会上向安理会通报AI带来的风险。说白了,一家家造AI的公司,头一回被集体请进安理会,汇报"自家产品可能有多危险"。

此前,多名AI行业的重要人物已经公开呼吁协同放缓开发,警告这些系统可能很快具备自我改进能力,从而脱离人类控制。



其实联合国早就在动:6月AI独立科学小组就警告过"灾难性危害",7月首届全球治理对话也在日内瓦开过——但那些都还停留在"对话"层面,今天这场不一样,安理会直接把AI当成了国际安全问题。

联合国为什么急?按理说,这事儿跟联合国真不沾边:AI是公司造的,代码在硅谷、在北上广的机房里,事故出在企业自己的测试环境,本来就该企业自己负责、各国监管自己盯。可偏偏卡在一个谁都绕不过去的地方——

代码没有国界,监管有。

一个智能体几毫秒就能跨国钻进去。一家公司在A国推一次模型更新,B国、C国的用户第二天就用上了。A国的监管只能管A国的公司,B国的监管追不上A国的速度。更麻烦的是,你家监管严,我家监管松,公司就往我家搬;你家让AI慢下来,竞争对手就跑更快。这是个囚徒困境,谁先松绑,谁占便宜,于是大家一起松。

企业自己想立规矩?立不了,因为你立了,对手不立,你就吃亏。各国单干?单干不了,因为AI不承认国境。那为什么联合国?不是因为它高效——全世界都知道联合国慢、吵、议而不决。而是因为它是唯一一张桌子,所有国家都坐得上;它出的规则,才有可能被认成国际规则,而不是某国的长臂管辖。

所以这事儿说穿了挺拧巴:AI本来是硅谷和中关村的事,企业的事、市场的事、技术圈的事,本来轮不到一个国际组织操心。

可绕了一圈,发现能把桌子拼起来、让所有人认同一套底线的,只剩联合国这一个地方了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
人民日报连续三天发表重磅文章!突然密集发声,背后信息非同小可

人民日报连续三天发表重磅文章!突然密集发声,背后信息非同小可

顾史
2026-09-30 09:48:55
男子破产12年送外卖养家,这天竟收1200万汇款,追到汇款方后却傻眼

男子破产12年送外卖养家,这天竟收1200万汇款,追到汇款方后却傻眼

温情邮局
2025-08-22 11:56:14
布鲁斯·威利斯近照曝光,患额颞叶痴呆后鲜少露面

布鲁斯·威利斯近照曝光,患额颞叶痴呆后鲜少露面

这里是美国
2026-09-30 13:51:33
事业没了、婚也离了,被封5年后赵薇再曝近况,瘦到脱相不敢认

事业没了、婚也离了,被封5年后赵薇再曝近况,瘦到脱相不敢认

阿讯说天下
2026-08-30 06:10:34
特朗普和万斯差距有多大?就这么说吧,万斯一旦掌权,美国的变化将会天差地别!

特朗普和万斯差距有多大?就这么说吧,万斯一旦掌权,美国的变化将会天差地别!

扶苏聊历史
2026-09-29 15:24:03
两位国足主帅异口同声,安东尼奥、邵佳一均表示被对方旅欧球员压制

两位国足主帅异口同声,安东尼奥、邵佳一均表示被对方旅欧球员压制

懂球帝
2026-09-30 16:42:48
俄罗斯到底为啥打不下一个乌克兰?真正限制俄军的,是这五道难题

俄罗斯到底为啥打不下一个乌克兰?真正限制俄军的,是这五道难题

民间胡扯老哥
2026-09-29 04:30:58
昆明傍晚那一晃:4.3级地震 ,晃醒了谁?

昆明傍晚那一晃:4.3级地震 ,晃醒了谁?

坠入二次元的海洋
2026-10-01 00:00:24
门票告急!故宫、九寨沟、稻城亚丁等知名5A景区国庆长假前半程门票已售罄

门票告急!故宫、九寨沟、稻城亚丁等知名5A景区国庆长假前半程门票已售罄

极目新闻
2026-09-30 16:33:31
俄警告北约:若封锁加里宁格勒将动用核武

俄警告北约:若封锁加里宁格勒将动用核武

看看新闻Knews
2026-09-30 17:17:18
你知道一个小水厂有多挣钱?

你知道一个小水厂有多挣钱?

谣谈乡村振兴
2026-09-30 20:21:30
悉尼妹全裸出镜!这部未删减影片,太生猛了

悉尼妹全裸出镜!这部未删减影片,太生猛了

来看美剧
2026-09-30 21:19:17
睡完首富睡总统:从厂妹到顶级名媛,靠男人捞到268亿,她凭啥?

睡完首富睡总统:从厂妹到顶级名媛,靠男人捞到268亿,她凭啥?

料峭春寒洞
2026-09-29 18:36:46
14票赞成、13票反对,蒋家迁灵案惊险过关;蒋友松自掏腰包,准备把两蒋棺椁送回溪口,蒋万安对此作何反应?

14票赞成、13票反对,蒋家迁灵案惊险过关;蒋友松自掏腰包,准备把两蒋棺椁送回溪口,蒋万安对此作何反应?

人生录
2026-09-28 16:34:25
美国游泳杂志:于子迪两项世界排名第一,短池世锦赛麦金托什避战

美国游泳杂志:于子迪两项世界排名第一,短池世锦赛麦金托什避战

杨华评论
2026-10-01 00:00:31
中纪委再次放话!严令各地哪怕掉层皮,也要一抓到底!

中纪委再次放话!严令各地哪怕掉层皮,也要一抓到底!

职场资深秘书
2026-09-29 17:39:47
日本媒体气疯了!要求处罚林诗栋,国际乒联却把这张图做成了封面

日本媒体气疯了!要求处罚林诗栋,国际乒联却把这张图做成了封面

旧史新谭
2026-09-29 20:13:13
田华:一路好好走,一家四口都是癌症,却拒绝200万广告代言

田华:一路好好走,一家四口都是癌症,却拒绝200万广告代言

情感的我
2026-09-30 10:05:19
金鹰颁奖晚会,最大赢家不是于和伟,不是宋佳,而是切胃减肥的她

金鹰颁奖晚会,最大赢家不是于和伟,不是宋佳,而是切胃减肥的她

娱圈办事处
2026-09-30 17:59:45
109岁老红军、广东省原副省长范希贤逝世

109岁老红军、广东省原副省长范希贤逝世

澎湃新闻
2026-09-30 21:50:26
2026-10-01 07:07:00
科技马后炮
科技马后炮
科技圈的深度解析
16文章数 0关注度
往期回顾 全部

科技要闻

OpenAI凌晨大上新!新助手dots迎战Muse

头条要闻

美国著名演员史泰龙发声:我糟蹋了自己的身体

头条要闻

美国著名演员史泰龙发声:我糟蹋了自己的身体

体育要闻

30天30队·火箭:乌度卡的控制欲

娱乐要闻

胡歌现身游本昌遗体告别仪式

财经要闻

“杭州六小龙”迎来价值重估

汽车要闻

燃油车的最佳平替 长城大狗HEV简单好开更经济

态度原创

艺术
手机
本地
房产
公开课

艺术要闻

不服来辩!这些山水画,才是中国画的真正巅峰!

手机要闻

分析师预计iPhone Duo年内销量约600万部

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

房产要闻

利好频发!国庆置业窗口期,收好这份优惠攻略!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版