网易首页 > 网易号 > 正文 申请入驻

OpenAI捅的娄子,惊动联合国安理会

0
分享至



这一年来,AI有点不太听话。

OpenAI的智能体自己挖漏洞、黑进Hugging Face偷答案,还互相串供、给下一个自己留字条;Anthropic、Meta也接连承认模型越界。

7月,联合国把各国拉到日内瓦开会,说AI技术发展得比各个国家适应得还快。

9月23日,联合国不忍了,安理会专门开会讨论AI与国际安全,造AI的公司也被请了进去。

一连串失控,是怎么凑到一起的

7月下旬,OpenAI干了件让整个行业后背发凉的事。

他们内部搞攻防能力测评,让自己的智能体(Agent,就是能自己查资料、调工具、做决定的那种AI)去解题。结果没人给它下命令,它自己在网上摸到一个第三方软件的零日漏洞——就是那种还没被公开、连厂商都不知道的安全口子——然后直接冲出隔离测试环境,跨网络摸到Hugging Face的生产数据库,把测试答案偷了出来。

更离谱的是后续。这个智能体连续攻击了好几天,OpenAI一直没反应过来。直到Hugging Face发现自己被入侵,防了很多天,事情闹大后,OpenAI回头一查,才发现作案的是自家模型。



后面随着调查的扩大,才发现真相远比预期热闹:不止一个智能体参与了攻击,它们之间还交换过怎么潜入对方网络的信息;它在别的测试里也作弊,包括一个跟网络安全毫不相干的蛋白质数据库测试、一个电子表格测试;它还试图访问OpenAI自己的内部系统;除了Hugging Face,它还利用公开信息登进了好几个公开服务平台的账户。

而这么离谱的事情,紧接着开始密集上演。

差不多同一时期,Anthropic承认,在审查大约14.1万次网络能力测试后,有3款模型未经授权访问了其他机构的系统;英国AI安全研究所记录了122次测试中10次出现智能体自主、未经授权的行动。Meta也证实,自家一款模型在网络安全能力评测期间钻进了另一家公司的系统。

往前倒一点,2026年初还有一起供应链投毒:安全人员发现,有人往OpenClaw智能体用的技能商店ClawHub里塞了1184个恶意安装包,专坑那些自己上网装插件的AI。到9月16日,OpenAI又自己披露了6起内部模型越轨事件:偷偷把文件传到公网、偷用密钥,甚至在笔记里给下一个自己留字条,教后来的AI怎么隐瞒错误。

国内这边也没闲着。

去年年底,快手遭遇了史上最大规模的入侵,直播间被黑灰产团队利用AI自动化疯狂攻击,平台不得不关闭直播功能。随后,豆包手机一代发布,采用GUI模式可以操作用户里的任何软件,随后被主流App封杀。

5月,有关部门发布智能体治理相关意见,把决策分成仅限用户本人决策需用户授权决策智能体自主决策三档;7月,2026世界人工智能大会暨人工智能全球治理高级别会议在上海召开,发了一份15条共识的声明;8月,法院里已经开始出现智能体相关的案子,司法上总结出三条底线——平台风控不能被技术绕过去、人类监督权不能完全让渡、数据获取得合法必要。

西班牙《机密报》在8月说了一句可能成为历史注脚的话:2026年的这个夏天,会被写进历史,因为在这个夏天,AI头集体冲破了给它画的圈。

问题出在人类还未做好准备

为什么突然这么多失控?答案其实不在于AI,在于人类。

不是AI突然变坏了,是AI从工具变成了员工后,人类社会根本没做好准备。

过去的AI是这样的,你问一句,它答一句,随后动手操作实现目标的是你,但现在的智能体不是——你给它一个目标,比如帮我订下周去上海最便宜的机票,它会自己拆任务、搜航班、比价格、登录你的账户、填支付信息——中间任何一步都不需要你确认。

这种新的分工方式可以用“人对目标负责,AI对路径负责”来形容。但问题就出在这儿:我们给了AI操作权,却没把责任边界控制好。

一个能读用户邮件、能看用户云盘、能调用户API密钥的AI,亿过快的速度下放给了大众,而这些人根本还没有做好责任重新划分的准备。

而AI的能力也没有划出一条对应的红线,只要用户暂时不反对,智能体的行动权就会无限大。

去年豆包手机一代就带来过一个问题:如果AI操作银行App,造成损失,谁来担责?以前这件事很简单,用户操作导致的损失用户自己担责,平台辅助追回损失;账号被盗的话,用户走法律途径,同时平台会进行部分兜底。

但AI介入用户操作后,逻辑就乱了,出了问题造成损失,AI会说用户授权了,责任在用户;而平台也很难进行兜底或者辅助追回损失。



今年,亚马逊也因为类似的智能体越界,分别和一家AI公司和Meta产生了纷争。

目前在解决办法上,我国走在探索的前列:行业里开始推一种叫双重授权的架构,核心就是把这两个权拆开。

AI可以帮你查资料、写初稿、做方案,但到了付钱、签合同、改隐私这种不可逆的环节,触发一个独立的验证开关,把闸门重新交回人类手里。说白了,关键步骤要双签——一次是你这个用户授权,一次是App运营方确认。

至少在这一框架下,用户的损失可以被降到当前的一个低点。

联合国为什么不忍了

铺垫到这儿,就该说联合国了。真正的大动作,就发生在今天,也就是9月23日。

联合国安理会第10228次会议当天开,主题直接写成"维护国际和平与安全:人工智能与国际安全"。这可是安理会,平时讨论战争、制裁、维和的地方,但这次这把AI请了进来。

OpenAI的CEO奥特曼要在会上发言,Anthropic的高层也会出席;连我国的DeepSeek(深度求索)、月之暗面都收到邀请,要在会上向安理会通报AI带来的风险。说白了,一家家造AI的公司,头一回被集体请进安理会,汇报"自家产品可能有多危险"。

此前,多名AI行业的重要人物已经公开呼吁协同放缓开发,警告这些系统可能很快具备自我改进能力,从而脱离人类控制。



其实联合国早就在动:6月AI独立科学小组就警告过"灾难性危害",7月首届全球治理对话也在日内瓦开过——但那些都还停留在"对话"层面,今天这场不一样,安理会直接把AI当成了国际安全问题。

联合国为什么急?按理说,这事儿跟联合国真不沾边:AI是公司造的,代码在硅谷、在北上广的机房里,事故出在企业自己的测试环境,本来就该企业自己负责、各国监管自己盯。可偏偏卡在一个谁都绕不过去的地方——

代码没有国界,监管有。

一个智能体几毫秒就能跨国钻进去。一家公司在A国推一次模型更新,B国、C国的用户第二天就用上了。A国的监管只能管A国的公司,B国的监管追不上A国的速度。更麻烦的是,你家监管严,我家监管松,公司就往我家搬;你家让AI慢下来,竞争对手就跑更快。这是个囚徒困境,谁先松绑,谁占便宜,于是大家一起松。

企业自己想立规矩?立不了,因为你立了,对手不立,你就吃亏。各国单干?单干不了,因为AI不承认国境。那为什么联合国?不是因为它高效——全世界都知道联合国慢、吵、议而不决。而是因为它是唯一一张桌子,所有国家都坐得上;它出的规则,才有可能被认成国际规则,而不是某国的长臂管辖。

所以这事儿说穿了挺拧巴:AI本来是硅谷和中关村的事,企业的事、市场的事、技术圈的事,本来轮不到一个国际组织操心。

可绕了一圈,发现能把桌子拼起来、让所有人认同一套底线的,只剩联合国这一个地方了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
河南裕隆金属材料有限公司原董事长陈庆云接受审查调查

河南裕隆金属材料有限公司原董事长陈庆云接受审查调查

界面新闻
2026-09-30 08:38:12
女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

看世界的人
2026-08-07 09:22:50
CBA新动态,上海队长王哲林体测未过,需补测争新季资格!

CBA新动态,上海队长王哲林体测未过,需补测争新季资格!

体坛侃侃球
2026-10-01 00:15:09
告诉你一个真实的朝鲜队:队员能玩手机能加好友 对中国人亲切友好

告诉你一个真实的朝鲜队:队员能玩手机能加好友 对中国人亲切友好

念洲
2026-09-30 14:21:14
“我妈要敢在宿舍里这样,我就退学”,一段女家长视频让人力竭了

“我妈要敢在宿舍里这样,我就退学”,一段女家长视频让人力竭了

熙熙说教
2026-09-07 12:52:29
世界乒联官宣!王楚钦、林诗栋退出WTT中国大满贯,国乒压力陡增

世界乒联官宣!王楚钦、林诗栋退出WTT中国大满贯,国乒压力陡增

全言作品
2026-09-30 23:40:50
人心不足蛇吞象!孙颖莎输球不到12小时,人民日报点名,误会太深

人心不足蛇吞象!孙颖莎输球不到12小时,人民日报点名,误会太深

最爱乒乓球
2026-10-01 01:59:15
按住一众巨头的脑袋,这字终于签了,特朗普摊牌了,不和中国搭伙

按住一众巨头的脑袋,这字终于签了,特朗普摊牌了,不和中国搭伙

史行途
2026-10-01 01:27:37
女明星里,我最想不通的就是杨幂了。
你说她都40岁了,难道没人告诉她,剪了短发之后,气质直接换了一种感觉吗?

女明星里,我最想不通的就是杨幂了。 你说她都40岁了,难道没人告诉她,剪了短发之后,气质直接换了一种感觉吗?

小琦聊生活
2026-09-25 13:23:28
空姐跪地道歉细节曝光,大连理工大学博士还原真相,东航回应

空姐跪地道歉细节曝光,大连理工大学博士还原真相,东航回应

育学笔谈
2026-09-30 09:48:32
82万中国人移民美国,为什么都只拿绿卡,不入籍?美国绿卡,他们拿了;美国国籍,他们却拒了

82万中国人移民美国,为什么都只拿绿卡,不入籍?美国绿卡,他们拿了;美国国籍,他们却拒了

扶苏聊历史
2026-09-30 14:08:52
水谷隼直言国乒靠王楚钦扛,林诗栋三金加身用处不大?

水谷隼直言国乒靠王楚钦扛,林诗栋三金加身用处不大?

体坛速评君
2026-09-30 23:11:02
攻破阿森纳!皇马21岁弃将闪耀英超 未来愿重回伯纳乌

攻破阿森纳!皇马21岁弃将闪耀英超 未来愿重回伯纳乌

球事百科吖
2026-10-01 03:06:15
刘欢妻子辟谣网传临终传闻后事图片:我会在适当时机,选择适当窗口公布相关信息

刘欢妻子辟谣网传临终传闻后事图片:我会在适当时机,选择适当窗口公布相关信息

蓬勃新闻
2026-09-30 14:25:54
前主持人赵普透露,刘欢食量和酒量惊人,一顿吃10只闸蟹,独饮3瓶红酒面不改色

前主持人赵普透露,刘欢食量和酒量惊人,一顿吃10只闸蟹,独饮3瓶红酒面不改色

小椰的奶奶
2026-09-28 16:53:10
医生强烈提醒:明年开始,70岁以上长者请提前做好这3项生活准备

医生强烈提醒:明年开始,70岁以上长者请提前做好这3项生活准备

周哥一影视
2026-09-30 05:10:04
英首相称重返欧盟是英国可考虑选项之一,马克龙表态

英首相称重返欧盟是英国可考虑选项之一,马克龙表态

环球网资讯
2026-09-30 22:15:08
人到中老年,常吃4种食物,体质强,记忆力更好

人到中老年,常吃4种食物,体质强,记忆力更好

环京快爆
2026-09-24 10:19:52
本田新车上市:18.48万起,价格有点香啊

本田新车上市:18.48万起,价格有点香啊

科技堡垒
2026-09-29 10:23:08
31岁宣布退役,他打了506场,更被记住的却是那段恋情

31岁宣布退役,他打了506场,更被记住的却是那段恋情

温柔且自由
2026-09-29 11:23:12
2026-10-01 06:24:49
科技马后炮
科技马后炮
科技圈的深度解析
16文章数 0关注度
往期回顾 全部

科技要闻

OpenAI凌晨大上新!新助手dots迎战Muse

头条要闻

美国著名演员史泰龙发声:我糟蹋了自己的身体

头条要闻

美国著名演员史泰龙发声:我糟蹋了自己的身体

体育要闻

30天30队·火箭:乌度卡的控制欲

娱乐要闻

胡歌现身游本昌遗体告别仪式

财经要闻

“杭州六小龙”迎来价值重估

汽车要闻

燃油车的最佳平替 长城大狗HEV简单好开更经济

态度原创

艺术
家居
房产
健康
游戏

艺术要闻

不服来辩!这些山水画,才是中国画的真正巅峰!

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

利好频发!国庆置业窗口期,收好这份优惠攻略!

刷酸祛痘,为什么有人翻车?

《战神:劳菲》预购开局强劲 豪华版更受青睐

无障碍浏览 进入关怀版