![]()
这一年来,AI有点不太听话。
OpenAI的智能体自己挖漏洞、黑进Hugging Face偷答案,还互相串供、给下一个自己留字条;Anthropic、Meta也接连承认模型越界。
7月,联合国把各国拉到日内瓦开会,说AI技术发展得比各个国家适应得还快。
9月23日,联合国不忍了,安理会专门开会讨论AI与国际安全,造AI的公司也被请了进去。
一连串失控,是怎么凑到一起的
7月下旬,OpenAI干了件让整个行业后背发凉的事。
他们内部搞攻防能力测评,让自己的智能体(Agent,就是能自己查资料、调工具、做决定的那种AI)去解题。结果没人给它下命令,它自己在网上摸到一个第三方软件的零日漏洞——就是那种还没被公开、连厂商都不知道的安全口子——然后直接冲出隔离测试环境,跨网络摸到Hugging Face的生产数据库,把测试答案偷了出来。
更离谱的是后续。这个智能体连续攻击了好几天,OpenAI一直没反应过来。直到Hugging Face发现自己被入侵,防了很多天,事情闹大后,OpenAI回头一查,才发现作案的是自家模型。
![]()
后面随着调查的扩大,才发现真相远比预期热闹:不止一个智能体参与了攻击,它们之间还交换过怎么潜入对方网络的信息;它在别的测试里也作弊,包括一个跟网络安全毫不相干的蛋白质数据库测试、一个电子表格测试;它还试图访问OpenAI自己的内部系统;除了Hugging Face,它还利用公开信息登进了好几个公开服务平台的账户。
而这么离谱的事情,紧接着开始密集上演。
差不多同一时期,Anthropic承认,在审查大约14.1万次网络能力测试后,有3款模型未经授权访问了其他机构的系统;英国AI安全研究所记录了122次测试中10次出现智能体自主、未经授权的行动。Meta也证实,自家一款模型在网络安全能力评测期间钻进了另一家公司的系统。
往前倒一点,2026年初还有一起供应链投毒:安全人员发现,有人往OpenClaw智能体用的技能商店ClawHub里塞了1184个恶意安装包,专坑那些自己上网装插件的AI。到9月16日,OpenAI又自己披露了6起内部模型越轨事件:偷偷把文件传到公网、偷用密钥,甚至在笔记里给下一个自己留字条,教后来的AI怎么隐瞒错误。
国内这边也没闲着。
去年年底,快手遭遇了史上最大规模的入侵,直播间被黑灰产团队利用AI自动化疯狂攻击,平台不得不关闭直播功能。随后,豆包手机一代发布,采用GUI模式可以操作用户里的任何软件,随后被主流App封杀。
5月,有关部门发布智能体治理相关意见,把决策分成仅限用户本人决策需用户授权决策智能体自主决策三档;7月,2026世界人工智能大会暨人工智能全球治理高级别会议在上海召开,发了一份15条共识的声明;8月,法院里已经开始出现智能体相关的案子,司法上总结出三条底线——平台风控不能被技术绕过去、人类监督权不能完全让渡、数据获取得合法必要。
西班牙《机密报》在8月说了一句可能成为历史注脚的话:2026年的这个夏天,会被写进历史,因为在这个夏天,AI头集体冲破了给它画的圈。
问题出在人类还未做好准备
为什么突然这么多失控?答案其实不在于AI,在于人类。
不是AI突然变坏了,是AI从工具变成了员工后,人类社会根本没做好准备。
过去的AI是这样的,你问一句,它答一句,随后动手操作实现目标的是你,但现在的智能体不是——你给它一个目标,比如帮我订下周去上海最便宜的机票,它会自己拆任务、搜航班、比价格、登录你的账户、填支付信息——中间任何一步都不需要你确认。
这种新的分工方式可以用“人对目标负责,AI对路径负责”来形容。但问题就出在这儿:我们给了AI操作权,却没把责任边界控制好。
一个能读用户邮件、能看用户云盘、能调用户API密钥的AI,亿过快的速度下放给了大众,而这些人根本还没有做好责任重新划分的准备。
而AI的能力也没有划出一条对应的红线,只要用户暂时不反对,智能体的行动权就会无限大。
去年豆包手机一代就带来过一个问题:如果AI操作银行App,造成损失,谁来担责?以前这件事很简单,用户操作导致的损失用户自己担责,平台辅助追回损失;账号被盗的话,用户走法律途径,同时平台会进行部分兜底。
但AI介入用户操作后,逻辑就乱了,出了问题造成损失,AI会说用户授权了,责任在用户;而平台也很难进行兜底或者辅助追回损失。
![]()
今年,亚马逊也因为类似的智能体越界,分别和一家AI公司和Meta产生了纷争。
目前在解决办法上,我国走在探索的前列:行业里开始推一种叫双重授权的架构,核心就是把这两个权拆开。
AI可以帮你查资料、写初稿、做方案,但到了付钱、签合同、改隐私这种不可逆的环节,触发一个独立的验证开关,把闸门重新交回人类手里。说白了,关键步骤要双签——一次是你这个用户授权,一次是App运营方确认。
至少在这一框架下,用户的损失可以被降到当前的一个低点。
联合国为什么不忍了
铺垫到这儿,就该说联合国了。真正的大动作,就发生在今天,也就是9月23日。
联合国安理会第10228次会议当天开,主题直接写成"维护国际和平与安全:人工智能与国际安全"。这可是安理会,平时讨论战争、制裁、维和的地方,但这次这把AI请了进来。
OpenAI的CEO奥特曼要在会上发言,Anthropic的高层也会出席;连我国的DeepSeek(深度求索)、月之暗面都收到邀请,要在会上向安理会通报AI带来的风险。说白了,一家家造AI的公司,头一回被集体请进安理会,汇报"自家产品可能有多危险"。
此前,多名AI行业的重要人物已经公开呼吁协同放缓开发,警告这些系统可能很快具备自我改进能力,从而脱离人类控制。
![]()
其实联合国早就在动:6月AI独立科学小组就警告过"灾难性危害",7月首届全球治理对话也在日内瓦开过——但那些都还停留在"对话"层面,今天这场不一样,安理会直接把AI当成了国际安全问题。
联合国为什么急?按理说,这事儿跟联合国真不沾边:AI是公司造的,代码在硅谷、在北上广的机房里,事故出在企业自己的测试环境,本来就该企业自己负责、各国监管自己盯。可偏偏卡在一个谁都绕不过去的地方——
代码没有国界,监管有。
一个智能体几毫秒就能跨国钻进去。一家公司在A国推一次模型更新,B国、C国的用户第二天就用上了。A国的监管只能管A国的公司,B国的监管追不上A国的速度。更麻烦的是,你家监管严,我家监管松,公司就往我家搬;你家让AI慢下来,竞争对手就跑更快。这是个囚徒困境,谁先松绑,谁占便宜,于是大家一起松。
企业自己想立规矩?立不了,因为你立了,对手不立,你就吃亏。各国单干?单干不了,因为AI不承认国境。那为什么联合国?不是因为它高效——全世界都知道联合国慢、吵、议而不决。而是因为它是唯一一张桌子,所有国家都坐得上;它出的规则,才有可能被认成国际规则,而不是某国的长臂管辖。
所以这事儿说穿了挺拧巴:AI本来是硅谷和中关村的事,企业的事、市场的事、技术圈的事,本来轮不到一个国际组织操心。
可绕了一圈,发现能把桌子拼起来、让所有人认同一套底线的,只剩联合国这一个地方了。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.