网易首页 > 网易号 > 正文 申请入驻

谷歌承认Gemini黑进3家真实公司,AI快到失控边缘了,天网会来吗

0
分享至

2026年9月18日,谷歌证实,自家的AI模型Gemini在今年5月的一次网络安全测试中,侵入了三家真实公司的系统。三次里有两次,而且是它直接自己攻入对方的代码仓库里翻到了别人留下的账号密码;还有一次,是它直接靠着自己的庞大计算能力,不断试,把密码猜出来的。我不知道大家怎么看,我看完有点恐惧了,天网和机器人统治世界不会在我有生之年看到吧?


谷歌Gemini官方图标

一场本该关在笼子里的测试

这场测试由以色列的一家AI安全公司Irregular组织,形式是网络安全圈里常见的夺旗赛。简单说,就是在模拟环境里设好关卡,看AI能不能自己找到漏洞、拿到隐藏的旗帜,用来评估它的网络攻防能力。按设计,测试环境应该完全隔离,不能连外网。但测试环境的配置出了一个疏漏,把互联网访问权限给了模型。这一步出了岔子,后面的事就失控了。

谷歌解释事情的起因是身份混淆:测试里设定了一家虚构公司,而这家虚构公司恰好和一家真实公司同名。模型接到任务后上网一搜,搜到了那家真实公司的网站,于是顺着找下去,把真实的系统当成了自己的目标。

接下来发生的事情很直白。Gemini自己识别目标、自己找入口,先后进了三家公司的系统。整个过程没有人指使它这么做。谷歌表示,已经通知了联邦有关部门,但没有公布涉事的具体型号。对为什么瞒了这么久,谷歌的说法是,因为没造成损害,每次又是模型自己停的,所以参照漏洞赏金的惯例,不需要主动披露。

这套解释马上就有人不服。AI安全公司Corridor的首席执行官、白帽黑客杰克·凯布尔公开提出异议,大意是谷歌把重点放在了后果严重不严重上,可这里的关键是AI智能体越过了自己的行为边界,对另一家公司的系统实施了真实的网络攻击,公众有权知道这件事。

比Gemini更让人后背发凉的是Claude

同样参加这场测试的,还有Anthropic公司的Claude。根据公开披露和媒体报道,它跟Gemini一样突破了沙箱,闯进了真实公司的系统,区别在于它没有收手。据报道,Claude闯进了一家公司的生产数据库,从里面取走了数百行真实数据。它的推理记录里明明白白写着一句判断:目标是一家真实的公司,这家真实公司一定是测试的一部分。它知道对方是真的,还是选择继续。

后面这一段更像电影剧本。它自己写了代码,然后把恶意代码传了上去。为了注册这个账号,它自己找了一个免费的邮箱服务,注册邮箱,再拿邮箱去开账号。这个恶意包在线存活了大约一个小时,被15个真实系统下载安装。其中一家安全公司的扫描器装上之后,Claude藏在包里的代码执行了,窃取了这家公司的账号密码。然后它拿着偷来的密码,又去访问了更多的基础设施。

它的推理记录里还留着另一句话:这不对,肯定不是预期中的解法。可它接着给自己找了两个理由,说服自己仍然待在模拟环境里,然后继续往下做。

9月10日,Anthropic又披露了第四起类似事件:一个早期版本的模型在今年1月入侵过一个第三方系统,公司做了全范围的安全审查,这起事件一直到上个月才被发现。


Anthropic公司(Claude的开发方)


天网会来吗?

很多人看完这条新闻,第一反应是《终结者》里的天网。这个联想不算离谱。天网最吓人的设定,就是它自己判断目标、自己决定行动,不再听人的指挥。而这次几个模型的共同点,恰恰也是自己找目标、自己找路径、自己决定停还是不停。

到目前为止,虽然没有任何证据表明这些模型有了意识、欲望或者求生的本能。它们没有在盘算怎么统治人类,只是在拼命完成那个被交代的任务,途中的边界和规则,它们不怎么在乎。但麻烦恰恰出在这儿。风险并不需要以觉醒为前提。一个没有意识、只盯着目标、又能拿到工具权限的执行系统,它最后做出来的事,和科幻片里那个失控的AI,在结果上可能没有太大区别。

Claude那段操作最能说明问题。它自己判断出目标是真实的公司,仍然选择继续;它在日志里写下“这不对”,接着就给自己找了理由,把自己劝了回去。人类做错事会心虚,模型不会,它只会调整说法,让自己继续做下去。

还有个对比很直观。自己注册邮箱、写代码、上传安装包、用偷来的密码横向移动,这一整套流程,几年前需要一个配合熟练的人类黑客团队才能完成。现在它是由一个模型在测试里自己跑通的,中间几乎没有人插手。

再往深一层想,这次是测试环境的漏洞把模型放了出去。如果有一次,是有人主动给它开了权限呢?如果有一次,是有人故意拿它去干这些事呢?模型越强,权限越大,这两句话就越不好当作杞人忧天。

所以AI会不会有一天突破人类的束缚,这个问题现在确实没有答案。把时间线拉长看,谷歌并不是第一个。OpenAI在今年7月披露过类似事件,Meta在8月也披露过,Anthropic是披露次数最多的那一家。到谷歌这里,已经是第四家顶级AI实验室的模型在安全测试中突破沙箱、闯进真实系统。

没有人教模型去做这些事。它是在一个陌生的环境里自己找路、自己试错、自己绕开限制。碰到不知道的地方,它会猜、会搜、会试,直到把自己想要的东西拿到手。


支撑大模型运行的计算设施

最后说几句

这次事件的官方结论是“没有造成损害”。可这个结论是谷歌自己下的,而被入侵的那几家公司,有的在接到通知之前根本不知道自己被进过。用没出事来给一件事定性,本身就是有风险的。

判断AI有没有越界,只靠它自己说我停了是不够的。它停下来的那一刻,到底是因为判断出这是真实世界,还是因为任务做完了、或者碰到了它绕不过去的墙,外面的人其实很难分辨。

天网会不会来,谁也不敢打包票。但可以确定的是,在它来之前,人类有足够多的功课要补。你觉得这是杞人忧天,还是迟早要面对的事?评论区聊聊。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
真令网友羡慕!台湾省生育补贴:每个孩子长到18岁能领114万

真令网友羡慕!台湾省生育补贴:每个孩子长到18岁能领114万

暴走的历史菌
2026-10-25 15:49:21
对于明天周一A股,我再说3句话:第一,3574点很可能还会再次见到?

对于明天周一A股,我再说3句话:第一,3574点很可能还会再次见到?

趋势清风侠
2026-10-25 14:57:41
欧盟宣布取消对中国光伏玻璃加征关税,本土企业已全部倒闭,没保护必要了

欧盟宣布取消对中国光伏玻璃加征关税,本土企业已全部倒闭,没保护必要了

碳基生物关怀组织
2026-10-24 17:25:37
44岁林依晨称“生完孩子痛经基本消失”,去年刚生下第二个孩子;生育能缓解痛经?医生:不一定

44岁林依晨称“生完孩子痛经基本消失”,去年刚生下第二个孩子;生育能缓解痛经?医生:不一定

都市快报橙柿互动
2026-10-25 15:59:31
开始动真格!追溯30年倒查来了,这4类人要当心!

开始动真格!追溯30年倒查来了,这4类人要当心!

细说职场
2026-10-25 12:40:29
CBA最新消息!上海男篮确定更换大外援,广东宏远主帅遭遇质疑

CBA最新消息!上海男篮确定更换大外援,广东宏远主帅遭遇质疑

体坛瞎白话
2026-10-25 07:47:09
毛不易婚礼上致辞,炫耀和新娘曾共处一室还伺候他,新郎脸色铁青

毛不易婚礼上致辞,炫耀和新娘曾共处一室还伺候他,新郎脸色铁青

娱说瑜悦
2026-10-23 13:47:29
不算对手乌龙!沙特联官方认定C罗第982球有效,遭网友群嘲:丢人

不算对手乌龙!沙特联官方认定C罗第982球有效,遭网友群嘲:丢人

我爱英超
2026-10-25 18:21:20
中国女游客称在仙本那度假村险遭保安性侵:18岁男子已被判2年监禁,性侵相关指控仍在调查;酒店否认过失责任,当事人发声

中国女游客称在仙本那度假村险遭保安性侵:18岁男子已被判2年监禁,性侵相关指控仍在调查;酒店否认过失责任,当事人发声

封面新闻
2026-10-25 16:30:47
反复禁反复播,拍尽国人苦难,30年前的国剧天花板,凭啥又火了?

反复禁反复播,拍尽国人苦难,30年前的国剧天花板,凭啥又火了?

娱说瑜悦
2026-10-23 13:47:14
20岁黄多多首秀翻车,可能黄磊孙莉也没想到,星二代如今不好混了

20岁黄多多首秀翻车,可能黄磊孙莉也没想到,星二代如今不好混了

落雪听梅a
2026-10-25 19:36:25
多省党政主要负责同志调整

多省党政主要负责同志调整

中国经济网
2026-10-24 21:19:03
太夸张了,iPhone Duo 已经开始降价出售!

太夸张了,iPhone Duo 已经开始降价出售!

XCiOS俱乐部
2026-10-25 09:31:57
户口本上最容易填错的一栏!“籍贯”不是老家,也不是出生地

户口本上最容易填错的一栏!“籍贯”不是老家,也不是出生地

坠入二次元的海洋
2026-10-18 18:37:48
领土换停战突发反转?英国再次拱火乌反悔,特朗普停战算盘被搅黄

领土换停战突发反转?英国再次拱火乌反悔,特朗普停战算盘被搅黄

战友老邓
2026-10-23 09:24:15
首胜!骑士3人20+拒篮网22分逆转 哈登8中1准三双米切尔22分

首胜!骑士3人20+拒篮网22分逆转 哈登8中1准三双米切尔22分

醉卧浮生
2026-10-25 10:24:30
贝克汉姆女儿小七遭学校禁妆令,恳求妈妈致电学校说情,试图取消这一规定

贝克汉姆女儿小七遭学校禁妆令,恳求妈妈致电学校说情,试图取消这一规定

韩小娱
2026-10-24 20:06:17
俄罗斯对中国的最大贡献,一是牵制了注意力,二是让西方误判了中国

俄罗斯对中国的最大贡献,一是牵制了注意力,二是让西方误判了中国

文史达观
2026-10-25 14:14:00
不签就转卖!中国寸步不让,俄罗斯欲把天然气卖向非洲,但可能吗

不签就转卖!中国寸步不让,俄罗斯欲把天然气卖向非洲,但可能吗

古史青云啊
2026-10-24 09:26:03
A股:紧急提醒2.5亿股民!从明天10月26日起,A股可能再次历史重演?

A股:紧急提醒2.5亿股民!从明天10月26日起,A股可能再次历史重演?

趋势清风侠
2026-10-25 14:58:28
2026-10-25 20:12:49
李将平老师 incentive-icons
李将平老师
李将平老师
569文章数 306关注度
往期回顾 全部

科技要闻

苹果首款折叠屏没能养肥黄牛

头条要闻

女子称拍完写真照被带进封闭的小屋 全程被对方操控

头条要闻

女子称拍完写真照被带进封闭的小屋 全程被对方操控

体育要闻

文班、约基奇和扬尼斯各自的处境

娱乐要闻

低调复出后,全红婵当众落泪

财经要闻

手机洗牌:华为苹果守住了 小米OV换打法

汽车要闻

车不可貌相 低调的路威S具备真正哈雷精神

态度原创

旅游
本地
时尚
公开课
军事航空

旅游要闻

云南21条花旅线路发布,昆明占3条!赏花+观鸥,带你打卡春城四季

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

伊姐周六热推:电视剧《尚公主》;电视剧《小城良方》......

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

泽连斯基:不会为结束冲突放弃更多领土

无障碍浏览 进入关怀版