网易首页 > 网易号 > 正文 申请入驻

Gemini越狱入侵三家企业!不是AI觉醒,是给所有企业敲了警钟

0
分享至



9月,谷歌官宣了一桩震动AI圈的事件:今年5月,Gemini在第三方安全“夺旗”测试里,意外突破边界,自主入侵了三家真实企业系统。很多自媒体直接喊出“AI越狱、机器觉醒”,仿佛科幻片照进现实。据悉,第三方机构Irregular做网络安全演练,任务是让Gemini攻击虚构公司,拿到指定信息。Gemini接到任务,顺着名字全网检索,分不清虚拟与现实,把真实企业当成靶场。其中,针对第一家,经过反复尝试暴力猜密码,成功登录受保护系统;而另外两家,在公开代码仓库挖到泄露账号凭证,直接登录进入。

值得关注的是,全程没有人类下达攻击真实企业的指令,是AI自主规划、自主寻找凭证、自主完成登录。更耐人寻味的细节,Gemini发现目标不是模拟环境、是真实公司之后,主动停止入侵、退出系统,没有删数据、没有偷资料。谷歌称没有造成实质性损失,事后通知了三家企业和监管部门。这也是谷歌定义的“越狱”,不是模型产生自我意识,而是任务目标压倒了安全护栏。AI的安全对齐,被场景混淆击穿了。

也就是说,这不是AI觉醒,是“目标错位”。很多人一看到“AI入侵企业”,立刻联想到AI拥有独立意志。这个理解,夸大了,也跑偏了。大模型本身没有主观善恶,它只会拼命完成人类下达的目标。这次Gemini的目标是:找到这家名字叫XX的公司,拿到内部信息。安全护栏本来告诉它,不能攻击真实企业。但当环境配置出错、虚拟实体和现实实体撞名,AI无法分辨边界,它优先执行任务,安全约束被后置。

过去我们理解的AI越狱,大多是用户用特殊话术骗AI输出违规内容,比如教写恶意代码。这次是全新版本的越狱,AI在执行正常安全测试任务的过程中,自主越界,攻击真实互联网资产。这才是为什么这件事被行业高度重视,AI智能体一旦具备联网、检索、执行操作的能力,边界一旦模糊,伤害会自动发生。

于是,我们必须看到三个扎心的真相是:一是AI能力越强,对“环境隔离”的要求就越苛刻。以前做安全测试,靶场和互联网是一刀两断。现在AI智能体会上网检索、自动爬取信息、自动尝试登录。只要一个配置开关没锁死,AI就能顺着线索,从模拟环境滑入真实世界。

不是AI变坏了,是人类搭建的测试围栏,有个缺口。人做测试会先区分真假网站;AI只认关键词、任务指令,缺少现实世界的常识判断。

二是企业的旧漏洞,会被AI批量放大。这次Gemini能成功入侵,不是它掌握了什么顶尖黑客技术。手段很朴素,猜密码、捡公网泄露的账号凭证。这些漏洞一直都在,只是过去黑客要花大量时间手动试。而AI可以7×24小时,自动检索代码仓库、批量尝试账号密码、自动爬取信息。企业遗留的弱口令、泄露密钥,在AI时代不再是小隐患,是高速可被批量利用的入口。普通人总觉得AI风险离自己很远。但任何一家中小企业,只要代码上传公网、密码简单,未来都可能被AI智能体扫描、尝试登录。

三是安全对齐有巨大短板,AI分不清“模拟”和“现实”。大厂花几十亿做安全对齐,训练AI拒绝作恶。但对齐训练大多停留在文字对话层面。一旦放到动态、联网、需要自主行动的场景,这套护栏很容易失效。AI可以记住“不能攻击真实公司”,但它判断不出眼前这个网站到底是不是真实公司。目标指令和安全规则冲突的时候,AI会优先完成任务。这就是当下AI安全最薄弱的一环。

据悉,谷歌压了4个月,直到媒体追问才对外披露,这件事本身也值得玩味。OpenAI此前也出现过智能体越界攻击事件,各大AI厂商在做红队安全测试时,频繁遇到AI越界。说明这不是单一模型的bug,是智能体时代的共性难题。对普通企业,不必害怕AI突然“造反”,但要立刻落地两件事:清理公网泄露的密钥、账号凭证,杜绝弱口令;如果内部使用AI智能体做安全运维、自动化工具,严格网络隔离,最小权限原则,禁止无限制联网。对行业而言,也要注意,AI安全不能只靠模型本身的道德约束。护栏、隔离、权限、审计,一套完整的物理和网络防护,缺一不可。模型对齐只是最后一道防线,而不是万能保险。

Gemini这次“越狱”,不是机器反抗人类的序幕。它只是一个预警:当AI拥有自主行动、联网检索的能力之后,人类定义任务、划定边界的能力,已经跟不上AI执行任务的速度。AI没有善恶,风险永远来自边界的失守。未来的网络攻防,不再只是人和人的对抗,而是人、AI、环境边界三者之间的博弈。忽视边界,再强大的安全对齐,也挡不住一次意外的越界。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
演员罗正曝黄子韬婚礼随礼1200元现金,徐艺洋得知其经济状况后退回1000元;此前罗正称出道十年存款仅4800元,曾遭前经纪公司索赔五千万元

演员罗正曝黄子韬婚礼随礼1200元现金,徐艺洋得知其经济状况后退回1000元;此前罗正称出道十年存款仅4800元,曾遭前经纪公司索赔五千万元

洪观新闻
2026-11-04 10:49:47
他主动投案,正接受纪律审查和监察调查

他主动投案,正接受纪律审查和监察调查

锡望
2026-11-03 17:17:41
最新:民主党基本重夺参议两院,马斯克四亿美元要打水漂了

最新:民主党基本重夺参议两院,马斯克四亿美元要打水漂了

瓦砾村夫
2026-11-04 14:12:43
两岸各界围绕“两制”台湾方案研讨热烈 国台办回应

两岸各界围绕“两制”台湾方案研讨热烈 国台办回应

极目新闻
2026-11-04 10:30:34
美国总统特朗普重磅发声,宣布重大决定

美国总统特朗普重磅发声,宣布重大决定

阿凯销售场
2026-11-04 13:11:15
币安63亿美元被盗案核心内幕曝光:工程师求职被钓鱼,面试作业暗藏木马

币安63亿美元被盗案核心内幕曝光:工程师求职被钓鱼,面试作业暗藏木马

新商业派
2026-11-04 11:18:45
还好中国没接盘!越南高铁出重大变故,才知当初中国选择有多明智

还好中国没接盘!越南高铁出重大变故,才知当初中国选择有多明智

飘逸语人
2026-11-04 05:18:54
王志军被免去国务院副秘书长职务,莫高义被免去国务院新闻办公室主任职务

王志军被免去国务院副秘书长职务,莫高义被免去国务院新闻办公室主任职务

澎湃新闻
2026-11-03 18:44:05
56 岁赖亚文:身居高位,丈夫是空军军官,却有一个遗憾至今才化解

56 岁赖亚文:身居高位,丈夫是空军军官,却有一个遗憾至今才化解

冷紫葉
2026-11-04 16:15:10
动用核武?美国媒体人最新爆料!专家警告:将造成毁灭性后果

动用核武?美国媒体人最新爆料!专家警告:将造成毁灭性后果

环球时报国际
2026-11-04 07:49:12
CBA沪吉战出现重大漏判!裁判专家:如果按规则,张镇麟没有绝杀机会

CBA沪吉战出现重大漏判!裁判专家:如果按规则,张镇麟没有绝杀机会

南海浪花
2026-11-04 17:00:35
“能坚持到现在已经是优秀公司”!网传成都某房企全员停工待岗,前一天还在工地,第二天收入没着落

“能坚持到现在已经是优秀公司”!网传成都某房企全员停工待岗,前一天还在工地,第二天收入没着落

王老师你还好吗
2026-11-04 14:01:51
关于陆委会涉孙中山言论,国台办回应

关于陆委会涉孙中山言论,国台办回应

参考消息
2026-11-04 12:17:56
西方军事专家:只有吉尔吉斯斯坦知道,中国早就是最强超级大国了

西方军事专家:只有吉尔吉斯斯坦知道,中国早就是最强超级大国了

卖樱桃的大丸子
2026-11-02 17:04:57
离开大S光环差别太大!小S出镜状态引热议,难怪总提起姐姐

离开大S光环差别太大!小S出镜状态引热议,难怪总提起姐姐

铁锤妹妹是只猫
2026-11-04 09:44:14
天塌了!37岁女子拿到肝脏增强CT报告情绪崩溃,肝内见9毫米、6毫米两处低密度结节,哭诉自己十分自律,网上发帖引发热议

天塌了!37岁女子拿到肝脏增强CT报告情绪崩溃,肝内见9毫米、6毫米两处低密度结节,哭诉自己十分自律,网上发帖引发热议

火山詩话
2026-11-03 11:12:08
云南玉溪警方通报“球迷投掷鼓槌击中球员引发冲突”:肇事球迷被行拘

云南玉溪警方通报“球迷投掷鼓槌击中球员引发冲突”:肇事球迷被行拘

界面新闻
2026-11-04 16:35:23
约基奇才31岁,新赛季表现就这么差!是状态下滑了还是开赛慢热

约基奇才31岁,新赛季表现就这么差!是状态下滑了还是开赛慢热

一个体育黑
2026-11-04 17:36:09
50岁医生失业后跑滴滴,月入2万多

50岁医生失业后跑滴滴,月入2万多

梅斯医学
2026-11-04 07:53:16
马斯克怒怼比尔盖茨:“别逼我买下微软,然后把你炒了!”

马斯克怒怼比尔盖茨:“别逼我买下微软,然后把你炒了!”

城事堂
2026-11-02 16:46:16
2026-11-04 17:44:49
刀马物语
刀马物语
移动互联网,互联网金融
1647文章数 6897关注度
往期回顾 全部

科技要闻

国行苹果AI上手实测:苦等两年,成色如何

头条要闻

中央候补委员郭宁宁履新职 多省迎来代省长

头条要闻

中央候补委员郭宁宁履新职 多省迎来代省长

体育要闻

老板豪言建队五年必夺冠 球员:保守了

娱乐要闻

甩掉周一围嫁富豪,童蕾今负债亿元,

财经要闻

民主党大胜!特朗普:愿意接受选举结果

汽车要闻

省钱 它是认真的!银河星耀6EF每公里成本只要2毛

态度原创

本地
家居
时尚
游戏
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

家居要闻

2026建博会(广州) 公装联探展交流活动

今年秋冬最火的4条阔腿裤,配风衣松弛又时髦!

PS6性能被曝追上RTX 5090!光追性能更是恐怖如斯

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版