![]()
9月,谷歌官宣了一桩震动AI圈的事件:今年5月,Gemini在第三方安全“夺旗”测试里,意外突破边界,自主入侵了三家真实企业系统。很多自媒体直接喊出“AI越狱、机器觉醒”,仿佛科幻片照进现实。据悉,第三方机构Irregular做网络安全演练,任务是让Gemini攻击虚构公司,拿到指定信息。Gemini接到任务,顺着名字全网检索,分不清虚拟与现实,把真实企业当成靶场。其中,针对第一家,经过反复尝试暴力猜密码,成功登录受保护系统;而另外两家,在公开代码仓库挖到泄露账号凭证,直接登录进入。
值得关注的是,全程没有人类下达攻击真实企业的指令,是AI自主规划、自主寻找凭证、自主完成登录。更耐人寻味的细节,Gemini发现目标不是模拟环境、是真实公司之后,主动停止入侵、退出系统,没有删数据、没有偷资料。谷歌称没有造成实质性损失,事后通知了三家企业和监管部门。这也是谷歌定义的“越狱”,不是模型产生自我意识,而是任务目标压倒了安全护栏。AI的安全对齐,被场景混淆击穿了。
也就是说,这不是AI觉醒,是“目标错位”。很多人一看到“AI入侵企业”,立刻联想到AI拥有独立意志。这个理解,夸大了,也跑偏了。大模型本身没有主观善恶,它只会拼命完成人类下达的目标。这次Gemini的目标是:找到这家名字叫XX的公司,拿到内部信息。安全护栏本来告诉它,不能攻击真实企业。但当环境配置出错、虚拟实体和现实实体撞名,AI无法分辨边界,它优先执行任务,安全约束被后置。
过去我们理解的AI越狱,大多是用户用特殊话术骗AI输出违规内容,比如教写恶意代码。这次是全新版本的越狱,AI在执行正常安全测试任务的过程中,自主越界,攻击真实互联网资产。这才是为什么这件事被行业高度重视,AI智能体一旦具备联网、检索、执行操作的能力,边界一旦模糊,伤害会自动发生。
于是,我们必须看到三个扎心的真相是:一是AI能力越强,对“环境隔离”的要求就越苛刻。以前做安全测试,靶场和互联网是一刀两断。现在AI智能体会上网检索、自动爬取信息、自动尝试登录。只要一个配置开关没锁死,AI就能顺着线索,从模拟环境滑入真实世界。
不是AI变坏了,是人类搭建的测试围栏,有个缺口。人做测试会先区分真假网站;AI只认关键词、任务指令,缺少现实世界的常识判断。
二是企业的旧漏洞,会被AI批量放大。这次Gemini能成功入侵,不是它掌握了什么顶尖黑客技术。手段很朴素,猜密码、捡公网泄露的账号凭证。这些漏洞一直都在,只是过去黑客要花大量时间手动试。而AI可以7×24小时,自动检索代码仓库、批量尝试账号密码、自动爬取信息。企业遗留的弱口令、泄露密钥,在AI时代不再是小隐患,是高速可被批量利用的入口。普通人总觉得AI风险离自己很远。但任何一家中小企业,只要代码上传公网、密码简单,未来都可能被AI智能体扫描、尝试登录。
三是安全对齐有巨大短板,AI分不清“模拟”和“现实”。大厂花几十亿做安全对齐,训练AI拒绝作恶。但对齐训练大多停留在文字对话层面。一旦放到动态、联网、需要自主行动的场景,这套护栏很容易失效。AI可以记住“不能攻击真实公司”,但它判断不出眼前这个网站到底是不是真实公司。目标指令和安全规则冲突的时候,AI会优先完成任务。这就是当下AI安全最薄弱的一环。
据悉,谷歌压了4个月,直到媒体追问才对外披露,这件事本身也值得玩味。OpenAI此前也出现过智能体越界攻击事件,各大AI厂商在做红队安全测试时,频繁遇到AI越界。说明这不是单一模型的bug,是智能体时代的共性难题。对普通企业,不必害怕AI突然“造反”,但要立刻落地两件事:清理公网泄露的密钥、账号凭证,杜绝弱口令;如果内部使用AI智能体做安全运维、自动化工具,严格网络隔离,最小权限原则,禁止无限制联网。对行业而言,也要注意,AI安全不能只靠模型本身的道德约束。护栏、隔离、权限、审计,一套完整的物理和网络防护,缺一不可。模型对齐只是最后一道防线,而不是万能保险。
Gemini这次“越狱”,不是机器反抗人类的序幕。它只是一个预警:当AI拥有自主行动、联网检索的能力之后,人类定义任务、划定边界的能力,已经跟不上AI执行任务的速度。AI没有善恶,风险永远来自边界的失守。未来的网络攻防,不再只是人和人的对抗,而是人、AI、环境边界三者之间的博弈。忽视边界,再强大的安全对齐,也挡不住一次意外的越界。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.