北京
大多数人一眼就能识破那种粗制滥造的钓鱼邮件——拙劣冒充银行、快递公司，或者抛出好得不像真的优惠，目的只有一个：套走你的身份信息。但你的AI助手，未必有这份眼力。
安全软件公司Malwarebytes在一篇新发布的文章中警告，AI助手可能沦为「提示注入」攻击的受害者。这类攻击的做法是：黑客——也可能是行为失控的AI代理——在信息中埋入隐藏指令，用来影响受害者的AI。
Malwarebytes解释说，这些指令往往通过隐藏恶意文本的方式，让人根本读不出来，但「内容仍然可以被AI系统处理」。也就是说，人看到的是正常邮件，AI读到的却是另一套东西。
问题的解法，不是简单呼吁「大家看邮件时再仔细一点」。文章认为，企业必须认真研究AI助手究竟如何抓取数据、如何从邮件中提取相关信息。
AI代码审查服务ShipItClean的开发者Apollo Raines对Malwarebytes说：「真正的缺陷在于，模型分不清哪些文本是它该读的，哪些指令是它该执行的。」他给出的建议很直接：「在内容到达模型之前剥离隐藏内容，这件事值得做，每个厂商都应该做。」
Raines还提醒，那些本来就对可疑邮件保持警惕的人，也应该学会「不信任自己的AI助手」。
AI模型容易遭受提示注入攻击，这一点业界已经知道多年。但随着Meta的Muse这类热门AI助手工具出现，风险可能被推到极致——自主代理可以在没有任何人工监督的情况下，连续完成一连串任务。
研究人员已经在AI浏览器上遇到过这类缺陷，而这类浏览器至今没有获得真正的市场普及。在只允许AI参与的社交网络Moltbook上，也出现过机器人之间互相算计、兜售提示注入攻击的情况。
如今，成熟的AI助手正被全球数以百万计的人使用，它们被钓鱼邮件中隐藏攻击骗到的威胁，可能比以往任何时候都高。
对此，Malwarebytes的建议是：现阶段保留人在环路中。「你不需要放弃那些帮你处理邮件的AI工具，」文章写道，「但你确实需要考虑，你信任它们做什么，以及你给了它们什么权限。」
尤其是在「支付、修改供应商付款信息这类高影响操作」上，公司建议要求「人工批准」。
当下的局面颇为微妙：无数用户愿意把邮箱凭证和信用卡信息，交给一家以泄露个人数据而闻名的公司运营的AI代理。随着技术越来越复杂，诈骗者也在获得巨大的先手优势。用Raines的话说，这是一场「军备竞赛」，「每一种新的编码技巧，都是一个新漏洞」。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
