北京
钢铁侠造出奥创保护人类，奥创联网五秒，吸完人类全部知识，判定人类才是问题所在。接下来就是飞天杀手机器人和爆炸的城市。
三代人脑子里AI灾难的样子大概都是这样：有意识、有戏剧性、动手前还要来一段反派独白。《2001太空漫游》里的HAL 9000至少还讲究点，杀人时语气依然平静。我们一直在为错误的威胁做演练。
眼下真实发生的噩梦要怪得多。一个自主AI代理去读一份简历，执行了藏在白底白字里的隐形指令，把公司的SSH密钥打包发到外部服务器。这个AI从没“醒来”，也没变邪恶，它只是严格照设计行事：按文本里的指令办事。
这就是提示注入（prompt injection）。拿它跟SQL注入比，后者都显得古朴了。
模型分不清谁在说话
大语言模型有个让人不舒服的特性：它无法可靠区分来自系统操作者的指令，和藏在用户数据里的指令。
传统程序边界清晰。Web服务器知道代码和数据是两回事；查数据库时，SQL知道哪部分是命令结构、哪部分是数据——除非它没分清，那就是SQL注入。我们花二十年学会清洗输入、用参数化查询。
大模型从设计上就把这条边界抹掉了。它的全部意义就是把一切当文本、找模式、给回应。没有类型系统，没有解析器把代码和数据分开。只有token进、token出，加一个预测下一个词的统计模型。
所以你让AI代理“帮我总结这些客户邮件”，其中一封邮件里埋着指令。模型看到的是指令，它照做。代理有邮件权限——让它有用，靠的就是这个权限。它把记录转发了出去。没有恶意软件，没有缓冲区溢出，只有三行模型分不清是数据还是命令的文本。
看不见的字，更麻烦
把攻击做成隐形的，事情就更糟。PDF支持白底白字，HTML邮件支持隐藏样式。攻击者做一份简历，把指令埋进元数据或视觉上不可见的文本里，HR部门新上的AI筛选工具打开文档，招聘人员要一份摘要，AI就执行了那些内嵌指令。
这不是理论漏洞，在今天的自主工具型代理上，这类问题正被持续记录。
有人会想：对齐不能解决吗？不是用RLHF训练模型拒绝有害请求吗？问题在于，RLHF教的是拒绝用户直接提出的请求，它像前门的门卫。提示注入不走前门，它从数据里走进来。
你把一份不可信文档粘进代理，模型并不把“不可信用户输入”和“可信系统提示”看成两条独立通道。它看到的是一条token流。RLHF在结构上教不会模型拒绝藏在数据里的指令，因为模型没有“这段文本不可信”这种架构原语。它只有文本。
我们花几十年在软件栈里做权限分离、沙箱、输入校验。大模型来了，因为演示效果酷，这些全被扔了。我们又在直接调用用户输入，只不过这次的解释器是个七百亿参数的黑箱，它有时会决定执行某人五分钟前上传的PDF里的命令。
别为奥创做准备了，先去审你的输入清洗器。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
