当AI攻击者也开始"打磨"自己的作弊小抄

你有没有想过，如果一个骗子每次作弊都能拿到监考老师的反馈，然后根据这个反馈不断修改自己的小抄，最后会发生什么？

这不是一个假设。这正是2027年这篇论文揭示的现实：AI智能体的"技能包"正在被攻击者反复打磨，而且打磨的方式，比我们想象得更聪明。

先说说什么是"技能包"

Agent Skill（智能体技能）：一种打包好的能力模块，里面装着操作指令、可执行代码和任务需要的各种资源文件，AI智能体加载之后就能直接拿来用，还能根据执行结果不断改进。

这个设计原本是件好事。就像人类学一门手艺,学会之后写成笔记留给后人,后人不用从头摸索,直接拿笔记照着做就行,做的过程中发现哪里不对,再回头改笔记。AI智能体也是这样,把一套操作流程打包成技能,下次遇到类似任务直接调用,用坏了就改,越改越好用。

问题就出在"越改越好用"这四个字上。

如果一个技能包可以被合法用户不断优化,那它同样可以被恶意用户不断优化。一个原本藏着坏心思的技能包,完全可以像正常技能一样,被反复修改，让那份坏心思变得更隐蔽、更难被发现、更容易得逞。这就是这篇论文要研究的核心问题。

两道关卡，两难全

要理解这篇论文的巧妙之处,得先搞清楚一个恶意技能包要闯过几道关。

第一道关叫预执行扫描,在技能包被真正拿去执行之前,有个安全扫描器会先检查一遍代码和指令,看看有没有明显的危险信号。这篇论文里用的扫描器叫SkillScan。

SkillScan：由Cisco AI Defense开发的技能包安全扫描工具,专门检查Agent Skill里是否存在数据窃取、命令注入等风险行为,并把发现的问题按高、中、低三个风险等级打标签。

如果闯过了第一关,还有第二关等着,叫运行时防御。技能包真正被智能体执行的时候,系统里还有个实时监控的安全组件盯着,一旦发现有异常操作正在发生,它会直接叫停。论文里用的这个组件叫SkillSonar。

SkillSonar：一款具备生命周期感知能力的AI智能体安全防护技能,在任务执行过程中实时监测危险操作,一旦发现异常会主动终止执行。

这两道关卡分开看好像都很严密，但研究者发现了一个诡异的缝隙。一个技能包可能顺利通过了扫描器的检查，拿到"体检合格证"，结果真正跑起来的时候却被运行时防御拦住了，什么坏事都没干成。反过来也一样，攻击者为了绕开运行时防御，改了改代码逻辑，让恶意行为真的能跑通了，结果这一改动又触发了扫描器的警报，前功尽弃。

这就像你想蒙混过关地带一件违禁品出关，海关的X光机和安检门是两套独立的系统。你把违禁品拆开藏进不同的夹层，骗过了X光机，结果走到安检门的时候，金属探测器又响了。你重新调整了藏匿方式让探测器不响，X光机却又照出了轮廓。如果这两道关只各自为战地测试，你压根不知道有没有一种藏法能同时骗过两边。而如果攻击者能反复试错，同时看着两边的反应来调整策略，那结果可能大不一样。

这正是论文作者们的洞察所在。他们发现，如果只单独评估扫描防御或者只单独评估运行时防御的效果，会严重低估一个持续迭代的攻击者到底能造成多大的危害。真正的威胁，藏在两道关卡的夹缝里。

SkillDRE：把两个反馈揉在一起打磨的攻击框架

基于这个发现，研究团队提出了一个叫SkillDRE的框架。

SkillDRE：全称Skill Dual-stage Red-Team Evolution，一个全自动的框架，专门用来演化出完整的恶意智能体技能包，它的核心是同时利用扫描反馈和运行时反馈这两种信号来不断修改攻击代码。

先说说这个框架第一步在干什么。给定一个正常无害的任务和它自带的技能，SkillDRE会自己想出一个"藏在这个任务里能干成什么坏事"的目标，还会自动写一套判断规则，用来验证这个坏事到底有没有真的得逞。

这一步很关键，因为如果攻击目标本身是模糊的、可以随便变动的，那后面的所有优化都会失去锚点。就像你要练习投篮，如果篮筐的位置每次都在变，你永远不知道自己的技术是不是真的在进步，还是恰好蒙对了位置。SkillDRE先把"篮筐"钉死，攻击目标一旦确定，就在整个后续演化过程中保持不变，只允许技能实现的方式变化。

目标定下来之后，框架进入两个阶段的循环打磨。

第一阶段叫预执行演化，说白了就是拿着扫描器反复试。生成一个候选的恶意技能包,扔给SkillScan扫一遍,如果有高风险、中风险、低风险的发现,就把这些扣分项当作反馈,让系统再改一版,直到扫描结果干干净净，一个风险点都没有。

这里有个细节值得说说,系统怎么判断哪个候选版本更好。论文设计了一个风险打分公式,高风险发现记10000分,中风险记1000分,低风险记10。这个悬殊的权重差不是随便拍脑袋定的,研究者专门做了验证,如果权重差距不够大,比如都设成1分,就会出现"用9个低风险问题抵消1个高风险问题"这种荒唐的排序错误,系统会误以为一个满是小毛病但没有大问题的版本,比一个只有1个大问题的版本更危险,实际情况恰恰相反。这就像给违纪行为算总分，如果闯红灯和乱扔垃圾权重相同，一个人乱扔十次垃圾的总分可能比闯一次红灯还高，可现实里谁都知道闯红灯性质更严重。权重设计的本质，是把人类朴素的价值排序，翻译成机器能算的分数。

熬过第一阶段的候选版本,会进入第二阶段,叫运行时引导演化。这时候技能包真的被放到沙箱环境里跑起来,同时SkillSonar在旁边盯着。如果SkillSonar发现异常直接叫停,或者虽然跑完了但压根没达成攻击目标,这次尝试就算失败。失败了不要紧,系统会把这次执行的完整轨迹、SkillSonar给出的拦截理由、还有攻击目标判断规则给出的反馈,一股脑喂给生成模型,让它再改一版。

这里最有意思的设计是,第二阶段改出来的新版本,不会直接拿去再跑一次,而是先送回第一阶段重新过一遍扫描器。

这就是论文标题里"双阶段"和"闭环"的真正含义。修改是为了应付运行时防御而做的,但改动之后有没有引入新的扫描漏洞,谁都说不准,所以必须回炉重新体检。这个设计像极了一个考生准备两门不同风格的考试，一门是笔试选择题，一门是口语面试。为了应付口语面试临时调整了说话方式，结果这个新说法里用错了一个术语，反而在笔试里会扣分。如果这个考生只顾着练口语,压根不知道自己已经在悄悄破坏笔试成绩,他还以为自己在稳步进步。SkillDRE的聪明之处在于，它强迫每一次针对运行时的修改都要回头检查一遍会不会得罪扫描器，两条线拧成一股绳，谁都不能单独跑偏。

结果有多离谱

研究团队在一个叫SkillsBench的基准测试集上做了实验，涉及94个任务、249个相关技能，测试对象是四个主流大模型：DeepSeek-V4-Pro、GLM-5.2、Qwen3.5-397B-A17B和Gemini-3.7-Flash。

先看两个对照方法的表现。SkillJect和SkillHarm是这个领域此前公开的两种攻击方法，在四个受害模型上，它们的攻击成功率普遍不超过9%，而且被扫描器检出的比例高达97%到100%，也就是说这些攻击方案几乎全军覆没地被扫描器逮个正着。

SkillDRE的表现是什么样呢，平均攻击成功率达到45.28%，比表现最好的对照方法高出40.3个百分点。更扎眼的是，它最终提交的技能包在所有四个受害模型上的扫描检出率都是0%。

这两个数字放在一起看才有意义。40个百分点的成功率提升，还是在检出率降到零的前提下拿到的。这不是用更容易被抓的方式换取了更高的成功率，而是同时做到了更隐蔽和更有效。

论文还专门测了一个容易被忽视的角度，攻击对正常任务功能有没有破坏。结果显示，在三个受害模型上，被攻击的技能包完成正常任务的准确率反而比没被攻击时更高，只有GLM-5.2出现了0.15个百分点的轻微下降。研究者去人工核查了这些反常案例，发现有些原本因为智能体压根没调用相关技能而失败的任务，在SkillDRE改写了技能指令之后，智能体反而被引导着去调用了这个技能，顺带把正常任务也完成了。这说明SkillDRE的恶意修改做得相当克制,它没有为了塞进坏心思而破坏技能原本该干的正事。

拆开看，每一部分到底贡献了多少

光看整体效果还不够，研究者做了消融实验，把两个阶段拆开单独测试，想弄清楚到底是谁在起作用。

结果很说明问题。只用第一阶段扫描引导，不做运行时循环反复的一次性版本，能拿到37.75%的成功率，但检出率高达65.46%。如果让第一阶段反复迭代打磨，检出率确实能压到0%，但攻击成功率反而掉到34.94%，说明单纯追求过扫描器这件事，对真正打赢运行时防御这场硬仗帮助有限。

反过来看第二阶段，只跑运行时反复迭代不回炉扫描，攻击成功率能冲到46.59%，看起来很高，可惜检出率飙升到79.92%，几乎是裸奔状态。

完整的SkillDRE把两条线拧在一起之后，拿到46.99%的成功率和0%的检出率，两头都占了。这个对比像是分别练习跳高和跑步，跳高单练能跳得很高但跑不快，跑步单练能跑得很快但跳不高，把两项训练结合起来做全能训练，才能同时拿到两项都还不错的成绩，而不是必须牺牲一项换另一项。

论文还观察到一个细节，在运行时演化的第一轮，那些已经通过扫描器体检的候选版本，直接拿去执行，成功率只有34.54%到37.35%。这说明扫描通过压根不等于攻击一定成功，中间那道运行时防御是实打实起作用的。随着反复的运行时引导修改，成功率一路涨到43.78%到46.99%，大部分的提升在第8轮之前就已经完成了。

自动化到什么程度

这个框架有意思的地方还在于，它构造攻击目标和判断规则的过程也是全自动的，靠的是一套多模型投票机制。生成模型提出一个候选目标或规则，扔给一个固定的验证模型小组去审，只有所有验证模型都点头同意才算通过，否则打回去重新生成，并且把被拒绝的理由一起带回去，供下一次生成参考。

研究者事后专门找人工去复核了大约一半的样本，人类审核员和模型验证的判断一致率相当高，判断目标是否具有恶意行为这个环节达到了100%一致，判断规则能否正确识别攻击是否成功这个环节也有96.8%的一致率。

从这些目标的类型分布来看，文件和媒体数据外泄占比最高，达到34.94%，紧接着是商业数据外泄，占33.33%，剩下的还包括隐私泄露、后门攻击和结果篡改等类型。数据外泄相关的三类目标加起来占了超过七成，说明这套自动生成机制天然更容易想出"偷数据"这类目标，这某种程度上也反映了现实世界里数据泄露确实是最常见也最容易操作的攻击手法。

研究者还测试了换一套执行工具会不会影响结果，把默认使用的Codex换成Claude Code，同样是DeepSeek-V4-Pro作为受害模型，攻击成功率从46.99%降到42.57%，检出率依然保持0%。这说明这套攻击方法不是钻了某一个特定工具的空子，换个执行环境依然能奏效。

写在后面

读完这篇论文,最触动我的不是那个45.28%的攻击成功率数字本身，而是那个消融实验揭示出来的现象：单独优化一个防御维度，反而可能让攻击者在另一个维度上更加肆无忌惮。

这其实是个挺让人不安的洞察。我们平时评估一套安全系统，很容易陷入"分别测试每个组件"的思路，觉得扫描器测过关了、运行时监控也测过关了，两个都合格，系统就该是安全的。这篇论文用数据狠狠打了这个假设的脸。79.92%的检出率飙升，就发生在攻击者只专心对付运行时防御、完全不回头管扫描器死活的时候。防御体系里的每一道关卡，从来不是孤立存在的，攻击者只要能反复试错，就有本事在夹缝里找到那条谁都没盯住的路。

还有个细节我印象很深，那就是攻击后正常任务的完成率不降反升。这说明一个真正打磨到位的攻击，压根不需要牺牲表面的正常功能，它可以做到让你察觉不到任何异样，甚至你以为它变得更好用了。这比那种一眼假的恶意软件要危险得多，因为它骗过的不是技术检测，而是使用者的信任感。

这篇论文没有给出答案，说该怎么彻底防住这种攻击，它更像是一个警钟，提醒所有做AI安全的人，你的防御系统之间是不是也存在这样的夹缝，而你自己可能压根不知道。

Q&A

Q1：SkillDRE是什么？

A：SkillDRE是一个全自动的红队攻击框架，专门用来演化出完整的恶意AI智能体技能包，它同时利用预执行安全扫描的反馈和运行时防御的反馈，通过反复迭代修改技能实现，让恶意行为既能躲过扫描检测，又能在运行时真正得逞。

Q2：SkillDRE的攻击成功率有多高？

A：在SkillsBench基准测试的四个主流大模型上，SkillDRE平均攻击成功率达到45.28%，比此前最强的对照方法高出40.3个百分点，而且最终提交的恶意技能包在所有模型上的扫描检出率都是0%。

Q3：为什么只单独测试扫描防御或运行时防御是不够的？

A：论文的消融实验显示，只优化扫描防御通过率会让攻击成功率下降，只优化运行时防御突破率则会让扫描检出率飙升到79.92%，说明两个防御阶段必须联合评估，否则会严重低估攻击者的真实威胁能力。