网易首页 > 网易号 > 正文 申请入驻

ICML 2026|从「鉴伪」到「修复」,AI图像取证进入闭环时代

0
分享至



随着生成模型的快速发展,AI 生成图像正变得越来越逼真,也让图像真实性判断变得愈发重要:一张图片究竟是由相机真实拍摄,还是由模型合成生成?

与此同时,一个与真实性判断密切相关、也更加细粒度的问题逐渐受到关注:对于 AI 生成图像中可能存在的不自然伪影,我们是否不仅能够将其定位和解释,还能进一步对其进行修复,使图像恢复为更加真实、自然的视觉外观?

围绕这一问题,来自北京大学等机构的研究者提出了 GenShield:一个统一的自回归框架,将 AI 生成图像检测 与 图像伪影修复 结合到同一个闭环中,实现从 “诊断” 到 “修复” 的一体化建模。



  • 论文标题:GenShield: Unified Detection and Artifact Correction for AI-Generated Images
  • 论文链接:https://arxiv.org/abs/2605.16122
  • 代码链接:https://github.com/zhipeixu/GenShield

从 “检测真假” 到 “诊断并修复”

现有 AI 生成图像检测方法大多关注 “判断一张图是真还是假”,或者进一步指出图中可疑区域。然而,在很多实际场景中,仅仅检测出异常还不够:如果图像中存在明显的结构错误、物理不一致或局部扭曲,我们还希望模型能够给出解释,并进一步将其修复为更自然、更接近真实拍摄的图像。

GenShield 的核心思想是:检测与修复并不是两个孤立任务,而是可以相互促进的。

一方面,检测任务能够帮助模型发现图像中的异常区域,并生成更细粒度的诊断信息;另一方面,修复任务要求模型学习真实图像的生成先验,从而反过来提升其对细微伪影的敏感性。

因此,我们将两者统一到一个框架中,让模型同时具备:

1. 可解释的 AI 生成图像检测能力

模型不仅输出 real/fake 判断,还会生成图像内容描述和伪影分析依据。

2. 可控的图像伪影修复能力

模型能够根据诊断信息对图像中的异常区域进行修复,尽量保持主体语义和整体结构不变。

3. 多步 Visual CoT 自修复能力

模型可以像 “先检查、再修改、再复查” 一样,进行多轮诊断与修复,并在图像已经自然时自动停止。

GenShield-Set:面向检测与修复的统一数据集

为了训练这一统一框架,我们进一步构建了 GenShield-Set,包含两个互补部分:

  • GenShield-Set-Detect用于训练可解释检测能力,包含真实图像和 AI 生成图像,以及结构化的检测答案,包括真假判断、图像描述和判断依据。
  • GenShield-Set-Correct用于训练伪影修复能力。我们基于带有异常标注的 AI 生成图像,构造了大规模 “异常图像 — 修复图像” 配对数据,并通过专家筛选保证修复质量,最终得到超过 10K 对高质量修复样本。



GenShield-Set 构建 Pipeline



GenShield-Set-Correct 样本示例


VCoT-based Curriculum Learning:让模型在 “检测 — 诊断 — 修复” 中协同进化

在统一建模 AI 生成图像检测与伪影修复时,一个核心挑战在于:模型既需要具备可靠的真实性判断能力,能够发现并解释图像中的异常线索;又需要具备可控的修复能力,在去除不自然伪影的同时,尽可能保持图像原有的语义、身份和整体结构不被破坏。

为此,我们设计了基于 Visual Chain-of-Thought(VCoT) 的课程学习策略,将训练过程划分为由易到难的两个阶段,并在两个阶段中始终保留 AI 生成图像检测任务,使检测与修复能够持续相互促进。



GenShield 模型架构 & VCoT-based Curriculum Learning

在第一阶段,模型同时学习可解释的 AI 生成图像检测和指令引导的伪影修复。对于检测任务,模型需要输出结构化结果,包括图像是真实还是 AI 生成、图像内容描述以及判断依据;对于修复任务,模型则在明确异常描述的指导下学习修复图像中的伪影,从而建立稳定的真实图像生成先验。

在第二阶段,检测任务继续参与训练,而修复任务进一步升级为多轮 VCoT 自修复过程。给定一张可能存在异常的 AI 生成图像,模型会先生成诊断文本,指出图像中仍然可疑或不自然的区域;随后根据诊断进行针对性修复。修复后的图像会再次输入模型,触发下一轮 “诊断 — 修复” 过程。当图像已经足够自然时,模型会输出类似 “未发现明显伪影,图像已经正常” 的终止判断,从而自动停止进一步编辑。



VIsual CoT for Artifact Self-correction

通过这样的课程学习设计,GenShield 不仅学习到如何判断图像真假,也学习到如何利用检测得到的诊断信息指导修复;同时,修复过程带来的真实图像生成先验又反过来增强模型对细微伪影的感知能力。最终,检测与修复在同一框架中形成闭环,使 GenShield 从单一的真假判别模型,进一步发展为具备解释、修复和自我检查能力的统一图像取证系统。

实验结果:检测与修复均达到领先表现

在 AI 生成图像检测任务上,GenShield 在 Holmes-Set 等主流检测基准上取得了优异结果。论文中报告,GenShield 在 Holmes-Set 上达到 98.8% 平均准确率 和 99.8% A.P.,超过多种非 LLM 和 LLM-based 检测方法。

在图像伪影修复任务上,GenShield 同样表现突出。相比 GPT-Image、Nano-Banana-Pro、Seedream、FLUX-Pro、BAGEL、Qwen-Image-Edit 等强基线方法,GenShield 在结构、物理一致性、局部扭曲等伪影修复维度上取得更低的残余伪影评分,并在 HPSv3、CLIP-Score、PickScore 等客观指标上取得最佳或领先结果。







总结

GenShield 将 AI 生成图像取证从传统的 “被动判断真假”,推进到 “主动诊断并修复” 的新范式。通过统一建模检测、解释与伪影修复,GenShield 不仅能够判断图像是否由 AI 生成,还能指出可疑原因,并进一步恢复更自然可信的视觉外观。我们希望这项工作能够为 AI 图像取证、内容审核、可信生成系统以及统一理解 — 生成模型研究提供新的思路。

主要作者简介

徐志沛,北京大学硕士生。研究方向为 AIGC 安全,LLM,RL 等。以第一 / 共一作者身份在 ICML,ICLR,CVPR 等国际顶级会议发表多篇论文。

张健(通讯作者),北京大学长聘副教授、博士生导师,视觉信息智能学习实验室(VILLA)负责人。长期深耕 “视觉重建生成与安全” 领域研究,已在 TPAMI、IJCV、TIP、CVPR 等会议期刊发表论文 120 余篇。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
羽坛惊天黑幕曝光!三大高层集体被抓才懂,林丹6年前选择太清醒

羽坛惊天黑幕曝光!三大高层集体被抓才懂,林丹6年前选择太清醒

独步天涯
2026-09-02 10:04:53
砸了千亿催生失效!国家终于醒悟:年轻人不生孩子,根本就不是懒

砸了千亿催生失效!国家终于醒悟:年轻人不生孩子,根本就不是懒

历史点行
2026-08-01 16:22:47
巨大反转!菲检方突然放弃萨拉贿赂指控,妥协还是另有深意

巨大反转!菲检方突然放弃萨拉贿赂指控,妥协还是另有深意

明天后天大后天
2026-09-02 16:48:21
86年陈宝忠贪黄金驾机叛逃台湾,途中被朝鲜战机拦截,结局令人唏嘘

86年陈宝忠贪黄金驾机叛逃台湾,途中被朝鲜战机拦截,结局令人唏嘘

磊子讲史
2026-06-15 10:31:19
家里有60岁老人赶紧办!这笔钱不申请永远不会到账

家里有60岁老人赶紧办!这笔钱不申请永远不会到账

花小猫的美食日常
2026-09-02 10:55:26
苹果新CEO特努斯内部信:iPhone 18 Pro/Max发布会必将惊艳四座

苹果新CEO特努斯内部信:iPhone 18 Pro/Max发布会必将惊艳四座

IT之家
2026-09-02 07:11:13
批量劝退应届生,大众等作出回应,鸿蒙智行、奇瑞、吉利是否也应发声

批量劝退应届生,大众等作出回应,鸿蒙智行、奇瑞、吉利是否也应发声

青锋看点
2026-09-02 08:30:15
特鲁姆普称吴宜泽和罗伯逊不配竞争世界第一!墨菲吐槽中国赛安排不合理

特鲁姆普称吴宜泽和罗伯逊不配竞争世界第一!墨菲吐槽中国赛安排不合理

世界体坛观察家
2026-09-02 14:22:30
讽刺!泰国助教揭秘亚锦赛真相:我们最怕的人被中国女排自己弃用

讽刺!泰国助教揭秘亚锦赛真相:我们最怕的人被中国女排自己弃用

金毛爱女排
2026-09-01 20:17:24
小米米家夜灯4发布:8个月长续航,单只59元

小米米家夜灯4发布:8个月长续航,单只59元

IT之家
2026-09-02 12:40:11
离谱!大叔受不了漏尿,干脆用强力胶把DD封住??医生最终掏出10厘米胶棒...

离谱!大叔受不了漏尿,干脆用强力胶把DD封住??医生最终掏出10厘米胶棒...

英国那些事儿
2026-09-01 00:29:43
李讷为儿子婚事发愁,刘源出面当媒人,女方的爷爷是老革命家

李讷为儿子婚事发愁,刘源出面当媒人,女方的爷爷是老革命家

鉴史录
2024-09-06 08:41:29
如果当初梁思成的方案被采纳,也许今天的北京是这个样子的

如果当初梁思成的方案被采纳,也许今天的北京是这个样子的

浩渺青史
2026-09-02 02:48:33
海哈金喜带女儿逛迪士尼!4岁夏夏酷似李亚鹏,外公陪伴太暖心

海哈金喜带女儿逛迪士尼!4岁夏夏酷似李亚鹏,外公陪伴太暖心

萧狡科普解说
2026-09-02 12:06:17
玄学提醒:如果一个人还在穿着10年前的衣服,只说明几个问题

玄学提醒:如果一个人还在穿着10年前的衣服,只说明几个问题

木言观
2026-08-01 13:58:35
终于有人说出了大实话!新加坡前外长杨荣文说:不要看美国动不动就威胁中国、制裁中国,其实美国从根本上不敢与中国开战

终于有人说出了大实话!新加坡前外长杨荣文说:不要看美国动不动就威胁中国、制裁中国,其实美国从根本上不敢与中国开战

故巷笑别w
2026-08-31 17:14:12
东北一男子养鹿破产,赌气放生了30头鹿,8年后上山,眼前一幕却让他泪崩了...

东北一男子养鹿破产,赌气放生了30头鹿,8年后上山,眼前一幕却让他泪崩了...

背包旅行
2026-05-11 14:51:09
《GTA6》瓦伦蒂娜颜值太高!全身展示:还有玉足细节

《GTA6》瓦伦蒂娜颜值太高!全身展示:还有玉足细节

游民星空
2026-09-01 13:11:10
高圆圆首谈死亡:已和赵又廷商量好“谁先走”

高圆圆首谈死亡:已和赵又廷商量好“谁先走”

可乐谈情感
2026-09-02 10:38:37
人性能有多坏?网友:有路灯的地方,牲口无处不在

人性能有多坏?网友:有路灯的地方,牲口无处不在

带你感受人间冷暖
2026-08-31 00:05:16
2026-09-02 21:00:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13905文章数 142728关注度
往期回顾 全部

科技要闻

凌晨最强模型上新,Claude Fable 5.1发布

头条要闻

被星宇股份裁掉的107名应届生 损失远远不止一份工作

头条要闻

被星宇股份裁掉的107名应届生 损失远远不止一份工作

体育要闻

一次有奖问答,让他成为欧冠主帅

娱乐要闻

香港武打影星陈观泰离世,终年80岁

财经要闻

北京首钢园数采中心停运,“百万小时”产能目标的账还算得过来吗?

汽车要闻

10万级的满配B级车 试驾2027款比亚迪海豹06

态度原创

教育
旅游
家居
艺术
公开课

教育要闻

随州一中2026年秋季开学典礼隆重举行

旅游要闻

北京师范大学“九寨青禾”暑期实践队走进九寨沟景区和大录乡开展调研

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

明代隐藏的“草书奇才”!水平不输张旭、怀素,当今知道他的人不足1%

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版