网易首页 > 网易号 > 正文 申请入驻

ICML 2026|从「鉴伪」到「修复」,AI图像取证进入闭环时代

0
分享至



随着生成模型的快速发展,AI 生成图像正变得越来越逼真,也让图像真实性判断变得愈发重要:一张图片究竟是由相机真实拍摄,还是由模型合成生成?

与此同时,一个与真实性判断密切相关、也更加细粒度的问题逐渐受到关注:对于 AI 生成图像中可能存在的不自然伪影,我们是否不仅能够将其定位和解释,还能进一步对其进行修复,使图像恢复为更加真实、自然的视觉外观?

围绕这一问题,来自北京大学等机构的研究者提出了 GenShield:一个统一的自回归框架,将 AI 生成图像检测 与 图像伪影修复 结合到同一个闭环中,实现从 “诊断” 到 “修复” 的一体化建模。



  • 论文标题:GenShield: Unified Detection and Artifact Correction for AI-Generated Images
  • 论文链接:https://arxiv.org/abs/2605.16122
  • 代码链接:https://github.com/zhipeixu/GenShield

从 “检测真假” 到 “诊断并修复”

现有 AI 生成图像检测方法大多关注 “判断一张图是真还是假”,或者进一步指出图中可疑区域。然而,在很多实际场景中,仅仅检测出异常还不够:如果图像中存在明显的结构错误、物理不一致或局部扭曲,我们还希望模型能够给出解释,并进一步将其修复为更自然、更接近真实拍摄的图像。

GenShield 的核心思想是:检测与修复并不是两个孤立任务,而是可以相互促进的。

一方面,检测任务能够帮助模型发现图像中的异常区域,并生成更细粒度的诊断信息;另一方面,修复任务要求模型学习真实图像的生成先验,从而反过来提升其对细微伪影的敏感性。

因此,我们将两者统一到一个框架中,让模型同时具备:

1. 可解释的 AI 生成图像检测能力

模型不仅输出 real/fake 判断,还会生成图像内容描述和伪影分析依据。

2. 可控的图像伪影修复能力

模型能够根据诊断信息对图像中的异常区域进行修复,尽量保持主体语义和整体结构不变。

3. 多步 Visual CoT 自修复能力

模型可以像 “先检查、再修改、再复查” 一样,进行多轮诊断与修复,并在图像已经自然时自动停止。

GenShield-Set:面向检测与修复的统一数据集

为了训练这一统一框架,我们进一步构建了 GenShield-Set,包含两个互补部分:

  • GenShield-Set-Detect用于训练可解释检测能力,包含真实图像和 AI 生成图像,以及结构化的检测答案,包括真假判断、图像描述和判断依据。
  • GenShield-Set-Correct用于训练伪影修复能力。我们基于带有异常标注的 AI 生成图像,构造了大规模 “异常图像 — 修复图像” 配对数据,并通过专家筛选保证修复质量,最终得到超过 10K 对高质量修复样本。



GenShield-Set 构建 Pipeline



GenShield-Set-Correct 样本示例


VCoT-based Curriculum Learning:让模型在 “检测 — 诊断 — 修复” 中协同进化

在统一建模 AI 生成图像检测与伪影修复时,一个核心挑战在于:模型既需要具备可靠的真实性判断能力,能够发现并解释图像中的异常线索;又需要具备可控的修复能力,在去除不自然伪影的同时,尽可能保持图像原有的语义、身份和整体结构不被破坏。

为此,我们设计了基于 Visual Chain-of-Thought(VCoT) 的课程学习策略,将训练过程划分为由易到难的两个阶段,并在两个阶段中始终保留 AI 生成图像检测任务,使检测与修复能够持续相互促进。



GenShield 模型架构 & VCoT-based Curriculum Learning

在第一阶段,模型同时学习可解释的 AI 生成图像检测和指令引导的伪影修复。对于检测任务,模型需要输出结构化结果,包括图像是真实还是 AI 生成、图像内容描述以及判断依据;对于修复任务,模型则在明确异常描述的指导下学习修复图像中的伪影,从而建立稳定的真实图像生成先验。

在第二阶段,检测任务继续参与训练,而修复任务进一步升级为多轮 VCoT 自修复过程。给定一张可能存在异常的 AI 生成图像,模型会先生成诊断文本,指出图像中仍然可疑或不自然的区域;随后根据诊断进行针对性修复。修复后的图像会再次输入模型,触发下一轮 “诊断 — 修复” 过程。当图像已经足够自然时,模型会输出类似 “未发现明显伪影,图像已经正常” 的终止判断,从而自动停止进一步编辑。



VIsual CoT for Artifact Self-correction

通过这样的课程学习设计,GenShield 不仅学习到如何判断图像真假,也学习到如何利用检测得到的诊断信息指导修复;同时,修复过程带来的真实图像生成先验又反过来增强模型对细微伪影的感知能力。最终,检测与修复在同一框架中形成闭环,使 GenShield 从单一的真假判别模型,进一步发展为具备解释、修复和自我检查能力的统一图像取证系统。

实验结果:检测与修复均达到领先表现

在 AI 生成图像检测任务上,GenShield 在 Holmes-Set 等主流检测基准上取得了优异结果。论文中报告,GenShield 在 Holmes-Set 上达到 98.8% 平均准确率 和 99.8% A.P.,超过多种非 LLM 和 LLM-based 检测方法。

在图像伪影修复任务上,GenShield 同样表现突出。相比 GPT-Image、Nano-Banana-Pro、Seedream、FLUX-Pro、BAGEL、Qwen-Image-Edit 等强基线方法,GenShield 在结构、物理一致性、局部扭曲等伪影修复维度上取得更低的残余伪影评分,并在 HPSv3、CLIP-Score、PickScore 等客观指标上取得最佳或领先结果。







总结

GenShield 将 AI 生成图像取证从传统的 “被动判断真假”,推进到 “主动诊断并修复” 的新范式。通过统一建模检测、解释与伪影修复,GenShield 不仅能够判断图像是否由 AI 生成,还能指出可疑原因,并进一步恢复更自然可信的视觉外观。我们希望这项工作能够为 AI 图像取证、内容审核、可信生成系统以及统一理解 — 生成模型研究提供新的思路。

主要作者简介

徐志沛,北京大学硕士生。研究方向为 AIGC 安全,LLM,RL 等。以第一 / 共一作者身份在 ICML,ICLR,CVPR 等国际顶级会议发表多篇论文。

张健(通讯作者),北京大学长聘副教授、博士生导师,视觉信息智能学习实验室(VILLA)负责人。长期深耕 “视觉重建生成与安全” 领域研究,已在 TPAMI、IJCV、TIP、CVPR 等会议期刊发表论文 120 余篇。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大马丁术后报平安:手术很顺利感谢大家,几周后我就会回来

大马丁术后报平安:手术很顺利感谢大家,几周后我就会回来

懂球帝
2026-10-18 09:42:41
虱子从中国人生活里消失,根本原因不是爱干净,真相让人傻眼

虱子从中国人生活里消失,根本原因不是爱干净,真相让人傻眼

奇葩游戏酱
2026-10-17 06:27:30
广西大学深夜发布情况通报

广西大学深夜发布情况通报

政知新媒体
2026-10-18 07:11:59
曾向全国人大建议废除寻衅滋事罪的于凯律师,又就“大病免费医疗”提交建议书

曾向全国人大建议废除寻衅滋事罪的于凯律师,又就“大病免费医疗”提交建议书

老镡讲故事
2026-10-18 08:08:36
为什么每个朝代到后期都没钱?看完网友分享我破防了,画面感很强

为什么每个朝代到后期都没钱?看完网友分享我破防了,画面感很强

夜深爱杂谈
2026-10-17 19:21:55
四川宜宾一女子在老酒馆内砸酒,数分钟内无人制止,店家:疑因在隔壁理发店剪发不顺情绪失控,很多五粮液被砸,损失约30万元,警方已介入

四川宜宾一女子在老酒馆内砸酒,数分钟内无人制止,店家:疑因在隔壁理发店剪发不顺情绪失控,很多五粮液被砸,损失约30万元,警方已介入

潇湘晨报
2026-10-18 13:58:10
豪门现任与前夫“关系亲密”?死者生前与前夫合伙玩“仙人跳”?香港名媛蔡天凤碎尸案庭审怎么净扯些“狗血八卦”?

豪门现任与前夫“关系亲密”?死者生前与前夫合伙玩“仙人跳”?香港名媛蔡天凤碎尸案庭审怎么净扯些“狗血八卦”?

新民周刊
2026-10-18 14:18:57
粮油要变天?下半年开始,大米、面粉、食用油或迎新一轮行业洗牌

粮油要变天?下半年开始,大米、面粉、食用油或迎新一轮行业洗牌

云霄纪史观
2026-10-17 01:39:00
普京已明确表示:俄罗斯已接管法国、德国、瑞典、比利时等欧洲四国企业在俄罗斯的资产,作为欧盟支持乌克兰直接参与战场敌对行动的回应

普京已明确表示:俄罗斯已接管法国、德国、瑞典、比利时等欧洲四国企业在俄罗斯的资产,作为欧盟支持乌克兰直接参与战场敌对行动的回应

吉刻新闻
2026-10-17 16:15:36
岳云鹏常州相声专场突发演出事故!现场回声巨大多次中断,观众8点离场排队申请大麦退票

岳云鹏常州相声专场突发演出事故!现场回声巨大多次中断,观众8点离场排队申请大麦退票

火山詩话
2026-10-18 11:43:34
未来可期!14岁李昊炎巴萨生涯首次戴帽:半场3球 连轰世界波

未来可期!14岁李昊炎巴萨生涯首次戴帽:半场3球 连轰世界波

念洲
2026-10-18 06:54:03
令人痛心!福建漳州一美女老师突然去世:年仅30岁,诸多学生纷纷发帖悼念,死因披露

令人痛心!福建漳州一美女老师突然去世:年仅30岁,诸多学生纷纷发帖悼念,死因披露

火山詩话
2026-10-18 13:19:42
自愿放弃无效,用人单位欠缴社保最高罚3倍,新规即将施行

自愿放弃无效,用人单位欠缴社保最高罚3倍,新规即将施行

澎湃新闻
2026-10-17 13:31:08
学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

起点人文
2026-10-15 13:07:03
成都打人宝妈后续凄惨:曝婚姻破裂,家人冷漠,本人摆烂害了孩子

成都打人宝妈后续凄惨:曝婚姻破裂,家人冷漠,本人摆烂害了孩子

青梅侃史啊
2026-10-17 07:08:43
吕文君感叹前田大然英超首球:足球没捷径,需要慢慢积累经验

吕文君感叹前田大然英超首球:足球没捷径,需要慢慢积累经验

懂球帝
2026-10-18 12:10:58
广东一饭店推出“水蟑螂蛋挞”,老板:28元3个,口感像薯片

广东一饭店推出“水蟑螂蛋挞”,老板:28元3个,口感像薯片

极目新闻
2026-10-18 14:18:26
徐浦大桥车祸白车司机事发后蹲地上猛抽烟,他其实也非常后悔

徐浦大桥车祸白车司机事发后蹲地上猛抽烟,他其实也非常后悔

映射生活的身影
2026-10-18 11:12:44
刷到网红四哥,真是让人哭笑不得,演了两年50亿富豪,连续4个月吃老坛酸菜面

刷到网红四哥,真是让人哭笑不得,演了两年50亿富豪,连续4个月吃老坛酸菜面

喜欢历史的阿繁
2026-10-18 01:39:26
开拓者官宣裁掉索汉!新赛季14+3阵容出炉:锋线替补深度更差了

开拓者官宣裁掉索汉!新赛季14+3阵容出炉:锋线替补深度更差了

罗说NBA
2026-10-18 06:40:25
2026-10-18 15:12:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14222文章数 142748关注度
往期回顾 全部

科技要闻

王江舟院士:6G到底是不是骗局 是不是收割

头条要闻

员工仅1人的公司中标3千万项目 标书是代写对手被劝退

头条要闻

员工仅1人的公司中标3千万项目 标书是代写对手被劝退

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

曝郭麒麟与25岁知名女星已经结婚,女方回应关系

财经要闻

马斯克:美债问题只能靠AI和机器人解决

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

健康
数码
时尚
手机
军事航空

看着很健康的人,怎么会突然猝死?

数码要闻

1599元首发!拯救者27寸双模电竞屏 4K180Hz一键变360Hz

重阳寻香:一炉香,一枚囊,她们以手传香

手机要闻

唯苹果份额在增,国产全部在降,W41周怎么了?

军事要闻

乌克兰全国超15处重要能源设施遭俄袭击 泽连斯基发声

无障碍浏览 进入关怀版