网易首页 > 网易号 > 正文 申请入驻

保留画面细节!智象元一视频目标概念擦除新方法中稿ECCV 2026

0
分享至

智猩猩AI整理

智象元一投稿

文本到视频模型让人们能够用自然语言生成生动的视频,但强大的生成能力也带来了不安全内容和人物身份滥用等问题。概念擦除希望在保留模型生成能力的同时,抑制指定内容。

然而,在视频中擦除一个目标,往往还会改变周围的背景、光照和人物动作。如何让模型准确擦除不希望出现的概念,同时尽量保留原有画面?

针对这一挑战,智象元一(HiDream.ai)与中国科学技术大学团队提出了EraseSAE,将稀疏自编码器引入文本到视频扩散模型的概念擦除。该方法通过“分解—归因—擦除”流程,识别与目标概念相关的稀疏特征,并利用动态时空掩码引导局部干预,在概念擦除效果与视频内容保持之间取得了更好的平衡。研究已被ECCV 2026接收,代码现已开源。


  • 论文题目:EraseSAE: Surgical Concept Erasure in Text-to-Video Diffusion Models via Sparse Autoencoders

01

研究背景与动机

现有概念擦除方法通常通过调整文本条件、修改模型参数或干预中间特征来抑制目标内容。当这些方法应用到视频生成时,主要面临以下问题。

局部目标带来全局影响。 目标可能只出现在某几帧、某一小块区域,但全局施加的擦除操作会影响整段视频,使非目标区域也发生变化。

目标位置随生成过程变化。 扩散模型从粗略结构逐渐生成细节,同一概念的激活范围也会不断变化。固定区域的干预难以持续跟踪目标,还可能引入跨帧不一致。

EraseSAE 的解决思路是:先利用稀疏自编码器把纠缠的内部表示分解成更容易识别的稀疏特征,再找到目标概念对应的特征,并根据它们的实时响应确定干预区域。这让概念擦除同时具备语义上的选择性和空间上的局部性。

02

技术揭秘


1.分区卷积稀疏自编码器

稀疏自编码器(SAE)可以把复杂的内部激活分解成更易分析的稀疏特征。团队设计的分区卷积稀疏自编码器PConvSAE用卷积处理视频模型中间特征,保留每帧的空间布局。

PConvSAE 包含两个独立分支:上下文分支学习背景、场景布局等信息,概念分支学习目标相关的局部特征,并为不同目标划分独立通道,减少相互干扰。稀疏激活机制选出空间响应较强的少量通道,同时保留其空间分布。

训练时,模型自身的注意力机制提供目标区域的监督信号,无需额外的人工区域标注。配合区域重构、概念泄漏约束和时间一致性损失,两个分支逐步形成分工,为后续定位与擦除提供基础。

2.对比归因锁定目标特征

EraseSAE 对比是否包含目标概念的正负样本对,筛选真正与目标相关的特征。优先保留对目标响应强、明显高于其他概念与背景,并在多个正样本中稳定出现的特征。例如,擦除人物身份时,需要区分“对这个人的身份特征敏感”和“对一般人脸敏感”。归因离线完成,推理时直接使用已锁定的特征集合。

3.动态时空掩码引导局部擦除

在设定的去噪干预区间内,EraseSAE 每一步都会重新读取稀疏特征响应。上下文分支提供前景范围的线索,目标特征提供概念位置的线索,两者共同形成动态时空掩码,跟踪不同视频帧和去噪步骤中的目标区域。

随后,方法通过空间调制的无分类器引导(SM-CFG),在掩码覆盖的位置将生成结果引向安全的替代语义,掩码外则保留原始条件预测。例如,抑制人物身份时,重点改变与身份相关的局部内容,尽量保留人物动作与周围场景。

03

实验结果

1.定量结果

EraseSAE在 CogVideoX-5B 和 HunyuanVideo 上开展了裸露内容擦除与公众人物身份擦除实验,并且在大多数指标上都稳定优于现有方法。

在裸露内容擦除任务中,两个模型的检测率分别从原始模型的 28.25% 和 68.13% 降至 2.62% 和 7.13%,在论文比较的方法中均为最低。同时,EraseSAE 的 SSIM 在两个模型上也均为最优,说明较强的目标抑制没有以大范围改变画面为代价。


身份擦除实验覆盖五位公众人物。EraseSAE 在降低目标身份平均检测率的同时,获得了更高的平均 SSIM。对其余未擦除身份的保持率分别为 58.60% 和 61.50%,表明目标身份抑制与其他身份的生成能力能够得到较好的兼顾。


2.定性结果(视频+可视化图片)

(1)裸露内容擦除


(2)公众人物身份擦除


04

结语

EraseSAE 将稀疏特征分析与视频生成控制结合起来:通过 PConvSAE 分离场景上下文与目标概念,通过对比归因筛选目标特征,再用动态时空掩码约束擦除范围。实验结果表明,这一路径能够在抑制目标内容的同时,更好保留视频原有的结构与语义,为文本到视频模型的精细化安全控制提供了新的方法。

关注+星标,获取AI前沿进展与开源一线动态

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
46岁董璇脸上有岁月痕迹,她携小丈夫参加活动,两人手牵手好恩爱

46岁董璇脸上有岁月痕迹,她携小丈夫参加活动,两人手牵手好恩爱

看尽落尘花q
2026-10-25 16:24:23
杀妻、分尸、抛尸黄河边:合阳杀妻分尸案的家庭伦理悲剧

杀妻、分尸、抛尸黄河边:合阳杀妻分尸案的家庭伦理悲剧

喜马故事会
2026-10-25 18:00:45
一屋子名流看着她被拖进洗手间:比坏人更可怕的,是满屋子的沉默

一屋子名流看着她被拖进洗手间:比坏人更可怕的,是满屋子的沉默

Xww
2026-10-25 14:52:05
黄泽林官宣分手仅10天,被曝和港星谭旻萱球场热恋,亲密细节曝光

黄泽林官宣分手仅10天,被曝和港星谭旻萱球场热恋,亲密细节曝光

观鱼听雨
2026-10-25 23:49:29
毛不易婚礼上致辞,炫耀和新娘曾共处一室还伺候他,新郎脸色铁青

毛不易婚礼上致辞,炫耀和新娘曾共处一室还伺候他,新郎脸色铁青

娱说瑜悦
2026-10-23 13:47:29
发现一个奇怪现象:乡镇卫生院除了没有病人,真的其他什么都有?

发现一个奇怪现象:乡镇卫生院除了没有病人,真的其他什么都有?

青史卷中人
2026-10-26 01:38:41
“为无休止的屠杀下地狱吧”:马斯克回应泽连斯基对星链限速

“为无休止的屠杀下地狱吧”:马斯克回应泽连斯基对星链限速

阿尔卑斯瞭望
2026-10-25 18:06:35
“好好学习吧,令爱的长相走不了这条路!”家长晒艺术照,心态崩了!

“好好学习吧,令爱的长相走不了这条路!”家长晒艺术照,心态崩了!

林林先生
2026-10-21 18:10:25
54.4%中间票倒戈!蒋万安被反超,蓝营全线崩盘,选情一夜变天!

54.4%中间票倒戈!蒋万安被反超,蓝营全线崩盘,选情一夜变天!

老范谈史
2026-10-25 10:27:02
徐冬冬晒老公镜头下的自己,被网友评 “虎背熊腰”,其霸气回应:是标准体重,壮是健康的形象

徐冬冬晒老公镜头下的自己,被网友评 “虎背熊腰”,其霸气回应:是标准体重,壮是健康的形象

都市快报橙柿互动
2026-10-25 21:03:13
尴尬!蓉城巨型TIFO出现巨大失误:成都球迷“梦见”大连英博夺冠

尴尬!蓉城巨型TIFO出现巨大失误:成都球迷“梦见”大连英博夺冠

念洲
2026-10-26 08:33:38
11.2万亿!养老金没涨却传来大消息,退休人速看

11.2万亿!养老金没涨却传来大消息,退休人速看

笑熬浆糊111
2026-10-26 06:05:36
当不成巴西总统?博索纳罗对华表态激起千层浪,头号敌人还有底牌

当不成巴西总统?博索纳罗对华表态激起千层浪,头号敌人还有底牌

经纬戎韬
2026-10-15 00:15:02
皇马2-1巴塞罗那 姆巴佩双响

皇马2-1巴塞罗那 姆巴佩双响

上游新闻
2026-10-26 10:10:12
蔡康永否认台独沈玉琳发声力挺,曝其财富自由够普通人花两三辈子

蔡康永否认台独沈玉琳发声力挺,曝其财富自由够普通人花两三辈子

开开森森
2026-10-26 10:04:41
太不讲理了!施罗德刷爆NBA79年绝无仅有纪录,真被他做到了!

太不讲理了!施罗德刷爆NBA79年绝无仅有纪录,真被他做到了!

畅评篮球
2026-10-25 18:27:58
曝曼联决定解雇45岁卡里克!后者明确拒绝辞职 高层正召开紧急会议

曝曼联决定解雇45岁卡里克!后者明确拒绝辞职 高层正召开紧急会议

风过乡
2026-10-26 05:45:35
争冠判官?鲁媒:山东泰山没义务阻击蓉城,不准韦世豪在济南捧杯

争冠判官?鲁媒:山东泰山没义务阻击蓉城,不准韦世豪在济南捧杯

无月可归辛
2026-10-25 13:01:41
悲催!网传有多名汽车经销商老板移民海外远程操盘,结果接连爆雷,网友:以为凭实力赚的,其实是时代的红利

悲催!网传有多名汽车经销商老板移民海外远程操盘,结果接连爆雷,网友:以为凭实力赚的,其实是时代的红利

火山詩话
2026-10-25 08:08:42
马媒看中国76毫米自行高炮:备弹仅49发,最多只能进行十几次拦截

马媒看中国76毫米自行高炮:备弹仅49发,最多只能进行十几次拦截

陶慕剑地球观察
2026-10-25 18:26:33
2026-10-26 10:44:49
智猩猩
智猩猩
AI 技术内容与服务平台
274文章数 15关注度
往期回顾 全部

科技要闻

K3.1 Pro发布才两天,Kimi道歉补额度!

头条要闻

梅德韦杰夫喊话特朗普:泽连斯基有"十宗罪" 危害很大

头条要闻

梅德韦杰夫喊话特朗普:泽连斯基有"十宗罪" 危害很大

体育要闻

文班、约基奇和扬尼斯各自的处境

娱乐要闻

名导尤小刚:三婚两离 64岁首次做父亲

财经要闻

全球AI产业链迎“去杠杆”,何处是底?

汽车要闻

云辇-M上车 第二代海豹07让驾驶者也能爱上的家用车

态度原创

艺术
旅游
健康
教育
数码

艺术要闻

家底丰厚的贵公子,最后散尽千金,留给民族无价珍宝

旅游要闻

逛农高盛会 览乡村新颜 第19届陕西乡村旅游展亮相杨凌农高会

痘痘能根治吗?皮肤科医生说实话

教育要闻

综合素质评价:初一不填、初三慌死——三年素材怎么归档才不抓瞎

数码要闻

铁三角发布旗舰木碗耳机ATH-AWX7000,定价3799美元

无障碍浏览 进入关怀版