网易首页 > 网易号 > 正文 申请入驻

保留画面细节!智象元一视频目标概念擦除新方法中稿ECCV 2026

0
分享至

智猩猩AI整理

智象元一投稿

文本到视频模型让人们能够用自然语言生成生动的视频,但强大的生成能力也带来了不安全内容和人物身份滥用等问题。概念擦除希望在保留模型生成能力的同时,抑制指定内容。

然而,在视频中擦除一个目标,往往还会改变周围的背景、光照和人物动作。如何让模型准确擦除不希望出现的概念,同时尽量保留原有画面?

针对这一挑战,智象元一(HiDream.ai)与中国科学技术大学团队提出了EraseSAE,将稀疏自编码器引入文本到视频扩散模型的概念擦除。该方法通过“分解—归因—擦除”流程,识别与目标概念相关的稀疏特征,并利用动态时空掩码引导局部干预,在概念擦除效果与视频内容保持之间取得了更好的平衡。研究已被ECCV 2026接收,代码现已开源。


  • 论文题目:EraseSAE: Surgical Concept Erasure in Text-to-Video Diffusion Models via Sparse Autoencoders

01

研究背景与动机

现有概念擦除方法通常通过调整文本条件、修改模型参数或干预中间特征来抑制目标内容。当这些方法应用到视频生成时,主要面临以下问题。

局部目标带来全局影响。 目标可能只出现在某几帧、某一小块区域,但全局施加的擦除操作会影响整段视频,使非目标区域也发生变化。

目标位置随生成过程变化。 扩散模型从粗略结构逐渐生成细节,同一概念的激活范围也会不断变化。固定区域的干预难以持续跟踪目标,还可能引入跨帧不一致。

EraseSAE 的解决思路是:先利用稀疏自编码器把纠缠的内部表示分解成更容易识别的稀疏特征,再找到目标概念对应的特征,并根据它们的实时响应确定干预区域。这让概念擦除同时具备语义上的选择性和空间上的局部性。

02

技术揭秘


1.分区卷积稀疏自编码器

稀疏自编码器(SAE)可以把复杂的内部激活分解成更易分析的稀疏特征。团队设计的分区卷积稀疏自编码器PConvSAE用卷积处理视频模型中间特征,保留每帧的空间布局。

PConvSAE 包含两个独立分支:上下文分支学习背景、场景布局等信息,概念分支学习目标相关的局部特征,并为不同目标划分独立通道,减少相互干扰。稀疏激活机制选出空间响应较强的少量通道,同时保留其空间分布。

训练时,模型自身的注意力机制提供目标区域的监督信号,无需额外的人工区域标注。配合区域重构、概念泄漏约束和时间一致性损失,两个分支逐步形成分工,为后续定位与擦除提供基础。

2.对比归因锁定目标特征

EraseSAE 对比是否包含目标概念的正负样本对,筛选真正与目标相关的特征。优先保留对目标响应强、明显高于其他概念与背景,并在多个正样本中稳定出现的特征。例如,擦除人物身份时,需要区分“对这个人的身份特征敏感”和“对一般人脸敏感”。归因离线完成,推理时直接使用已锁定的特征集合。

3.动态时空掩码引导局部擦除

在设定的去噪干预区间内,EraseSAE 每一步都会重新读取稀疏特征响应。上下文分支提供前景范围的线索,目标特征提供概念位置的线索,两者共同形成动态时空掩码,跟踪不同视频帧和去噪步骤中的目标区域。

随后,方法通过空间调制的无分类器引导(SM-CFG),在掩码覆盖的位置将生成结果引向安全的替代语义,掩码外则保留原始条件预测。例如,抑制人物身份时,重点改变与身份相关的局部内容,尽量保留人物动作与周围场景。

03

实验结果

1.定量结果

EraseSAE在 CogVideoX-5B 和 HunyuanVideo 上开展了裸露内容擦除与公众人物身份擦除实验,并且在大多数指标上都稳定优于现有方法。

在裸露内容擦除任务中,两个模型的检测率分别从原始模型的 28.25% 和 68.13% 降至 2.62% 和 7.13%,在论文比较的方法中均为最低。同时,EraseSAE 的 SSIM 在两个模型上也均为最优,说明较强的目标抑制没有以大范围改变画面为代价。


身份擦除实验覆盖五位公众人物。EraseSAE 在降低目标身份平均检测率的同时,获得了更高的平均 SSIM。对其余未擦除身份的保持率分别为 58.60% 和 61.50%,表明目标身份抑制与其他身份的生成能力能够得到较好的兼顾。


2.定性结果(视频+可视化图片)

(1)裸露内容擦除


(2)公众人物身份擦除


04

结语

EraseSAE 将稀疏特征分析与视频生成控制结合起来:通过 PConvSAE 分离场景上下文与目标概念,通过对比归因筛选目标特征,再用动态时空掩码约束擦除范围。实验结果表明,这一路径能够在抑制目标内容的同时,更好保留视频原有的结构与语义,为文本到视频模型的精细化安全控制提供了新的方法。

关注+星标,获取AI前沿进展与开源一线动态

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
日本八舰进入台海

日本八舰进入台海

烽火观天下
2026-10-25 11:31:05
整个国家陷入抑郁——土耳其人“祖宗乱套了”

整个国家陷入抑郁——土耳其人“祖宗乱套了”

百味朱砂
2026-10-25 11:07:54
APEC开幕在即,高市早苗向中方摊牌!谈到台湾问题,表态不简单

APEC开幕在即,高市早苗向中方摊牌!谈到台湾问题,表态不简单

徐徐道史
2026-10-25 12:31:32
恒大集团总裁夏海钧在逃

恒大集团总裁夏海钧在逃

地产微资讯
2026-10-26 08:11:27
歌手毛不易出席20多年好友婚礼致辞引争议:“虽然不是我的妻子”,但从校服到婚纱,是我生活中交集最多的人

歌手毛不易出席20多年好友婚礼致辞引争议:“虽然不是我的妻子”,但从校服到婚纱,是我生活中交集最多的人

台州交通广播
2026-10-23 17:49:45
11.2万亿!养老金没涨却传来大消息,退休人速看

11.2万亿!养老金没涨却传来大消息,退休人速看

笑熬浆糊111
2026-10-26 06:05:36
创业板指跌逾2% 下跌个股近2900只

创业板指跌逾2% 下跌个股近2900只

每日经济新闻
2026-10-26 09:43:27
疯狂啃老!42岁詹姆斯拼尽全力!布朗低迷,马克西末节超神难救主

疯狂啃老!42岁詹姆斯拼尽全力!布朗低迷,马克西末节超神难救主

Tracy的篮球博物馆
2026-10-26 10:18:30
我问了美院油画系的同学,王诗龄的绘画水平到底怎么样。同学轻轻叹气:我们最羡慕的,是她爷爷用画笔陪她长大。

我问了美院油画系的同学,王诗龄的绘画水平到底怎么样。同学轻轻叹气:我们最羡慕的,是她爷爷用画笔陪她长大。

背包旅行
2026-10-26 09:49:31
随着威尔逊9-2夺冠,最新世界排名:赵心童保住第1,小特下滑2位

随着威尔逊9-2夺冠,最新世界排名:赵心童保住第1,小特下滑2位

球场没跑道
2026-10-26 05:59:18
出生率全国垫底的黑龙江,已经3年没有主动“交卷”了

出生率全国垫底的黑龙江,已经3年没有主动“交卷”了

城市进化论
2026-10-25 12:37:25
随着中国女足3-2美国冲上第1,U17世界杯排名乱了,16强对阵如下

随着中国女足3-2美国冲上第1,U17世界杯排名乱了,16强对阵如下

侃球熊弟
2026-10-26 04:47:13
美国前总统奥巴马公开表示:特朗普的第二个任期就是两年的混乱、残忍和腐败,特朗普把美国拖入一场谁都不想要、经济代价惨重的伊朗战争

美国前总统奥巴马公开表示:特朗普的第二个任期就是两年的混乱、残忍和腐败,特朗普把美国拖入一场谁都不想要、经济代价惨重的伊朗战争

吉刻新闻
2026-10-25 10:36:13
廖碧儿承认和70岁吕礼章恋情:“很开心呀,其实男女之间最重要就是开心”

廖碧儿承认和70岁吕礼章恋情:“很开心呀,其实男女之间最重要就是开心”

韩小娱
2026-10-25 19:27:55
特斯拉电池正在颠覆所有人的预期

特斯拉电池正在颠覆所有人的预期

沙雕小琳琳
2026-10-25 17:38:50
女歌手结婚第二年丈夫去世,第三年自己遭遇车祸,经历两次开颅……如今她再度露面,吴克群泪湿眼眶:请抱抱你自己

女歌手结婚第二年丈夫去世,第三年自己遭遇车祸,经历两次开颅……如今她再度露面,吴克群泪湿眼眶:请抱抱你自己

扬子晚报
2026-10-26 09:40:35
魏莹“陪睡”案新进展:案件细节太颠覆,三方口述揭露更多内幕!

魏莹“陪睡”案新进展:案件细节太颠覆,三方口述揭露更多内幕!

莫地方
2026-10-22 10:22:36
一场121-114,让西部榜首易主!除了杜兰特,火箭赢球全靠这三点

一场121-114,让西部榜首易主!除了杜兰特,火箭赢球全靠这三点

田先生篮球
2026-10-25 13:44:15
澎湃三问问界被删稿……

澎湃三问问界被删稿……

娱乐圈的笔娱君
2026-10-25 11:29:20
80岁的卢拉成功胜选,阻击“巴西亲美”成功,但分崩离析已成定局

80岁的卢拉成功胜选,阻击“巴西亲美”成功,但分崩离析已成定局

光电科技君
2026-10-26 08:51:34
2026-10-26 11:47:00
智猩猩
智猩猩
AI 技术内容与服务平台
275文章数 15关注度
往期回顾 全部

科技要闻

K3.1 Pro发布才两天,Kimi道歉补额度!

头条要闻

梅德韦杰夫喊话特朗普:泽连斯基有"十宗罪" 危害很大

头条要闻

梅德韦杰夫喊话特朗普:泽连斯基有"十宗罪" 危害很大

体育要闻

文班、约基奇和扬尼斯各自的处境

娱乐要闻

名导尤小刚:三婚两离 64岁首次做父亲

财经要闻

全球AI产业链迎“去杠杆”,何处是底?

汽车要闻

云辇-M上车 第二代海豹07让驾驶者也能爱上的家用车

态度原创

房产
游戏
本地
公开课
军事航空

房产要闻

使用率超120%!低密纯板洋房!海口这个盘,比四代宅还猛

GameSpot评测《影之刃零》:战斗惊艳但难度失衡

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

高清大图!歼-15红蓝对抗训练最新画面

无障碍浏览 进入关怀版