针对4K图像编辑中数据匮乏与细节建模的难题,vivo发布首个指令式超高分辨率编辑数据集 VINS-120K(含12万组精选4K三元组)。此外,还提出了一种高频感知适配策略,将预训练的低分辨率模型有效扩展至超高分辨率(UHR)领域,并配套构建了评测基准 VINS-4KEval。显著提升图像编辑细节与纹理真实感。
![]()
论文名称: VINS-120K: Ultra High-Resolution Image Editing with A Large-Scale Dataset 论文链接: https://arxiv.org/pdf/2605.23518 代码仓库: https://huggingface.co/datasets/openvivo/VINS-120K一、研究背景:图像编辑模型的分辨率瓶颈
当前主流指令编辑模型大多工作在 <=1024 分辨率。在手机拍摄图像已迈入 4K 时代的背景下,直接处理 4096x4096 输入时,常见退化包括结构不稳定、语义偏移,难以满足电影工业修帧、商业广告设计、社交媒体分发等真实场景对编辑精准、细节真实的双重要求。
直观的替代流程是 “下采样 -> 编辑 -> 上采样”。该流程虽可运行,但存在明确上限:降采样阶段丢失的高频信息很难在后续超分中被真实恢复,最终影响细节真实性,往往还伴随着指令遵循度下降的问题。
论文将 UHR 编辑瓶颈归纳以下两点:
缺少大规模、高质量 UHR 指令编辑数据。
NHR 预训练模型在长序列与高频细节建模上不稳定。
二、数据支撑:VINS-120K 与 VINS-4KEval
为了填平底层架构与 4K 需求之间的鸿沟,论文正式提出了 VINS-120K ,它包含 12 万组 精心筛选的 “指令-输入图-编辑图” 三元组,横跨 4 大类共 13 种编辑类型,平均分辨率高达 4656 x 4138。
![]()
图2:VINS-120K的编辑类型分布与可视化
在数据源上采用了互补制备策略:25K 原生超高清视频帧对 + 95K 外部编辑数据补充。前者用于从真实世界保留精细纹理与自然变化,后者用于补齐难以真实获取的长尾编辑类型,避免模型只擅长少数任务。
在标注上引入了视觉语言模型Gemini-2.5-Pro,进行“先全局再局部”的结构化推理生成指令,并加入自反思机制,把图像变化转成可执行、可评估的编辑指令。
在质量控制上,采用严格的四阶段过滤:文件有效性、图像质量、指令一致性、美学质量。最终保留前 20% 样本,确保训练信号稳定且高质量。
评测基准VINS-4KEval 含 509 个 4K 测试样本,覆盖同分布的 13 类编辑任务,用于统一评估 UHR 条件下的编辑能力和细节保真。
三、核心方法:高频感知后适应策略
相比于耗费大量算力重新训练 4K 编辑基座模型,论文基于 VINS-120K 提出了一种高频感知后适应策略,将现有 NHR 编辑器稳定迁移到 UHR场景。方法主要针对两大挑战:
4K 场景下 token 序列长度远超预训练设置,注意力和位置编码容易失稳。
常规训练目标对高频细节关注不够,4K 场景下的精细纹理的保留与生成仍有较大提升空间。
分辨率从 1K 升到 4K 后,token 序列显著变长,常见问题是注意力分布出现“熵漂移”(过度平滑、目标区域不聚焦) 以及 RoPE 外推失稳带来的语义漂移。论文用两步修正:
1. 注意力分数重缩放:引入与分辨率挂钩的温度参数 重新缩放注意力分数(Rescaling Attention Score),让长序列场景下的注意力重新变得有区分度,提升目标区域定位能力。
![]()
2. RoPE 重缩放:将更长序列的位置编码压缩回预训练相对熟悉的范围(缩放频率基数 ),降低长上下文外推失效风险。
![]()
3.2 频域聚焦监督(Frequency-Focused Supervision, FFS)
仅有长序列修正尚不足以保证 UHR 编辑的细节保真度。论文在标准流匹配损失之外引入频域监督:
![]()
其核心在于动态加权:早期去噪阶段抑制高频噪声放大,后期逐步增强高频约束,以恢复毛发、纹理、边缘等细节。 代表离散傅里叶变换后的频谱差异。
四、实验评估
论文基于 Flux.1-Kontext-dev 在 VINS-120K 上进行后适应训练。与现有的主流开源模型(Step1X-Edit, Bagel, Flux.1-Kontext-dev等)以及支持 4K 的闭源商业模型 Seedream 4.0 在 VINS-4KEval 进行系统比较。主评测采用 ImageJudge、VIEScore 和 pFID 三类指标,主要评估编辑能力和细节保真度。核心结果可以概括为三点:
Flux.1-Kontext-dev 适配后 pFID: 12.66 -> 9.15,细节保真度显著增强,明显优于现有主流方法。
ImageJudge / VIEScore 评估的编辑能力基本持平,说明细节提升不是靠明显牺牲编辑能力换来的。
与 Seedream 4.0 对比时,本文方法在 pFID 上更优(9.15 vs 12.82),但编辑能力分数上 Seedream 仍更高。
在视觉对比上,论文的模型在全局和局部编辑任务中,都展现了更好的边缘清晰度和细节保真度:
![]()
图4:论文的方法与主流基线的定性比较
与闭源模型 Seedream 4.0 的可视化对比:
![]()
图5:论文的方法与Seedream 4.0的定性比较
消融结果说明最终收益来自“数据构建 + 方法设计”的协同:
从可视化中可以发现,注意力分数重缩放(attention score rescaling)能够使注意力图在目标编辑区域上表现出更具判别性的响应,增强语义遵循度;RoPE重缩放能明显缓解语义漂移和局部重复的现象。去除后适应会出现明显整体退化,说明 UHR 迁移不能靠简单放大分辨率。
去掉数据集的制备和严格筛选,整体性能也会下降,说明数据质量和任务覆盖同样关键。
只用真实视频帧对会得到更低 pFID,但编辑能力略弱,反映出真实性与编辑任务覆盖度之间的权衡需求。
泛化方面也给出了积极信号在 QwenImage-Edit-2511 上无需重调即可把 pFID 从 18.33 降到 11.38,且与基线保持了相当的编辑能力,定性结果如下:
![]()
图8:QwenImage-Edit-2511在VINS-120K上进行后适应训练的定性结果 五、总结
VINS-120K 与高频感知后适配策略的提出,有效填补了 AI 图像编辑模型与现代高清显示/采集设备之间的鸿沟,为现有 NHR 编辑模型提供了一条更具落地价值的 UHR 迁移路径。从此,对超高清图像进行编辑拥有了无需画质的降级的可行方案。
Illustration From IconScout By IconScout Store
-The End-
本周上新!
扫码观看!
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章,并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励
投稿方式
发送邮件到
yimingzhang@thejiangmen.com
或添加工作人员微信(aceyiming)投稿,沟通投稿详情
关于我“门”
将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。
将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。
如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:
bp@thejiangmen.com
![]()
点击右上角,把文章分享到朋友圈
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.