网易首页 > 网易号 > 正文 申请入驻

CVPR 2026 | 拒绝堆算力,vivo开源首个4K超高清编辑数据集VINS-120K

0
分享至

针对4K图像编辑中数据匮乏与细节建模的难题,vivo发布首个指令式超高分辨率编辑数据集 VINS-120K(含12万组精选4K三元组)。此外,还提出了一种高频感知适配策略,将预训练的低分辨率模型有效扩展至超高分辨率(UHR)领域,并配套构建了评测基准 VINS-4KEval。显著提升图像编辑细节与纹理真实感。



论文名称: VINS-120K: Ultra High-Resolution Image Editing with A Large-Scale Dataset 论文链接: https://arxiv.org/pdf/2605.23518 代码仓库: https://huggingface.co/datasets/openvivo/VINS-120K
一、研究背景:图像编辑模型的分辨率瓶颈

当前主流指令编辑模型大多工作在 <=1024 分辨率。在手机拍摄图像已迈入 4K 时代的背景下,直接处理 4096x4096 输入时,常见退化包括结构不稳定、语义偏移,难以满足电影工业修帧、商业广告设计、社交媒体分发等真实场景对编辑精准、细节真实的双重要求。

直观的替代流程是 “下采样 -> 编辑 -> 上采样”。该流程虽可运行,但存在明确上限:降采样阶段丢失的高频信息很难在后续超分中被真实恢复,最终影响细节真实性,往往还伴随着指令遵循度下降的问题。

论文将 UHR 编辑瓶颈归纳以下两点:

  • 缺少大规模、高质量 UHR 指令编辑数据。

  • NHR 预训练模型在长序列与高频细节建模上不稳定。

图1:论文的方法与Kontext编辑下采样后的4K图像再超分的视觉对比

二、数据支撑:VINS-120K 与 VINS-4KEval

为了填平底层架构与 4K 需求之间的鸿沟,论文正式提出了 VINS-120K ,它包含 12 万组 精心筛选的 “指令-输入图-编辑图” 三元组,横跨 4 大类共 13 种编辑类型,平均分辨率高达 4656 x 4138。


图2:VINS-120K的编辑类型分布与可视化


  • 在数据源上采用了互补制备策略:25K 原生超高清视频帧对 + 95K 外部编辑数据补充。前者用于从真实世界保留精细纹理与自然变化,后者用于补齐难以真实获取的长尾编辑类型,避免模型只擅长少数任务。

  • 在标注上引入了视觉语言模型Gemini-2.5-Pro,进行“先全局再局部”的结构化推理生成指令,并加入自反思机制,把图像变化转成可执行、可评估的编辑指令。

  • 在质量控制上,采用严格的四阶段过滤:文件有效性、图像质量、指令一致性、美学质量。最终保留前 20% 样本,确保训练信号稳定且高质量。

图3:VINS-120K数据筛选流程示意图

评测基准VINS-4KEval 含 509 个 4K 测试样本,覆盖同分布的 13 类编辑任务,用于统一评估 UHR 条件下的编辑能力和细节保真。

三、核心方法:高频感知后适应策略

相比于耗费大量算力重新训练 4K 编辑基座模型,论文基于 VINS-120K 提出了一种高频感知后适应策略,将现有 NHR 编辑器稳定迁移到 UHR场景。方法主要针对两大挑战:

  • 4K 场景下 token 序列长度远超预训练设置,注意力和位置编码容易失稳。

  • 常规训练目标对高频细节关注不够,4K 场景下的精细纹理的保留与生成仍有较大提升空间。

3.1 长序列泛化(Long-Token-Sequence Generalization)

分辨率从 1K 升到 4K 后,token 序列显著变长,常见问题是注意力分布出现“熵漂移”(过度平滑、目标区域不聚焦) 以及 RoPE 外推失稳带来的语义漂移。论文用两步修正:

1. 注意力分数重缩放:引入与分辨率挂钩的温度参数 重新缩放注意力分数(Rescaling Attention Score),让长序列场景下的注意力重新变得有区分度,提升目标区域定位能力。


2. RoPE 重缩放:将更长序列的位置编码压缩回预训练相对熟悉的范围(缩放频率基数 ),降低长上下文外推失效风险。


3.2 频域聚焦监督(Frequency-Focused Supervision, FFS)

仅有长序列修正尚不足以保证 UHR 编辑的细节保真度。论文在标准流匹配损失之外引入频域监督:


其核心在于动态加权:早期去噪阶段抑制高频噪声放大,后期逐步增强高频约束,以恢复毛发、纹理、边缘等细节。 代表离散傅里叶变换后的频谱差异。

四、实验评估

论文基于 Flux.1-Kontext-dev 在 VINS-120K 上进行后适应训练。与现有的主流开源模型(Step1X-Edit, Bagel, Flux.1-Kontext-dev等)以及支持 4K 的闭源商业模型 Seedream 4.0 在 VINS-4KEval 进行系统比较。主评测采用 ImageJudge、VIEScore 和 pFID 三类指标,主要评估编辑能力和细节保真度。核心结果可以概括为三点:

  • Flux.1-Kontext-dev 适配后 pFID: 12.66 -> 9.15,细节保真度显著增强,明显优于现有主流方法。

  • ImageJudge / VIEScore 评估的编辑能力基本持平,说明细节提升不是靠明显牺牲编辑能力换来的。

  • 与 Seedream 4.0 对比时,本文方法在 pFID 上更优(9.15 vs 12.82),但编辑能力分数上 Seedream 仍更高。

表1:论文的方法与主流基线在VINS-120K上的定量比较

在视觉对比上,论文的模型在全局和局部编辑任务中,都展现了更好的边缘清晰度和细节保真度:


图4:论文的方法与主流基线的定性比较

与闭源模型 Seedream 4.0 的可视化对比:


图5:论文的方法与Seedream 4.0的定性比较

消融结果说明最终收益来自“数据构建 + 方法设计”的协同:

  • 从可视化中可以发现,注意力分数重缩放(attention score rescaling)能够使注意力图在目标编辑区域上表现出更具判别性的响应,增强语义遵循度;RoPE重缩放能明显缓解语义漂移和局部重复的现象。去除后适应会出现明显整体退化,说明 UHR 迁移不能靠简单放大分辨率。

  • 去掉数据集的制备和严格筛选,整体性能也会下降,说明数据质量和任务覆盖同样关键。

  • 只用真实视频帧对会得到更低 pFID,但编辑能力略弱,反映出真实性与编辑任务覆盖度之间的权衡需求。

表2:更多消融实验和评估图6:注意力重缩放的消融可视化图7:RoPE重缩放的可视化

泛化方面也给出了积极信号在 QwenImage-Edit-2511 上无需重调即可把 pFID 从 18.33 降到 11.38,且与基线保持了相当的编辑能力,定性结果如下:


图8:QwenImage-Edit-2511在VINS-120K上进行后适应训练的定性结果 五、总结

VINS-120K 与高频感知后适配策略的提出,有效填补了 AI 图像编辑模型与现代高清显示/采集设备之间的鸿沟,为现有 NHR 编辑模型提供了一条更具落地价值的 UHR 迁移路径。从此,对超高清图像进行编辑拥有了无需画质的降级的可行方案。

Illustration From IconScout By IconScout Store

-The End-

本周上新!

扫码观看!

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章,并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信(aceyiming)投稿,沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com


点击右上角,把文章分享到朋友圈

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
演员童瑶发文告别

演员童瑶发文告别

背包旅行
2026-10-16 11:55:16
央视除名、被大佬睡出位、靠肉体换资源?方琼秘闻多炸裂

央视除名、被大佬睡出位、靠肉体换资源?方琼秘闻多炸裂

地球记
2026-10-14 19:09:51
天王嫂方媛晒健身照,高马尾配健身装展露身材,哪里像仨孩子的妈

天王嫂方媛晒健身照,高马尾配健身装展露身材,哪里像仨孩子的妈

孤城落日
2026-11-07 23:18:46
“这楼道,能臭晕外卖员!”初中女孩上学一幕火了,家长被喷素质低下

“这楼道,能臭晕外卖员!”初中女孩上学一幕火了,家长被喷素质低下

妍妍教育日记
2026-11-04 22:48:23
跟子女相处:讲道理是下策,闭嘴是中策,上策你绝对想不到

跟子女相处:讲道理是下策,闭嘴是中策,上策你绝对想不到

小影的娱乐
2026-11-08 05:47:03
和戚薇分开15年后,他在上海开店卖生煎,如今欠债1210万成了老赖

和戚薇分开15年后,他在上海开店卖生煎,如今欠债1210万成了老赖

林轻吟
2026-11-10 10:02:11
视频会员看剧时突然出现巨大弹幕广告,“占满1/3屏幕,持续近10秒”;优酷回应:可以快进或自行关闭

视频会员看剧时突然出现巨大弹幕广告,“占满1/3屏幕,持续近10秒”;优酷回应:可以快进或自行关闭

大风新闻
2026-11-07 13:40:02
黄仁勋发文承认婚外情:没有任何借口!英伟达董事会已宣布启动独立调查,女儿此前突然取消韩国行称“家庭原因”

黄仁勋发文承认婚外情:没有任何借口!英伟达董事会已宣布启动独立调查,女儿此前突然取消韩国行称“家庭原因”

新民周刊
2026-11-09 11:16:26
王炸!武汉首座万象天地开业在即!

王炸!武汉首座万象天地开业在即!

越乔
2026-11-09 22:11:57
伊朗向美发出48小时最后通牒:要么结束战斗,要么全面开战

伊朗向美发出48小时最后通牒:要么结束战斗,要么全面开战

创微视角
2026-11-09 20:56:30
台湾2026县市长选举结果预测:国民党最好战绩17席,最差保住12席

台湾2026县市长选举结果预测:国民党最好战绩17席,最差保住12席

一路荒凉如歌a
2026-11-10 04:10:15
被骂最惨的上海枢纽!常年堵车像工地,如今将重磅升级,彻底翻盘

被骂最惨的上海枢纽!常年堵车像工地,如今将重磅升级,彻底翻盘

小蜜情感说
2026-11-10 02:24:14
回老家住了一个月才明白:为什么农村越来越多父母,宁愿儿子打光棍,也不负债娶媳妇

回老家住了一个月才明白:为什么农村越来越多父母,宁愿儿子打光棍,也不负债娶媳妇

小马达情感故事
2026-11-08 17:35:14
【反诈宣传】快递员发现到付包裹竟要收2万元,立马报警!他说:收件人是85岁独居老人,让他起了疑

【反诈宣传】快递员发现到付包裹竟要收2万元,立马报警!他说:收件人是85岁独居老人,让他起了疑

新浪财经
2026-11-09 18:53:02
国乒动手了!官方群全解散,莎莎五个“不”,饭圈一夜回到解放前

国乒动手了!官方群全解散,莎莎五个“不”,饭圈一夜回到解放前

郭蛹包工头
2026-10-21 11:03:22
利拉德和阿夫迪亚抢着给中国中锋杨瀚森喂球,他有什么特别?

利拉德和阿夫迪亚抢着给中国中锋杨瀚森喂球,他有什么特别?

主宰稳场
2026-11-10 04:04:53
中国“捡钱”时代或将来临:如果手中只有10万,试试死啃这两条线

中国“捡钱”时代或将来临:如果手中只有10万,试试死啃这两条线

米老鼠的世界
2026-08-26 14:20:23
支持率仅剩4.3%!自知提前出局后,郑丽文拟为两岸关系上一道锁

支持率仅剩4.3%!自知提前出局后,郑丽文拟为两岸关系上一道锁

青春染指红颜梦
2026-09-02 17:50:13
商鞅为什么害怕百姓太有钱?

商鞅为什么害怕百姓太有钱?

熊倌儿
2026-11-08 22:06:30
开拓者主帅公开表态,杨瀚森12+10两双只是起点

开拓者主帅公开表态,杨瀚森12+10两双只是起点

涵有话说
2026-11-10 09:17:26
2026-11-10 10:51:00
将门创投 incentive-icons
将门创投
加速及投资技术驱动型初创企业
2538文章数 597关注度
往期回顾 全部

科技要闻

黄仁勋承认出轨:伤害了妻儿,毫无借口

头条要闻

牛弹琴:果然是一场闹剧 这个世界就没有特朗普做不到

头条要闻

牛弹琴:果然是一场闹剧 这个世界就没有特朗普做不到

体育要闻

大连足球这些年的起落,都从他身边经过

娱乐要闻

黄仁勋与黄乐合照曝光,吃饭氛围暧昧

财经要闻

72岁王健林重回“一号位”

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

艺术
本地
旅游
时尚
公开课

艺术要闻

17位 国外画家笔下的女子

本地新闻

乌兰察布:以前种土豆,现在种Token

旅游要闻

直播间低价旅游卡兑现难 文旅消费陷阱如何破?

蓝色+灰色、绿色+棕色,今年穿4组配色好看又减龄!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版