网易首页 > 网易号 > 正文 申请入驻

CVPR 2026 | 拒绝堆算力,vivo开源首个4K超高清编辑数据集VINS-120K

0
分享至

针对4K图像编辑中数据匮乏与细节建模的难题,vivo发布首个指令式超高分辨率编辑数据集 VINS-120K(含12万组精选4K三元组)。此外,还提出了一种高频感知适配策略,将预训练的低分辨率模型有效扩展至超高分辨率(UHR)领域,并配套构建了评测基准 VINS-4KEval。显著提升图像编辑细节与纹理真实感。



论文名称: VINS-120K: Ultra High-Resolution Image Editing with A Large-Scale Dataset 论文链接: https://arxiv.org/pdf/2605.23518 代码仓库: https://huggingface.co/datasets/openvivo/VINS-120K
一、研究背景:图像编辑模型的分辨率瓶颈

当前主流指令编辑模型大多工作在 <=1024 分辨率。在手机拍摄图像已迈入 4K 时代的背景下,直接处理 4096x4096 输入时,常见退化包括结构不稳定、语义偏移,难以满足电影工业修帧、商业广告设计、社交媒体分发等真实场景对编辑精准、细节真实的双重要求。

直观的替代流程是 “下采样 -> 编辑 -> 上采样”。该流程虽可运行,但存在明确上限:降采样阶段丢失的高频信息很难在后续超分中被真实恢复,最终影响细节真实性,往往还伴随着指令遵循度下降的问题。

论文将 UHR 编辑瓶颈归纳以下两点:

  • 缺少大规模、高质量 UHR 指令编辑数据。

  • NHR 预训练模型在长序列与高频细节建模上不稳定。

图1:论文的方法与Kontext编辑下采样后的4K图像再超分的视觉对比

二、数据支撑:VINS-120K 与 VINS-4KEval

为了填平底层架构与 4K 需求之间的鸿沟,论文正式提出了 VINS-120K ,它包含 12 万组 精心筛选的 “指令-输入图-编辑图” 三元组,横跨 4 大类共 13 种编辑类型,平均分辨率高达 4656 x 4138。


图2:VINS-120K的编辑类型分布与可视化


  • 在数据源上采用了互补制备策略:25K 原生超高清视频帧对 + 95K 外部编辑数据补充。前者用于从真实世界保留精细纹理与自然变化,后者用于补齐难以真实获取的长尾编辑类型,避免模型只擅长少数任务。

  • 在标注上引入了视觉语言模型Gemini-2.5-Pro,进行“先全局再局部”的结构化推理生成指令,并加入自反思机制,把图像变化转成可执行、可评估的编辑指令。

  • 在质量控制上,采用严格的四阶段过滤:文件有效性、图像质量、指令一致性、美学质量。最终保留前 20% 样本,确保训练信号稳定且高质量。

图3:VINS-120K数据筛选流程示意图

评测基准VINS-4KEval 含 509 个 4K 测试样本,覆盖同分布的 13 类编辑任务,用于统一评估 UHR 条件下的编辑能力和细节保真。

三、核心方法:高频感知后适应策略

相比于耗费大量算力重新训练 4K 编辑基座模型,论文基于 VINS-120K 提出了一种高频感知后适应策略,将现有 NHR 编辑器稳定迁移到 UHR场景。方法主要针对两大挑战:

  • 4K 场景下 token 序列长度远超预训练设置,注意力和位置编码容易失稳。

  • 常规训练目标对高频细节关注不够,4K 场景下的精细纹理的保留与生成仍有较大提升空间。

3.1 长序列泛化(Long-Token-Sequence Generalization)

分辨率从 1K 升到 4K 后,token 序列显著变长,常见问题是注意力分布出现“熵漂移”(过度平滑、目标区域不聚焦) 以及 RoPE 外推失稳带来的语义漂移。论文用两步修正:

1. 注意力分数重缩放:引入与分辨率挂钩的温度参数 重新缩放注意力分数(Rescaling Attention Score),让长序列场景下的注意力重新变得有区分度,提升目标区域定位能力。


2. RoPE 重缩放:将更长序列的位置编码压缩回预训练相对熟悉的范围(缩放频率基数 ),降低长上下文外推失效风险。


3.2 频域聚焦监督(Frequency-Focused Supervision, FFS)

仅有长序列修正尚不足以保证 UHR 编辑的细节保真度。论文在标准流匹配损失之外引入频域监督:


其核心在于动态加权:早期去噪阶段抑制高频噪声放大,后期逐步增强高频约束,以恢复毛发、纹理、边缘等细节。 代表离散傅里叶变换后的频谱差异。

四、实验评估

论文基于 Flux.1-Kontext-dev 在 VINS-120K 上进行后适应训练。与现有的主流开源模型(Step1X-Edit, Bagel, Flux.1-Kontext-dev等)以及支持 4K 的闭源商业模型 Seedream 4.0 在 VINS-4KEval 进行系统比较。主评测采用 ImageJudge、VIEScore 和 pFID 三类指标,主要评估编辑能力和细节保真度。核心结果可以概括为三点:

  • Flux.1-Kontext-dev 适配后 pFID: 12.66 -> 9.15,细节保真度显著增强,明显优于现有主流方法。

  • ImageJudge / VIEScore 评估的编辑能力基本持平,说明细节提升不是靠明显牺牲编辑能力换来的。

  • 与 Seedream 4.0 对比时,本文方法在 pFID 上更优(9.15 vs 12.82),但编辑能力分数上 Seedream 仍更高。

表1:论文的方法与主流基线在VINS-120K上的定量比较

在视觉对比上,论文的模型在全局和局部编辑任务中,都展现了更好的边缘清晰度和细节保真度:


图4:论文的方法与主流基线的定性比较

与闭源模型 Seedream 4.0 的可视化对比:


图5:论文的方法与Seedream 4.0的定性比较

消融结果说明最终收益来自“数据构建 + 方法设计”的协同:

  • 从可视化中可以发现,注意力分数重缩放(attention score rescaling)能够使注意力图在目标编辑区域上表现出更具判别性的响应,增强语义遵循度;RoPE重缩放能明显缓解语义漂移和局部重复的现象。去除后适应会出现明显整体退化,说明 UHR 迁移不能靠简单放大分辨率。

  • 去掉数据集的制备和严格筛选,整体性能也会下降,说明数据质量和任务覆盖同样关键。

  • 只用真实视频帧对会得到更低 pFID,但编辑能力略弱,反映出真实性与编辑任务覆盖度之间的权衡需求。

表2:更多消融实验和评估图6:注意力重缩放的消融可视化图7:RoPE重缩放的可视化

泛化方面也给出了积极信号在 QwenImage-Edit-2511 上无需重调即可把 pFID 从 18.33 降到 11.38,且与基线保持了相当的编辑能力,定性结果如下:


图8:QwenImage-Edit-2511在VINS-120K上进行后适应训练的定性结果 五、总结

VINS-120K 与高频感知后适配策略的提出,有效填补了 AI 图像编辑模型与现代高清显示/采集设备之间的鸿沟,为现有 NHR 编辑模型提供了一条更具落地价值的 UHR 迁移路径。从此,对超高清图像进行编辑拥有了无需画质的降级的可行方案。

Illustration From IconScout By IconScout Store

-The End-

本周上新!

扫码观看!

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章,并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信(aceyiming)投稿,沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com


点击右上角,把文章分享到朋友圈

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
杭州临平发生刑案致2死,嫌犯畏罪自杀,涉事别墅区物业:推测嫌疑人跟随业主进入小区;周边商户:一名死者30岁左右,平时对人很客气

杭州临平发生刑案致2死,嫌犯畏罪自杀,涉事别墅区物业:推测嫌疑人跟随业主进入小区;周边商户:一名死者30岁左右,平时对人很客气

台州交通广播
2026-11-10 02:09:01
两人已拍拖多年,早被监听发现,事发后黄仁勋很果断,黄乐很聪明

两人已拍拖多年,早被监听发现,事发后黄仁勋很果断,黄乐很聪明

朗威谈星座
2026-11-09 20:50:54
黄仁勋为了业绩都跟客户睡觉了,我们为什么不可以?

黄仁勋为了业绩都跟客户睡觉了,我们为什么不可以?

News脑洞
2026-11-09 15:22:46
蓉城回成都!大巴接机+红毯铺地,球员有说有笑,球迷:欢迎亚军

蓉城回成都!大巴接机+红毯铺地,球员有说有笑,球迷:欢迎亚军

二疯说球
2026-11-09 22:18:35
再见了,陈坤,再见了,黄晓明,中国演艺圈迎“新四大小生”时代

再见了,陈坤,再见了,黄晓明,中国演艺圈迎“新四大小生”时代

皮皮电影
2026-11-09 09:26:00
湖南湘潭一女子买早餐时余额不足,银行卡里近26万不翼而飞,当事人:短信提醒被取消,余额六天内分多笔被转走,银行:疑遭电诈,建议报案

湖南湘潭一女子买早餐时余额不足,银行卡里近26万不翼而飞,当事人:短信提醒被取消,余额六天内分多笔被转走,银行:疑遭电诈,建议报案

台州交通广播
2026-11-10 08:38:36
乒协公布混团世界杯参赛名单

乒协公布混团世界杯参赛名单

界面新闻
2026-11-10 09:38:12
莫斯科“中国城”等地数百年轻人被捕!还收到征兵传票

莫斯科“中国城”等地数百年轻人被捕!还收到征兵传票

项鹏飞
2026-11-09 19:20:37
一通电话叫来黄仁勋,黄乐到底是谁?

一通电话叫来黄仁勋,黄乐到底是谁?

凤凰网财经
2026-11-10 00:03:02
石破天惊的发现,中国汉字已正式推至7000年前,别再纠结夏朝了

石破天惊的发现,中国汉字已正式推至7000年前,别再纠结夏朝了

小豫讲故事
2026-11-09 12:10:25
特朗普质疑中期选举公正性:部分提前投票的批量票源规模大到离谱,无论多少人去现场投票,都根本不可能翻盘,问题全都出在投票机器上

特朗普质疑中期选举公正性:部分提前投票的批量票源规模大到离谱,无论多少人去现场投票,都根本不可能翻盘,问题全都出在投票机器上

极目新闻
2026-11-10 07:38:51
搬家公司9公里收费13900元,不给钱就扣货,威胁“你家就在这跑不掉”……警方打掉两个家族式“套路搬”团伙,近百人落网

搬家公司9公里收费13900元,不给钱就扣货,威胁“你家就在这跑不掉”……警方打掉两个家族式“套路搬”团伙,近百人落网

封面新闻
2026-11-09 16:20:46
黄乐是怎么被盯上的?从一箱没拆封的英伟达芯片说起

黄乐是怎么被盯上的?从一箱没拆封的英伟达芯片说起

迷世书童
2026-11-09 15:19:32
黄克诚带队转移,发现警卫员总走在最前,想起侦察员那句提醒

黄克诚带队转移,发现警卫员总走在最前,想起侦察员那句提醒

纪史行者
2026-11-08 08:10:16
女子和情夫山上发生关系,嫌情夫不肯开房太小气,两人吵起来,女子再次被发现身上盖满石块

女子和情夫山上发生关系,嫌情夫不肯开房太小气,两人吵起来,女子再次被发现身上盖满石块

丫头舫
2026-11-09 22:14:32
全球首个长内容AI流媒体「Glanze」,让一万个平行宇宙找到落点

全球首个长内容AI流媒体「Glanze」,让一万个平行宇宙找到落点

极客电影
2026-09-11 18:02:52
黄仁勋台北爱情故事

黄仁勋台北爱情故事

凤凰网财经
2026-11-09 16:36:34
性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

黯泉
2026-11-09 17:39:59
妻子被迫后喜欢上偷情,情夫是邻居,2012年丈夫怒杀妻子情人

妻子被迫后喜欢上偷情,情夫是邻居,2012年丈夫怒杀妻子情人

汉史趣闻
2026-11-09 10:00:08
俄方长期将战损列为国家机密,黑客却泄露出记录:近40万俄罗斯人在俄乌冲突中丧生

俄方长期将战损列为国家机密,黑客却泄露出记录:近40万俄罗斯人在俄乌冲突中丧生

14号观星辰
2026-11-09 18:14:49
2026-11-10 11:04:49
将门创投 incentive-icons
将门创投
加速及投资技术驱动型初创企业
2538文章数 597关注度
往期回顾 全部

科技要闻

黄仁勋承认出轨:伤害了妻儿,毫无借口

头条要闻

牛弹琴:果然是一场闹剧 这个世界就没有特朗普做不到

头条要闻

牛弹琴:果然是一场闹剧 这个世界就没有特朗普做不到

体育要闻

大连足球这些年的起落,都从他身边经过

娱乐要闻

黄仁勋与黄乐合照曝光,吃饭氛围暧昧

财经要闻

72岁王健林重回“一号位”

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

教育
时尚
手机
数码
军事航空

教育要闻

中俄教育年独家专访|远东联邦大学副校长详解赴俄留学新趋势

蓝色+灰色、绿色+棕色,今年穿4组配色好看又减龄!

手机要闻

全系都有背屏!荣耀700系列续航不打折扣:7.96mm厚度同档最大电池

数码要闻

STEPX Neo体验:当手机开始理解意图,AI交互有了新玩法

军事要闻

菲外交部罕见批评本国官员涉华言论 或在敲打菲防长

无障碍浏览 进入关怀版