网易首页 > 网易号 > 正文 申请入驻

AI改图,终于懂点「用户心理学」了

0
分享至

一张电商图片,既要准确展示商品,也要契合用户喜好,更承载着价值转化的商业期待。当图像编辑开始读懂用户偏好,模型能否将不同的创作意图转化为合心意、可使用的电商素材,进一步激发商业价值潜能?

快手技术团队推出 KwaiMind,一套面向真实电商内容生产的图像编辑基座模型。融合通用图像编辑与电商专项能力,在保留商品细节、准确呈现文字的同时,满足多样化创作需求,并配套构建电商任务评测体系,形成从数据生产、模型训练到效果评估与业务反馈的完整闭环。

据技术报告披露,KwaiMind 在多项通用图像编辑基准上取得参评开源模型综合得分第一;在自建电商评测 Ecom-Bench 中,视觉总分位居参评开源模型第一。线上商品主图素材优选 A/B 实验中,KwaiMind 带来实际点击率相对提升约 2.44%,展现了电商图像编辑的商业应用潜力。



图 1 Ecom-Bench 视觉总分与 Ecom-CTR 排名比较。CTR 为预测排名累计计数。

从通用编辑到定向修复,覆盖真实素材生产需求

KwaiMind 将增删、替换、构图调整和局部问题修复纳入同一套指令式编辑能力,支持服装试穿、商品细节展示、配饰佩戴、背景替换、动作调整等任务。商家可以围绕已有素材提出展示需求,也可以针对文字、背景等局部问题进行定向修改。



图 2 KwaiMind 编辑案例,涵盖服装、配饰、商品场景和通用图像编辑。

以电商卖点图为例,模型需要根据商品图与编辑指令调整背景和构图并进行文字的渲染,在突出商品视觉表现的同时,保持其外观、材质与关键细节的一致性。这些要求也考验模型的通用编辑能力。KwaiMind 在适配电商场景的同时,也展现出较强的通用编辑能力,在多个通用基准测试中均优于本报告中其他参评的开源模型。



图 3 KwaiMind 在四组通用编辑评测中均取得参评开源组最高总体得分。

四项智能体协作,维护约 180 万对高质量训练样本

电商素材规模庞大、来源多样,既需保障质量,也需适配不同任务。传统流程依赖反复筛选、修改和复核,成本高、效率低,标准也难统一。为此,KwaiMind 构建了多智能体数据引擎,将质量过滤、样本修复、定向补充与指令标注整合为统一流程,实现任务自动流转、样本状态可追踪。四类智能体分工如下:

  • Filter Agent:预筛输入图像,复筛编辑结果;
  • Generation Agent:根据诊断修复可恢复样本,补充覆盖不足的任务数据;
  • Caption Agent:生成不同粒度的编辑指令;
  • Coordinator Agent:维护样本状态与分布,统筹任务调度、流程衔接及重试。

系统同时引入 Human-in-the-Loop 机制,将低置信、高分歧样本交由人工审核,审核结果回流数据生产流程,兼顾处理效率与数据质量。



图 4 精选 SFT 数据的任务构成及代表性样本。

多智能体数据引擎从约 2,620 万对候选数据中构建并维护约 180 万对高质量训练样本,供 Continued Fine-tuning 阶段使用。进一步精选约 23.49 万对数据用于 SFT 阶段,包括 11.5 万对通用编辑样本和 11.99 万对电商样本。通用数据夯实模型的基础编辑能力,电商数据则围绕服装细节、商品展示和文字编辑等强化专项能力,共同提升模型的指令遵循度与图像美观度。

专项优化与多教师蒸馏,整合为统一基座

真实电商任务往往要求模型同时做好多件事:执行编辑指令、保留商品细节、写对文字,并生成更能吸引用户关注的画面。这些目标的优化难度和收敛节奏并不相同,直接混合训练可能产生干扰,依次优化又可能遗忘已有能力。

KwaiMind 为此采用了一套结合专项能力优化与多教师蒸馏的训练方案:在通用编辑能力之上,模型进一步强化视觉质量、商品一致性、文字准确性以及商业点击吸引力。再通过 DiffusionOPD 将不同专家的能力汇聚到统一模型。



图 5 训练框架与 DiffusionOPD 多教师蒸馏。专项教师在学生自身的去噪轨迹上提供指导。

DiffusionOPD 是一种在线蒸馏策略,由教师沿学生的去噪轨迹逐步指导,使能力迁移更贴近学生实际的生成过程。KwaiMind 将通用编辑、文字处理、商品细节保留与用户偏好整合到同一模型中,让一次编辑兼顾多项要求,例如更换背景时保留包装细节与文字,同时生成更符合用户偏好的展示效果。

Ecom-Bench:系统定义电商任务与评测体系

电商图像编辑需要明确的任务边界,也需要一套能够判断素材是否可用的评价标准。

为此,团队构建 Ecom-Bench,包含 11 项任务、1,100 个案例,每项任务 100 个案例。这些任务包含了虚拟试穿、服装细节、姿态调整等模特穿戴任务,背景替换、商品提取、卖点展示等海报相关任务,以及文字编辑、宣传语去除等文字任务。

围绕这些任务,Ecom-Bench 建立了由 6 个通用维度和 8 个电商专项维度组成的综合评价体系:

  • 通用维度关注指令遵循、融合自然度、物理与光照合理性、非编辑区域保留、图像质量及整体美感;
  • 电商维度关注检查商品身份、文字准确性、面料纹理、模特与姿态、服装合身度、抠图边缘、卖点传达及商品展示完整性。

每项任务选取 2 个通用维度和 2 个电商维度,按任务需求确定评价重点。下表是具体的任务测评维度分配:



表 1 Ecom-Bench 各任务的评价维度分配(对应技术报告 Table 5)

评分时,评审模型会结合参考图、编辑指令和生成结果,按照明确的评分标准,对四个维度分别给出 1-5 的整数分。



单个案例的综合分采用几何平均计算,使文字出错、商品身份偏移等关键缺陷更明显地影响综合得分,降低单项高分所掩盖的素材可用性问题。各任务得分为该任务 100 个案例综合分的平均值,总分再对 11 项任务等权平均。

如图 1 所示,在报告的评测设置及参评模型范围内,KwaiMind 的 Ecom-Bench 视觉总分位居开源模型第一。除了视觉质量,团队还通过 Ecom-CTR 评估生成素材的预测点击偏好。不同模型的输出进行排序,各模型进入前三名的次数累计为 CTR 分数,以衡量相对商业吸引力。KwaiMind 在这一指标上表现优越,体现了模型对素材可用性与用户偏好的兼顾。

下面是一些可视化对比素材,覆盖卖点展示、服装细节、服装展示和虚拟试穿。结合参考图与编辑指令,可以直观看到不同模型在商品素材生成方面的差异。



图 6 服装展示



图 7 服装细节图



图 8 卖点图



图 9 虚拟试穿

业务验证:素材生成到真实点击提升

为了验证 KwaiMind 在实际业务里的应用价值,团队启动了商品主图素材优选线上 A/B 实验。在实验中, KwaiMind 带来了约 2.44% 的实际点击率的相对提升。

在离线评估中,对于随机质量采样的商品图,KwaiMind 生成图的预估 CTR 高于原始商品图的比例,由训练前的 12.16% 提升至 37.41%;相较于未经优化的基线生成图,其预估 CTR 胜率达到 91.89%。

总结

KwaiMind 的推出,让我们看到图像编辑模型进入电商实际工作流程的更多可能。从试穿展示、背景调整到商品细节保留与文字修改,模型需要理解的不只是 “画面怎么改”,还有 “商品应该如何呈现”,以及 “什么样的内容更能吸引用户”。对于开发者而言,统一的编辑基座与配套评测体系,给电商应用和定制工作流提供了坚实的基础。对于商家和创作者而言,这些能力汇聚到同一个模型中,意味着减少反复制作与修改的成本,为创作想法与真实可用素材之间搭起了桥梁,也为尝试不同的商品展示方式留下更多空间。

未来,团队将继续扩展任务覆盖范围,提升专用奖励模型的稳健性,并增强组合编辑与多参考图编辑能力。随着模型能力持续完善并逐步融入日常创作工具,电商素材的生成、修改与优化有望变得更加便捷。KwaiMind 将继续沿着真实生产需求迭代,让模型既能准确呈现商品,也能更好地连接用户;让每一次编辑更贴近需求,让每一份创意更容易落地。

项目与 KwaiMind 技术报告现已发布:

  • KwaiMind 项目: https://github.com/KwaiMmu/KwaiMind
  • Technical Report: https://arxiv.org/abs/2609.26375

本文配图为 AI 生成及 AI 编辑示意图,仅用于展示产品能力,不代表真实人物、真实商品或实际商业案例。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
许世友病逝后,向守志坚持不愿在悼文署名,聂凤智当场怒斥质问:你到底是对谁有意见?

许世友病逝后,向守志坚持不愿在悼文署名,聂凤智当场怒斥质问:你到底是对谁有意见?

磊子讲史
2026-08-12 15:56:13
93岁医学老专家曹泽毅:我从不养生,日常坚持这7件小事就够了

93岁医学老专家曹泽毅:我从不养生,日常坚持这7件小事就够了

小方说跑步
2026-09-24 17:44:58
沙特被逼至绝境!铁杆盟友却不敢出兵,关键时刻巴铁带来中方承诺

沙特被逼至绝境!铁杆盟友却不敢出兵,关键时刻巴铁带来中方承诺

照亮你的前行之路
2026-09-25 20:15:44
秦桧32世孙发出质疑:祖上跪岳飞800年我认了,凭啥还跪岳飞之母

秦桧32世孙发出质疑:祖上跪岳飞800年我认了,凭啥还跪岳飞之母

古渡观书
2026-09-24 20:30:56
世界船王包玉刚拥有15645处房产,却无儿子,5000亿遗产留给女婿!

世界船王包玉刚拥有15645处房产,却无儿子,5000亿遗产留给女婿!

历史沉淀的理性
2026-09-24 07:25:25
美国:中国想干什么就随他去吧,第一:中国要收复台湾就让他收复,招惹不起;第二:中国要收拾日本就让他收拾,管不住

美国:中国想干什么就随他去吧,第一:中国要收复台湾就让他收复,招惹不起;第二:中国要收拾日本就让他收拾,管不住

扶苏聊历史
2026-09-23 15:19:56
港股异动 | 兆易创新(03986)午后跌超3% 新增内存供应将逐步冲击市场 内存价格面临下行压力

港股异动 | 兆易创新(03986)午后跌超3% 新增内存供应将逐步冲击市场 内存价格面临下行压力

和讯网
2026-09-25 15:28:28
985大学原党委书记逝世

985大学原党委书记逝世

双一流高校
2026-09-25 02:09:56
最牛美女处长,1000天和男上司开房410次,临时工晋升财务副处长

最牛美女处长,1000天和男上司开房410次,临时工晋升财务副处长

三石记
2026-06-26 07:16:19
人到中年才明白:家里让人累的,往往不是穷,而是有人天天制造情绪垃圾

人到中年才明白:家里让人累的,往往不是穷,而是有人天天制造情绪垃圾

自由心向往之
2026-09-24 11:30:04
骨科主任:走路是最好的运动?错!过了60岁,3种运动才真正养寿

骨科主任:走路是最好的运动?错!过了60岁,3种运动才真正养寿

汪医生健康百科
2026-09-17 19:38:00
克洛普看呆!巴萨4000万新援空门不进 遭队长狠批 获5.5分全场最低

克洛普看呆!巴萨4000万新援空门不进 遭队长狠批 获5.5分全场最低

我爱英超
2026-09-25 07:58:46
李乐成王东伟看望正省级老同志 单向前参加

李乐成王东伟看望正省级老同志 单向前参加

安徽发布
2026-09-25 19:54:48
陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

三公子娱乐丫
2025-05-17 17:59:45
观天下|联大辩论继续 多国领导人呼吁捍卫多边主义

观天下|联大辩论继续 多国领导人呼吁捍卫多边主义

新华社
2026-09-24 18:21:02
70万打水漂了!丈夫掏空全部积蓄未能救回患癌妻子,发现妻子手机里写给初恋:当初要是嫁给你就好了

70万打水漂了!丈夫掏空全部积蓄未能救回患癌妻子,发现妻子手机里写给初恋:当初要是嫁给你就好了

火山詩话
2026-07-21 17:21:28
从“卖靓号”到“织天网”:当星链叩门,三大运营商拿什么抵挡进攻

从“卖靓号”到“织天网”:当星链叩门,三大运营商拿什么抵挡进攻

细雨中的呼喊
2026-09-24 18:24:56
周杰伦南京演唱会上调侃刘畊宏:“本来祝福他在节目里长长久久,结果被淘汰了”

周杰伦南京演唱会上调侃刘畊宏:“本来祝福他在节目里长长久久,结果被淘汰了”

韩小娱
2026-09-25 14:00:34
李白一生纵情山水,几乎没有正经谋生差事,不少人心中疑惑,支撑他生活的经费究竟从何而来?

李白一生纵情山水,几乎没有正经谋生差事,不少人心中疑惑,支撑他生活的经费究竟从何而来?

磊子讲史
2026-09-09 19:37:39
《兰香如故》:复读一年才考上北电的谭松韵,如今是90后闰花里唯一5部收视年冠

《兰香如故》:复读一年才考上北电的谭松韵,如今是90后闰花里唯一5部收视年冠

壹齐向前
2026-09-25 18:29:49
2026-09-25 20:52:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14070文章数 142738关注度
往期回顾 全部

科技要闻

华为赛力斯,一次声势浩大的权、利再分配

头条要闻

中国女足1:0艰难战胜越南 主帅:这是场"沮丧"的胜利

头条要闻

中国女足1:0艰难战胜越南 主帅:这是场"沮丧"的胜利

体育要闻

这场青春风暴,中国足球等了太久

娱乐要闻

定居温哥华,59岁王祖贤首谈退圈真相

财经要闻

月饼卖不动了...

汽车要闻

全新第四代博越L 上市限时价9.29万元起

态度原创

旅游
游戏
家居
手机
公开课

旅游要闻

看北京|2026年圆明园金秋游开幕

《控制:共振》被喷找不到路 玩家:黄色油漆画少了?

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

华为麒麟9035芯片本月登场:Mate 90 Pro首发搭载

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版