视觉理解和生成究竟能否相互促进？从视觉表征、任务到系统重新审视UMM

理解生成统一模型（Unified Multimodal Models, UMMs）正在成为多模态模型的重要发展方向。相比传统的理解模型 + 生成模型，UMM 希望在同一个模型中同时完成视觉理解和图像生成，让文本和图像能够在统一上下文中被理解、推理和生成。

但这里其实存在一个更基础的问题：

当视觉理解和生成被放进同一个模型之后，它们真的会互相帮助吗？

现有工作对此并没有给出一致答案。一方面，理解和生成可能共享视觉知识，从而形成正向迁移；另一方面，两种目标也可能竞争模型容量、产生表示冲突，最终只是功能上统一，却没有真正形成学习上的协同。

MMLab@南洋理工大学的最新论文《Uncovering Understanding–Generation Synergy in Native Unified Multimodal Models: From Representation, Task to System》，尝试在一个受控的原生多模场景下回答这一问题。

论文链接：https://arxiv.org/abs/2609.01607

为了避免引入额外的视觉表征先验，该研究选择在原生多模架构（pixel in, pixel out）下将视觉理解与生成之间的关系拆成三个层次：Representation → Task → System

表征层面：

理解和生成都会帮助对方

但简单共享反而可能产生冲突

首先，该论文研究了视觉理解任务和生成任务在不同架构下会如何影响彼此学习到的视觉表示。

实验发现了一个有意思的双向关系。

在 Dense Sharing 架构中，文本、用于理解的 clean visual tokens 和用于生成的 noised visual tokens 都经过同一套 LLM 参数。联合训练后，模型的视觉理解能力有所提升，但图像生成性能却出现下降。

进一步的 frozen feature probing 表明，加入生成训练后，用于视觉理解的 feature 在 ImageNet classification、ADE20K segmentation 和 NYUv2 depth estimation 等任务上表现更好。

也就是说：视觉生成任务可以帮助理解任务学习到更好的视觉表征

而当作者采用 modality-decoupled MoT，将视觉 token 放入单独的 visual branch 后，结果却恰好反过来：生成能力提升，理解能力下降。

进一步测量 text features 与 generative visual features 之间的 CKA 后发现，加入理解训练会显著增强二者的对齐关系：

视觉理解任务能够帮助生成任务的表征与文本表征更好地对齐

这说明，在表征层面理解和生成其实都能够给对方提供有价值的 learning signal。而问题在于：如果强迫两种目标使用同一套计算路径，其中一个目标很容易占据主导地位，另一个则退化成辅助监督

因此，论文进一步提出Task-decoupled MoT：理解视觉 token 继续进入 language-anchored branch，而生成视觉 token 使用 generation-specialized branch；与此同时，两条路径仍然通过文本语义和 shared attention 保持联系。

这种「部分 specialize、部分 share」的设计，避免了前两种架构中一边提升、一边退化的问题。

任务层面：

知识互通的理解与生成任务可以实现相互促进

解决 representation conflict 后，论文进一步提出一个更实际的问题：

什么样的理解任务和生成任务放在一起训练会相互促进？

决定二者能否相互促进的，是它们是否依赖相同的 underlying knowledge 或 capability。

论文分别选择了三个 case study：几何推理、SVG 和 3D Spatial Intelligence 来验证。

例如，在几何推理场景中，理解几何题需要识别图形中的实体、关系和约束，而生成或编辑几何图，同样需要模型掌握这些结构知识。

加入 geometric image generation 和 editing 任务后，不仅 Geometry3K、PGPS9K 等几何任务得到提升，收益还迁移到了 MathVerse 和 MathVista 等更一般的数学推理 benchmark。

作者进一步将把完全相同的 generation data 转换成 image description 等理解任务作为 baseline。结果显示，单纯增加相同来源的数据并不能带来同样的收益，说明学习如何生成一个满足几何约束的图形本身就是一种不同于语言描述的有效监督。

SVG 实验则更加直接。模型需要同时学习 Image→SVG 和 SVG→Image，两种方向本质上依赖同一个 vector structure。

联合训练后，Image→SVG 从 80.64 提升到 81.70，SVG→Image 从 80.21 提升到 86.52。论文通过进一步探究发现联合训练让模型从 SVG code 直接想象对应 icon 的能力大幅度提升。

类似的双向提升也出现在 3D spatial intelligence 中。联合训练在一系列 3D 空间智能相关的理解和生成任务上都得到了有效提高。

这些实验共同指向一个结论：

当理解和生成依赖共同的 latent knowledge 时，二者更容易形成真正的双向迁移。

系统层面：

既然可以串联两个模型

为什么还需要 UMM？

到了 system level，作者讨论了另一个很现实的问题。

如果已经有了单独的理解模型和生成模型，那么面对一个同时需要两种能力的复杂任务，完全可以采用 agentic pipeline 来组合专有模型来共同完成任务。

那么端到端 UMM 的优势到底是什么？

作者选择 reasoning-intensive image editing 任务进行严格的公平比较。给定 source image 和一个 implicit editing request，模型需要先理解图像和用户意图，再推理出具体修改内容，最后生成结果。

在相同 base model 和相同 task supervision 下，作者比较了模块化 Planner→Executor 与 End-to-end UMM。

结果显示，端到端模型在 RISEBench 和 KRIS-Bench 上都取得了更好的整体表现。

这说明，当理解、推理和生成需要紧密耦合时，统一模型的价值并不仅仅是「部署一个模型更方便」。

End-to-end optimization 本身可能就是能力来源的一部分

UMM 的真正价值

这项工作告诉我们：在合理的架构下，UMM 的价值来自那些真正同时需要理解和生成的任务

一种是在 task level，理解和生成共享底层知识与能力。例如在具身智能中，world modeling 与 policy/action learning 都依赖对环境状态、物理规律和动态变化的共同建模，所以 UMM 可以直接作为 VLA+WAM 的结合体，成为具身更好的基模。

另一种是在 system level，任务本身需要理解与生成持续交互，比如各类 agentic generation 和 通过视觉生成的 multimodal reasoning，都可以成为 UMM 原生的能力，从而相比于模块化的系统达到更高的上限和效率。