当AI学会画画，它会不会顺便也学会了看世界？

2014年那会儿，深度学习刚刚在图像识别上打了一场漂亮仗，紧接着大家就开始琢磨一个问题：既然让AI学会分类图片这么有效，那让AI学会生成图片会不会更有效？毕竟画一张图,比认一张图,似乎需要更深的理解。

十年过去了,这个直觉被证明是错的,至少没那么简单。

大多数做统一多模态模型的研究者发现,教AI生成图像和教AI理解图像,是两件几乎不相关的事情。你可以把一个模型训练得画画特别厉害,但它看图说话的能力可能压根没提升。这个结果让不少人得出结论:生成对理解的帮助,可能远不如理解对生成的帮助。

这篇来自加州大学伯克利分校等机构的论文,标题就是奔着这个问题去的:OmniTaskonomy,视觉生成到底什么时候能帮上视觉理解的忙?

先说说这事儿反直觉在哪儿。如果你让一个模型学会画深度图(也就是判断画面里哪些东西离镜头近、哪些远),直觉上它应该顺带学会了怎么理解空间关系,对吧?毕竟画深度图这件事本身就需要理解空间。但过去的研究结果一次次打脸这种直觉:生成训练往往就是生成训练,理解能力该多差还是多差。这就好比你请了一个画家来给你的孩子当家教,指望他顺便教会孩子几何,结果孩子几何该不会还是不会,尽管画家本人画立体图画得贼溜。

这篇论文想搞清楚:这种"顺带学会"到底存不存在?如果存在,是什么条件下才会发生?

问题出在哪儿

要回答这个问题,研究者们先做了一件很聪明的事:控制变量。

如果你直接拿一堆生成任务的数据和一堆理解任务的数据混着训练,然后发现理解能力涨了,你很难说清楚到底是生成训练起的作用,还是仅仅因为模型见过更多样的图片。这就跟你想验证"多吃鱼是不是让人变聪明",但如果吃鱼的同时也在上补习班,你根本分不清是鱼的功劳还是补习班的功劳。

统一多模态模型*：一种能够同时处理图像生成和图像理解两种任务的AI模型,业内也叫"omni模型"。它的图像生成和图像理解共享同一套核心参数,所以理论上两种能力之间存在互相影响的可能。

研究者设计了一对"孪生任务"。给模型一张被打乱成拼图块的图片,一种任务要求模型直接生成拼回原样的图片(这叫I2I,image-to-image,图到图),另一种任务要求模型用文字描述出正确的拼图顺序(这叫I2T,image-to-text,图到文字)。这两个任务面对的是完全相同的输入,考察的是完全相同的视觉能力,唯一的区别就是答案是用图片表达还是用文字表达。

I2I任务*：image-to-image的缩写,指输入图片、输出图片的视觉生成任务,比如深度估计、图像修复、拼图重建等。

I2T任务*：image-to-text的缩写,指输入图片、输出文字的视觉理解任务,比如回答"这两个点哪个更近相机"之类的问题。

这个设计的巧妙之处在于,它把"生成能不能帮理解"这个模糊的大问题,变成了一个可以精确测量的小问题:在完全相同的视觉问题上,先训练模型做生成版本,再让它学理解版本,理解的效果会不会比直接学理解更好?

答案是:会,但得看怎么训练。

训练顺序决定成败

研究者比较了六种把生成数据和理解数据组合起来训练的方案。结果非常清楚:如果先做一段纯生成训练(这个阶段会更新那些理解任务也会用到的共享参数),然后再切换到理解训练,效果最好,而且随着生成数据量的增加,理解能力还会持续提升。

但如果一开始就把生成和理解的数据混在一起训练,或者在生成训练阶段把共享参数冻结住,只训练生成专用的部分,那效果就明显打折扣,甚至完全没有提升的趋势。

这个发现挺有意思的。它告诉我们,生成训练对理解的帮助,不是靠"看过更多图片"这么简单粗暴的机制起作用的,而是靠"用生成的方式把共享参数调教到一个更好的初始状态"起作用的。

如果不这样安排训练顺序会怎样?论文里给出了具体数字:在Jigsaw拼图任务上,用100k条生成数据做初始训练,然后只用1000条理解数据微调,得到的理解准确率能追上直接用10000条理解数据训练的效果。也就是说,生成训练相当于帮你省下了十倍的理解标注数据。而如果训练顺序反了,或者混着训练,这十倍的效率提升就消失了。

这就好比学游泳。如果你先在陆地上反复练习正确的划水动作(相当于打好一个好的姿势基础),再下水实战,进步会很快。但如果你一边在岸上比划动作一边在水里扑腾(混合训练),或者压根不让陆地训练影响你划水时用到的核心肌肉(冻结共享参数),那陆地上练得再多,下水后该呛水还是呛水。

这个实验结果背后还有一个细节值得说一下。研究者不只是看整体准确率,还专门检查了同一个模型在同一张图片上,生成任务做对了没有,理解任务是不是也跟着做对了。数据显示,当生成任务预测正确时,理解任务的正确率是88.2%;当生成任务预测错误时,理解任务的正确率掉到64.3%。这说明这两个任务的成功与失败,在具体样本这个粒度上是绑定在一起的,不是两条平行线各走各的。

一张地图,19种生成任务对25种理解能力

搞清楚了训练方式管用之后,自然会问下一个问题:是不是所有生成任务都能帮所有理解任务?

要回答这个问题,得先有一把尺子,能把"生成任务"和"理解能力"放在同一个坐标系里比较。但现实情况是,视觉生成的benchmark(基准测试)和视觉理解的benchmark是两套完全不同的语言体系,前者关心画得像不像、编辑指令有没有执行对,后者关心识别得对不对、推理得通不通。这两套体系压根没法直接对话。

Benchmark*：基准测试,是用来衡量AI模型在某项任务上表现好坏的标准化测试集。

研究者于是决定自己搭一把尺子,这就是论文的核心贡献,叫OmniTaskonomy(可以理解成"全能任务分类学")。这个分类体系借用了计算机视觉里一个很经典的划分框架,叫"3R":Recognition(识别,搞清楚画面里是什么)、Reconstruction(重建,恢复几何和光照这些物理属性)、Reorganization(重组,搞清楚各个视觉元素之间怎么排列关系)。

这个3R框架不是这篇论文发明的,是计算机视觉领域一位重量级人物Jitendra Malik(他也是这篇论文的作者之一)在2016年提出的经典理论框架。用它来统一生成和理解任务,算是一次老框架的新用法。

搭这套体系的过程相当讲究。研究者先从七个视觉语言benchmark里抽了一万多个样本,用AI模型给每道题标注出它到底考察什么视觉属性,比如"相对深度""尺寸比较""遮挡关系"这些。然后把这些零散的标注归纳成一套固定的属性词典,再用这套词典重新统一标注所有样本。接下来,再用AI把这些样本自下而上地聚类,长出一棵能力树,最后把树的叶子节点归到Recognition、Reconstruction、Reorganization三大类下面。

整个过程还有人工审核这道保险。四位人类审核员抽查了250个样本,结果发现人类标注和AI标注的一致率高达97.4%,用统计学上的Cohen's κ指标衡量,一致性达到0.972,这是个相当高的数字,说明AI搭出来的这套分类体系是靠谱的,不是自说自话。

最终这套体系包含了19种I2I生成任务(比如深度预测、物体编辑、图像修复、拼图重建)和25种理解能力(比如物体计数、空间关系判断、类别识别),它们被放进同一张地图,方便系统性地测量每一种生成任务对每一种理解能力的影响。

谁帮了谁:一张布满惊喜的成绩单

有了这把尺子,研究者把19种生成任务挨个训练一遍,再测试它们对25种理解能力的迁移效果,最终画出了一张完整的"迁移地图"。

这张地图最先跳出来的信息是:迁移效果非常不均匀。25种理解能力里,只有5种能从至少一种生成任务里获得统计显著的提升,大部分理解能力对生成训练无动于衷。

先说符合直觉的部分。定位任务(localization,判断物体在画面中的具体位置)和物体指认任务对计数能力的提升最大,分别带来2.3和2.0个百分点的准确率提升,这很好理解,因为数东西的前提就是能准确找到每一个物体在哪儿。深度预测任务对"公制3D关系"判断(也就是判断两个物体之间实际的物理距离)带来了3.6个百分点的提升,拼图重建任务对"2D排序"能力带来了6.8个百分点的提升,这些都是"教什么就学什么"的正常剧情。

但真正让人眼前一亮的是那些说不通的地方。图像修复任务(也就是补全被挖掉的一块画面)居然把2D排序能力提升了7.2个百分点,还把计数能力提升了1.5个百分点。这挺奇怪的,因为修图和排序、数数在字面意思上八竿子打不着。研究者的解释是:要把挖掉的一块图补完整,模型得先推断出整幅画面缺了什么、大概有多少东西、这些东西的空间结构是怎样的,这种"从局部推全局"的训练无意中锻炼了一种更通用的空间组织能力。

更有意思的是2.5D分割任务(一种结合了表面几何信息的图像分割方式)居然让类别识别能力提升了1.2个百分点。研究者猜测,当模型被迫学会精确勾勒物体的边界和形状轮廓时,这种对物体轮廓的敏感度反过来帮助了它认出这是什么物体。这就好比一个雕塑家,天天琢磨怎么把石头刻出准确的轮廓,时间久了,他可能反而比普通人更擅长一眼认出各种动物或人体的种类,因为他对形状的敏感度被训练出来了,而这种敏感度本身就是识别的一部分。

不过也有不少反效果的例子。视觉对应能力(判断两张图片里的同一个点或同一个物体对应关系)几乎被所有生成任务拖累,好几个源任务甚至带来负的5个百分点左右的下滑。这说明生成训练不是万能药,选错了任务组合反而会伤害某些理解能力。

梯度告诉你答案

到这里,论文提出了一个更深层的问题:为什么有些生成任务和理解任务能"合得来",有些却"水火不容"?

研究者的猜想是:这跟两个任务在训练时对模型参数的"拉扯方向"有没有一致性有关。

梯度*：在深度学习训练里,梯度指的是损失函数对模型参数的导数,直观理解就是"如果调整这个参数,模型表现会往好的方向变还是坏的方向变,以及变化幅度多大"。梯度方向一致,意味着两个任务希望模型往同一个方向调整。

这个思路并不是凭空想出来的。之前已经有研究表明,如果两个任务的梯度方向互相冲突,同时训练这两个任务反而会互相拖累,这个现象叫"梯度冲突"。反过来推,如果两个任务的梯度方向比较接近,它们应该更容易互相帮助。

研究者选了六对"孪生任务"(就是前面提到的拼图、缩放排序这类精心设计的对照任务),在预训练模型的checkpoint(训练过程中保存的模型快照)上,分别计算生成任务和理解任务的梯度,然后测量这两组梯度在模型的各个组件、各个层上的对齐程度。

结果发现,梯度对齐最强的地方,出现在理解分支里,注意力机制之前的归一化层(pre-attention RMSNorm),而且越靠前的层,对齐程度越高。

RMSNorm*：一种神经网络里常用的归一化操作,作用是让每一层的数值分布保持稳定,防止训练过程中数值爆炸或消失。pre-attention指的是这个归一化操作发生在注意力计算之前。

这个发现不是终点,而是起点。研究者接着把这套梯度对齐的测量方法,扩展到了整个OmniTaskonomy的19个生成任务和7个理解能力上(选的是评估样本数超过500的那些能力),计算每一对生成源任务和理解目标能力之间的梯度对齐程度,再和实际测出的迁移效果放在一起比较。

结果显示两者高度相关:先看理解能力这个层面,把每种能力对所有19个生成源的平均对齐值,和它获得的平均迁移增益放在一起,相关系数达到0.795,这是个相当强的相关性。再看更细粒度的133个具体的"生成任务对理解能力"配对,相关系数是0.529,依然是明显的正相关。

这意味着什么?意味着如果你想知道某个生成任务会不会帮上某个理解任务,不需要真的跑一遍完整的训练再测试,可以先算一下两者的梯度对齐程度,这是一个提前预判的信号。这就好比两个人要不要合作创业,与其真金白银投进去干一年再看结果,不如先看看两人做决策时的思路方向是不是经常一致,方向差太远的,大概率合作不顺。

这套方法目前还没法做到100%精确预测,毕竟相关系数不是1,还有不少噪声和例外。但它至少提供了一个比"瞎猜"靠谱得多的筛选工具。

三个发现拼起来的完整图景

把这篇论文的几条线索拼在一起看,会发现它讲的其实是一个层层递进的故事。

第一层发现是:生成训练确实能帮理解,但前提是训练顺序得对,得先用生成任务打底,再切到理解任务微调,而且生成数据越多,效果越明显,尤其是理解数据本身很有限的情况下,这种"打底"的价值会被放大。

第二层发现是:即便训练顺序对了,不同的生成任务对不同理解能力的帮助也是高度选择性的,有些是符合直觉的强关联(比如深度预测帮3D关系判断),有些是意料之外的隐藏联系(比如图像修复帮空间排序),但也有相当一部分组合是没有帮助甚至有害的。

第三层发现是:这种选择性背后,可以用梯度对齐这个优化层面的信号来部分解释和预测,对齐程度高的组合,往往迁移效果也更好。

这三层发现叠在一起,给出的实践建议其实挺明确:如果你想用生成任务来提升某个具体的理解能力,不能盲目地把所有生成数据一股脑扔进去训练,得挑对任务、排对顺序,最好还能提前用梯度对齐这个信号做一遍筛选。

写在后面

读完这篇论文,最触动我的其实不是那张迁移地图上的具体数字,而是研究者设计"孪生任务"这个思路本身。很多AI研究喜欢直接在真实benchmark上跑分,比出个高低就完事了,但这篇论文选择先在一个高度受控的实验室环境里,把变量一个个拆开验证,确认因果关系存在之后,再放到更大规模、更真实的场景里检验。这种做研究的耐心,在追求"更大更强"模型的当下反而显得有点稀罕。

另一个让我意外的细节是,2.5D分割能提升类别识别这件事。直觉上,理解一个物体的形状轮廓和认出它是什么类别,应该是两种不同的能力,一个偏几何、一个偏语义。但论文的结果提示,这两者在神经网络的参数空间里可能共享了某种底层表征。这让我想起人类视觉认知里一个类似的现象:婴儿在很早期就能通过轮廓形状区分物体类别,即使还不知道这个物体叫什么名字。形状和语义之间的这种纠缠,也许比我们想象的更深。

还有一点值得琢磨:这篇论文测的是"生成训练如何帮助理解",但反过来的问题,理解训练怎么帮助生成,已经有不少研究做过了,而且结论普遍更乐观。为什么方向反过来效果就没那么显著?论文没有直接回答这个不对称性的根源,只是提示了训练顺序和梯度对齐这两个可操作的因素。这个不对称性本身,可能藏着一个更本质的问题:生成和理解在神经网络里到底是不是真的对等的两种能力,还是说其中一种天然更"基础"、更容易向另一种迁移?这个问题,留给下一篇论文去回答吧。

Q&A

Q1：OmniTaskonomy是什么？

A：OmniTaskonomy是一套统一的分类体系,把19种图像生成任务和25种视觉理解能力放进同一个由Recognition、Reconstruction、Reorganization三大类组成的框架里,方便系统性地测量视觉生成训练对视觉理解能力的迁移效果。

Q2：视觉生成训练真的能提升视觉理解能力吗？

A：能,但要看训练方式。论文发现如果先用生成任务训练更新共享参数,再切换到理解任务微调,理解准确率会随生成数据量增加而持续提升,而直接混合训练两种数据则没有这种效果。

Q3：怎么判断一个生成任务会不会帮助某个理解能力？

A：论文发现生成任务和理解任务在模型早期注意力前归一化层的梯度对齐程度,和实际的迁移效果呈正相关,相关系数达到0.795,可以作为提前预判两者是否互相促进的信号。