谷歌DeepMind如何让模型学会在脑子里画图想问题

你有没有想过，一个不会画画的人，能不能靠"脑补"一张图来解题？

比如你在玩迷宫游戏，闭上眼睛在脑子里过一遍路线，你不需要真的画出这张地图，但你的大脑确实在某种程度上"生成"了一张看不见的图。现在的问题是，机器能不能也做到这件事。

这正是谷歌DeepMind这篇论文要解决的问题。他们给这种能力起了个名字，叫潜在视觉推理。

**当前最强的视觉语言模型，看图能看清楚,但推理时容易"失焦"**

现在的视觉语言模型（VLM）已经很擅长看图说话了。你给它一张图，问它图里有什么，它答得头头是道。但如果你让它做一道需要多步骤视觉推理的题，比如走迷宫、找茬、判断空间关系，它就容易翻车。

原因在于，主流的做法是让模型把图片"翻译"成文字，再用文字去推理。这个过程就像让一个人先把一幅画写成文字描述，然后靠着这段描述去做后续判断。问题是，翻译的时候细节会丢，一些关键的空间信息、纹理信息，文字很难说清楚。

论文里提到一个数据，用纯文字链式推理的方法，在很多视觉基准测试上都会因为丢失细节而表现打折扣。

于是有人想到一个折中方案：既然文字损耗信息，那就别翻译成文字，直接在"潜空间"里保留视觉信息，让模型在推理链条里插入几个连续的潜在视觉token，这样模型既能像人一样一边想一边"看"，又不用真的生成一张完整的图片。这就是潜在视觉推理的思路。

这个思路听起来挺聪明，但DeepMind团队发现，现有的这套潜在推理框架，其实存在两个致命伤。

**第一个坑：训练模型"脑补"图像时，用的参照物本身就选错了**

现有方法通常分两步训练。第一步是监督微调（SFT）

SFT：给模型看大量标准答案，让它学着模仿的训练方式，先教会模型基本套路

在这一步，训练时会用到一张"助教图"，也就是一张只有训练时才有、推理时不给的辅助图片。比如在走迷宫任务里，这张助教图可能是一张热力图，标出了每个格子离终点的价值高低。模型需要学会把这张助教图的信息"内化"到自己的潜在token里，这样等到考试的时候（也就是推理阶段），就算没有助教图，它也能凭自己生成的潜在token做出接近的推理。

问题出在，怎么把助教图变成潜在token这一步。

现有方法都是找一个现成的、别人训练好的视觉编码器，直接把助教图丢进去编码，编码出来的向量就当成目标，让模型去模仿。

这就像你要教一个厨师做菜，但你给他的参考照片是用美颜相机拍的，把菜品拍得很好看，却完全没拍出火候和调料比例这些关键信息。厨师照着这张照片去学，学到的是"好看"，而不是"好吃"。如果不换一台专业的、拍得出细节的相机，厨师永远学不到真正有用的东西。

现成的视觉编码器就是这台"美颜相机"。它是为通用视觉任务训练的，比如图像分类、图文匹配，它保留的是通用视觉美感和语义，但未必保留了这个具体推理任务真正需要的证据。结果就是，模型花了力气去模仿一个不那么有用的目标，浪费了潜在token的表达能力。

DeepMind的解法是，别用现成的编码器了，自己训练一个专门的编码器，叫做脚手架编码器

脚手架编码器：一个专门为当前推理任务训练出来的编码器，用来把助教图压缩成对下游答题最有用的潜在token，而不是套用别人训练好的通用视觉特征

这个编码器怎么训练？关键在于，它是通过下游任务的损失直接端到端训练出来的，也就是说，编码出来的向量好不好，不是看它像不像原图，而是看它能不能帮模型把最终的答案答对。这就相当于给厨师换了一台能拍出油温、下锅时间、调料颗粒的专业相机，厨师照着学，学到的才是真本事。

论文的消融实验证实了这一点。只训练一个小小的注意力池化模块（大约8000万参数），就能让准确率提升4.3个百分点。如果连视觉编码器本身也一起训练（总共约7.6亿参数），还能再涨10个百分点，加起来比原来那套用冻结特征的方法高出14.3个百分点。而且研究者还专门做了对照实验排除了"是不是单纯因为参数变多了才变强"的可能性：同样把视觉编码器解冻，放到普通SFT里（不学优化目标），只提升4.5个百分点，远远不如优化目标带来的提升。这说明真正起作用的不是"参数更多"，而是"目标选对了"。

**第二个坑：强化学习阶段，模型压根没法"试错"潜在空间**

训练的第二阶段是强化学习（RL）

RL：通过给模型的输出打分，用奖励信号去调整模型行为的训练方式，让模型在实践中越做越好

一般的RL做法，比如GRPO，只对文字token做优化，压根不碰潜在视觉token。这就好比一个学生做应用题，老师只批改他写的文字步骤，却完全不管他脑子里想象的那张草图对不对。

后来有个改进方法叫VLPO（视觉潜在策略优化），它想办法把潜在token也纳入优化范围，但用的是一种"确定性正则化"的手段：给潜在token设一个固定方差的高斯分布，用来约束新旧策略之间的潜在表示不要偏移太远。

这个思路的问题在于，它只是在"限制走偏"，而不是在"鼓励探索"。你可以把它想象成给一个正在学走路的孩子系了根绳子，绳子只是防止他走得太远摔倒,但绳子本身不会告诉孩子往哪个方向走会更好。因为VLPO从来没有真的从这个高斯分布里采样出不同的潜在动作去尝试，它只是拿当前生成的潜在向量和上一轮的向量做距离惩罚，从头到尾就只有一条路径，没有分支，也就没有真正的探索。如果不做任何形式的采样，RL的探索优势根本发挥不出来，最后能带来的提升非常有限，论文里的实验显示只有0.9个百分点，而且训练曲线还会剧烈波动。

DeepMind的方案叫Scaffolding RL（脚手架强化学习）

Scaffolding RL：在生成的潜在视觉token基础上，用两个小型神经网络头分别学出一个均值和一个方差，构成一个可以真实采样的高斯分布，让模型每次推理时都能尝试不同的"潜在动作"，再靠奖励反馈筛选出更好的路径

这里的关键区别在于，均值和方差都不是固定值，而是根据当前生成的潜在向量动态算出来的，也就是说探索的方向和幅度会随着具体输入自适应调整。这就像给那个学走路的孩子换了个教练,教练会根据孩子当下的平衡状态，动态告诉他往哪边挪一挪、挪多远，而不是死死拽住一根固定长度的绳子。

论文的消融实验里，这个方法比VLPO多拿了3个百分点的提升，而且在用较弱的Stage 1模型（也就是用旧方法训练出来的、目标没优化好的模型）上测试时，Scaffolding RL的优势会进一步放大到5.2个百分点，说明潜在空间越有改进空间，这种真实探索的价值就越明显。研究者还专门验证了均值和方差缺一不可，只学均值提升1.6个百分点，只学方差提升1.2个百分点，两者都学才能拿到3.0个百分点的全部收益。

**放在一起看，效果有多大**

论文在两类任务上做了验证。

第一类是FrozenLake走迷宫任务，网格大小从8乘8一路测到32乘32。这个任务很直观：模型要输出一整条从起点到终点、绕开所有陷阱的完整路径，走错一步就算零分，容不得半点含糊。

结果显示，Scaffolding Minds这套方法比此前最强的潜在推理基线（叫VaLR）平均高出9.5个百分点，而且随着网格从8乘8变到32乘32，这个优势不是缩小而是持续拉大，到32乘32的时候差距扩大到19个百分点。换句话说，题目越难，这套方法的优势越明显。研究者还专门画了一张逐难度等级的对比图，可以看到传统方法随着迷宫变大，准确率下滑得又快又陡，而新方法下滑得平缓得多，就像两个人爬一座越来越陡的山，一个渐渐体力不支，另一个还能稳住步伐。

第二类是九个视觉中心的推理基准测试，覆盖了细粒度属性判断、空间关系理解、高分辨率图像分析等各种场景。平均下来，这套方法比此前最强的潜在推理方法高出5.6个百分点，其中在MMVP（专门考察模型"看漏了什么"的基准）上提升了20.7个百分点，这个跨度相当可观，意味着原来每5道题模型就要因为看漏细节答错1道，现在这个错误率明显降下来了。

值得一提的是，研究者还和"直接生成图片再推理"这类方法做了对比。这类方法在推理过程中会真的画出一张中间过程图，视觉信息保留得更完整，但代价是推理速度慢很多，论文测出来的延迟增幅高达76%到277%不等。而Scaffolding Minds全程只在潜在空间里操作，推理延迟只多了4.6%到5.9%，几乎不影响使用体验，同时准确率反而比这些"画图流派"还高出10.7个百分点。这说明，想要视觉推理能力强，不一定非得真的把图画出来，只要潜在空间本身学得够好，效果照样能超过显式生成图片的笨办法。

**这套方法到底解决了什么根本矛盾**

回过头看，这篇论文其实揭示了一个容易被忽略的问题：在深度学习里，"看起来合理的中间步骤"和"真正对下游任务有用的中间步骤"往往不是一回事。

用现成视觉编码器提取特征，看起来省事又稳妥，毕竟这些编码器都是业界公认好用的。但省事的代价是，这些特征天生带着别的任务的"偏好"，未必贴合你手头这个具体问题。同样，用固定方差的高斯做正则化，看起来是稳妥的保守做法，能防止训练跑飞，但代价是彻底放弃了探索的可能性。

这两个问题合在一起看，其实是同一件事的两个侧面：都是因为图省事、图稳妥，选择了"够用"而不是"最优"的方案，结果留下了性能提升的空间没有被挖掘出来。

Q&A

Q1：Scaffolding Minds是什么？

A：Scaffolding Minds是谷歌DeepMind提出的一种多模态推理训练框架，通过训练专用的脚手架编码器来优化潜在视觉目标表示，并结合可学习均值方差的强化学习采样方法，提升视觉语言模型在空间规划和视觉推理任务上的表现。

Q2：Scaffolding Minds和之前的潜在推理方法比有什么优势？

A：在FrozenLake走迷宫任务上平均提升9.5个百分点，32乘32最难网格上提升达19个百分点，在九个视觉推理基准上平均提升5.6个百分点，同时推理延迟只增加不到6%，远低于生成图片类方法76%以上的延迟增幅。

Q3：脚手架编码器和普通视觉编码器有什么区别？

A：普通视觉编码器是为通用视觉任务预训练的，特征未必贴合具体推理任务；脚手架编码器则通过下游任务损失端到端训练，专门优化出对当前推理任务最有用的潜在表示。