NeurIPS 2026｜VLM架构新突破：DGP打通全部ViT与LLM层，让大模型每一层按需「看图」

论文中的一道菜单题，看起来只需要做一次简单加法：一张 Funghi 披萨 6.90 欧元，一张 Prosciutto 披萨 7.90 欧元，总价是多少？

LLaVA-1.5 不仅读错了价格，还凭空加入一份没有点过的 calzone，最终给出 26.40 欧元；DGP 则读出两个正确价格，算得 14.80 欧元。

问题或许不只出在「推理」环节。模型在开始计算之前，可能就没有拿到与问题匹配、足够可靠的视觉证据。

当前许多多模态大模型只取视觉 Transformer（ViT）最后一层或倒数第二层的特征，经投影后一次性送入大语言模型（LLM）。之后，无论语言模型有多少层，都要从这份固定的视觉表示出发：识别小字、判断颜色、理解动作和分析整幅画作，共用同一个视觉入口。

但同一张图面对不同问题，需要的视觉粒度并不相同。读菜单价格依赖局部纹理与文字细节，理解一幅画的历史意义则更依赖高层语义。既然 ViT 的不同层本就编码了不同粒度的信息，为什么要在进入 LLM 前只保留其中一层？

西北工业大学与香港科技大学的研究团队据此提出 DGP（Dynamic Gated Pathways，动态门控路径）：让每一个 LLM 层都能访问全部 ViT 层，再根据当前图像—问题上下文与该语言层的语义状态，为不同视觉层动态分配融合权重。

一句话概括：DGP 不是把更多视觉层简单平均，而是把「哪一层视觉信息，应该连接到哪一层语言模型」变成一个可学习、随语言层、任务和样本动态变化的路由问题。

在 LLaVA-1.5-7B 上，DGP 在论文报告的 11 项指标中全部超过基线，其中 SQA-I 提升 4.2 分、MM-Vet 提升 3.3 分，VizWiz 与 LLaVA-Wild 均提升 3.1 分。该方法在 Qwen3-VL-2B 与 LLaVA-NeXT 上同样取得一致增益。

• 论文标题：Where to Connect? Boosting MLLMs via Dynamic Gated Pathways across ALL ViT and LLM Layers
• 研究团队：西北工业大学、香港科技大学
• 论文链接：https://arxiv.org/abs/2611.06844
• 代码仓库：https://github.com/YingyingYan1/DGP

核心贡献：

DGP 改的不是视觉编码器，

而是视觉信息的「接线方式」

这项工作的核心贡献可以概括为三点。

第一，从「选哪个 ViT 层」推进到「ViT 层应该连接哪个 LLM 层」。

过去的讨论通常聚焦于使用最后一层、多个中间层，还是把多层特征提前融合。DGP 将问题重新表述为 where to connect：视觉表征有层级，语言表征同样有层级，真正需要设计的是两套层级之间的连接关系。

第二，把预先指定的连接，扩展为覆盖全部 ViT–LLM 层对的动态路由。

DGP 将所有视觉层与所有语言层都纳入候选连接空间。每个 LLM 层不再被固定绑定到某个视觉层，而是根据自身当前的多模态语义状态，为全部 ViT 层分配不同权重。这里的 all-to-all 指全部「层对」都可参与连接；实际路由采用 Softmax 软加权，并非在视觉 token 之间建立两两连接，也不是只保留少数层的硬路由。

第三，不只验证「能提分」，还分析「模型究竟怎样选层」。

消融实验表明，在当前设置下，直接平均全部视觉层反而会明显掉点，学习到的动态权重是收益的重要来源。进一步的可视化显示，路由会随 LLM 深度、任务类型、具体样本乃至同一图像上的不同问题而变化，为性能提升提供了可解释证据。

1. 只在开头看一次图，为什么会成为瓶颈？

ViT 并不是在每一层重复编码同一种信息。论文对不同 ViT 层的注意力进行可视化后发现，浅层更分散地关注边缘、纹理和局部结构；随着网络加深，注意力逐步集中到更少的语义区域。

图 1：同一图像在 ViT 不同层中的注意力分布。

这种层级分工意味着，不同层各有价值：

• 浅层保留更多边缘、颜色、纹理等局部线索；
• 中间层更适合表达物体结构与局部—整体关系；
• 深层更偏向抽象语义和全局概念。

然而，主流 MLLM 往往只取一个固定 ViT 层，将其投影为视觉 token，并在 LLM 输入端注入一次。此后，视觉信息只能随着隐藏状态在语言模型中逐层传递。LLM 的不同层虽然承担着不同阶段的表征更新，却没有直接回到完整视觉层级、重新选择所需信息的通路。

已有多层视觉特征方法主要沿两条路线展开：

• 先融合、后输入：在视觉编码器一侧把多个 ViT 层压成一个表示，再送入 LLM。它增加了信息来源，却仍然让所有 LLM 层共享同一份融合结果。
• 预定义跨层连接：把若干视觉层连接到指定的语言层。它开始考虑两侧的层级结构，但连接位置或候选视觉层通常仍由人工预先确定。

DGP 的区别在于：不先替模型决定哪些层值得连接，而是开放全部 ViT–LLM 层对，再让模型根据当前语义状态学习连接强度。

图 2：从固定单层、编码器侧融合和预定义连接，到 DGP 的全层动态连接。

2. DGP 如何让每个 LLM 层按需「翻阅」视觉层级？

DGP 的整体流程可以拆成三个动作：先判断当前需要什么，再选择相应视觉层，最后把融合结果写回当前语言层。

图 3：DGP 框架。每个 LLM 层都对全部 ViT 层生成一组路由权重，并通过门控残差连接更新视觉 token。

2.1 用语言层的当前状态发起一次「视觉查询」

DGP 在图像和问题之后、首个答案 token 之前插入一个可学习的glimpse token。由于自回归注意力的因果结构，这个位置能够看到此前的图像与文本上下文；而它在不同 LLM 层中的隐藏状态，又记录了该层已经形成的多模态语义。

因此，DGP 将每个语言层的 glimpse 隐藏状态作为查询信号。视觉侧则取各 ViT 层的 [CLS] 表示作为层级摘要，映射到 LLM 隐空间后充当键和值。

直观地说，glimpse token 表达的是「当前这个语言层想找什么」，各 ViT 层的 [CLS] 摘要表达的是「这一视觉层大致提供什么」。

2.2 为全部视觉层动态分配权重

查询与视觉层摘要先进入一个由所有 LLM 层共享的多头交叉注意力模块，得到跨模态路由特征；随后，每个 LLM 层使用各自独立的路由 MLP，经 Softmax 生成覆盖全部 ViT 层的权重。

这一设计同时保留了两种特性：

• 共享交叉注意力提供统一的视觉层比较接口；
• 层特定路由器允许不同 LLM 层形成不同的视觉偏好。

因此，即使面对同一张图，不同问题会产生不同的路由；即使图像和问题都相同，不同 LLM 层也可以选择不同的视觉层组合。这里的「动态」是指权重会随图像—问题样本及 LLM 层而变化；论文当前的实现并不会在答案生成的每个新 token 上重新计算路由。

2.3 在相同空间位置融合，并以门控残差写回

得到路由权重后，DGP 在相同 patch 位置上对各 ViT 层的特征做加权求和：

当前语言层的融合 patch = Σ（该语言层分配给第 k 个 ViT 层的权重 × 第 k 层对应位置的 patch）

这样既能组合不同语义粒度，又不会破坏 patch 之间的空间对应关系。融合结果随后经过当前 LLM 层专属的投影器，并通过一个可学习的标量门控，以残差方式写回该层的视觉 token。

完整过程可以概括为：

语言层状态生成查询 → 对全部视觉层动态加权 → 按位置融合 patch → 门控注入当前 LLM 层

视觉信息由此不再只在输入端出现一次，而是持续参与 LLM 的逐层表示更新。

2.4 用熵正则防止路由过早「只认一层」

开放全部候选连接，不等于模型会自动利用它们。如果训练初期的路由迅速集中到少数视觉层，DGP 仍可能退化成近似固定连接。

为此，论文在预训练阶段加入熵正则，最大化每个 LLM 层在一个 batch 上的平均路由分布熵，鼓励不同视觉层都得到探索。这里约束的是batch 平均分布，并不是强迫每个样本都均匀使用所有层，因此单个问题仍能形成明确偏好。

预训练阶段的正则系数设为 0.01；进入指令微调后将其关闭，让路由进一步专门化到具体任务所需的视觉粒度。

3. LLaVA-1.5-7B 的 11 项指标均提升，

并在两种额外框架上复现增益

研究团队首先基于 LLaVA-1.5，在 Vicuna-7B 与 Vicuna-13B 两种规模上进行实验。评测覆盖 GQA、SQA-I、VQAv2、VizWiz、SEED、LLaVA-Wild、MM-Vet、MMBench 和 POPE 等任务，涉及通用视觉问答、细粒度感知、指令跟随与幻觉评估。

表 1：DGP 与主流 MLLM 及多层视觉特征利用方法的对比。

在 7B 配置下，DGP 相对 LLaVA-1.5 在表中的11 项指标上全部提升：

• SQA-I：66.8 →71.0，提升 4.2 分；
• MM-Vet：30.5 →33.8，提升 3.3 分；
• VizWiz：50.0 →53.1，提升 3.1 分；
• LLaVA-Wild：63.4 →66.5，提升 3.1 分。

与同表中的 7B 多层视觉特征方法相比，DGP 在 GQA、SQA-I、SEED、LLaVA-Wild、MM-Vet 和 MMBench-CN 六项指标上取得最高的已报告分数。

在 13B 配置下，DGP 在 11 项指标中的 10 项超过 LLaVA-1.5 基线。其中 VizWiz 提升 3.8 分，MMBench 提升 2.4 分，GQA 提升 2.2 分。

换掉视觉编码器、语言骨干和分辨率策略，DGP 仍然有效

为了检验 DGP 是否只适用于 LLaVA-1.5，研究团队又将它接入两个差异较大的框架：

• Qwen3-VL-2B：SigLIP2-L + Qwen3-1.7B；
• LLaVA-NeXT：CLIP-L + Vicuna-7B，并使用 AnyRes 高分辨率切片。

表 2：DGP 在 Qwen3-VL-2B 与 LLaVA-NeXT 上的结果。

两个框架报告的四项指标均获得提升。例如，Qwen3-VL-2B 的 SQA-I 从 85.3 提升到 86.9；LLaVA-NeXT 的 SQA-I 从 69.5 提升到 72.3，MMBench 从 66.5 提升到 68.7。在论文测试的三种配置中，DGP 在不同视觉编码器、语言骨干及 AnyRes 分辨率方案下均带来增益，初步显示出跨架构可迁移性。

多看这么多层，代价有多大？

表 3：batch size 为 1 时的参数量、生成 FLOPs 与峰值显存。

在 7B 模型上，DGP 增加 5.29% 参数和 4.07% FLOPs，峰值显存基本不变；在 13B 模型上，参数增加 4.27%，FLOPs 测量值基本持平，峰值显存增加 4.13%。它并非零成本模块，但额外开销保持在相对有限的范围内。

从分数回到具体回答：先看清，才有可能答对

图 4：数学题、OCR 与细粒度理解中的案例对比。

在论文展示的案例中，LLaVA-1.5 会漏读菜单价格、编造不存在的餐品，或无法把图中文字、动作和表情与问题正确关联。DGP 则更准确地恢复了相关视觉证据：

• 在菜单题中读出 6.90 与 7.90 欧元，得到正确总价 14.80 欧元；
• 在多步动作图中识别出「打响指后单脚跳」；
• 在经典猫咪表情包中，更完整地解释人物情绪与猫的神态所形成的反差。

这些例子不能单独证明所有错误都来自视觉连接方式，但它们直观展示了一个关键链条：更可靠的问题相关视觉证据，可以减少后续推理从错误前提出发的机会。

4. 关键消融：更多视觉层不等于更多有效信息

DGP 的收益究竟来自动态路由，还是仅仅因为模型看到了更多 ViT 层？

研究团队设置了一个直接对照：不学习路由权重，而是把全部 24 个 ViT 层均匀平均。结果不仅没有提升，反而在多数指标上明显低于单层基线。

表 4：平均融合、动态门控路由与熵正则的组件消融。

• MM-Vet 从基线的 30.5 降至25.3；
• MMBench 从 64.3 降至57.6；
• LLaVA-Wild 从 63.4 降至56.3。

原因并不难理解：浅层、中层与深层特征处在不同语义粒度上，无差别叠加可能把互补信息混成噪声。

加入动态门控路由后，MM-Vet 与 MMBench 分别回升到 32.4 和 65.6；再加入熵正则后，进一步达到 33.8 和 66.7，SQA-I 也从 70.5 提升至 71.0。

这一组消融给出了比「使用更多层所以更强」更有力的解释：

在当前 LLaVA-1.5-7B 设置下，单纯增加或平均视觉层并不足以提升性能；学习到的层级权重是收益的重要来源。

5. 路由可视化：同一张图，

问题一变，模型选择的视觉层也会变

如果 DGP 确实在按需路由，那么学到的权重不应始终集中在最后一个 ViT 层，也不应退化为均匀平均。

图 5：不同 LLM 层、评测任务与样本对应的路由权重。

可视化结果与这一预期一致：

1. 不同 LLM 层偏好不同。中间 ViT 层整体更常被激活，但浅层和深层也会被特定语言层选中。代表性曲线通常具有多个峰，说明模型会组合多种视觉粒度，而不是只押注单层。
2. 不同任务偏好不同。固定观察第 21 个 LLM 层，LLaVA-Wild、VizWiz 与 SQA-I 会形成不同的视觉层权重分布。
3. 同一任务中的不同样本也不同。路由差异并不只停留在数据集层面，而是进一步细化到单个输入。

更直观的证据来自「固定图像、只换问题」的对照实验。

图 6：同一张图像面对不同问题时，DGP 会改变视觉层权重。

当问题询问颜色、属性或小区域细节时，路由更偏向保留纹理与局部结构的浅层或浅中层特征；当问题转向画作身份、历史意义、场景含义或动作理解时，权重会移向中深层或深层。面对「详细描述图像」这类同时需要局部细节与整体语义的问题，权重分布则覆盖更多视觉层级。

路由差异最终也反映在融合后的空间特征上。

图 7：固定使用 CLIP 第 23 层、平均全部 24 层，以及 DGP 在不同 LLM 层生成的融合特征。

固定单层的空间响应较粗，背景中存在较多干扰；均匀平均虽然加入了多层信息，响应仍较分散。相比之下，论文展示的 DGP 特征具有更清晰的主体轮廓，并更好地保留勺子边缘、建筑边界等局部结构。LLM 第 1、18 和 28 层的融合结果也不相同，进一步说明路由没有塌缩成一套固定模板。

6. 适用边界：这是一个有前景

的连接原则，但还不是最终答案

DGP 当前的主要验证仍集中在 LLaVA-1.5 的 7B/13B 配置，并扩展到 Qwen3-VL-2B 与 LLaVA-NeXT。对于 30B 以上语言模型、更广泛的视觉编码器和更大规模多模态语料，论文尚未完成系统验证。

此外，全层动态连接会引入额外参数与计算量。现有实验中的增量相对有限，但随着模型层数和视觉分辨率继续增长，其扩展效率仍值得进一步研究。

因此，更准确的结论不是「DGP 已解决多模态视觉瓶颈」，而是：论文通过跨架构实验、消融和路由分析提供了证据——在已经测试的模型与数据设置中，视觉—语言连接方式会明显影响多项基准表现，是一个值得继续验证的设计维度。

结语

过去，多模态模型常把视觉编码器当作一次性的信息入口：选定一个层，生成一组视觉 token，然后把后续理解全部交给 LLM。DGP 则把视觉—语言连接从一根固定管道，改造成了一组由语言层状态控制的动态路径。

如果把 ViT 的多层特征看作一座按抽象程度排列的资料库，传统方法更像是在进入 LLM 前复印其中一页，让所有语言层反复阅读；DGP 则允许每个语言层根据当前问题，回到资料库中选择自己需要的页面。

这项工作的启示也因此不止于一个新模块：多模态模型的瓶颈，未必总是视觉编码器不够强、数据不够多或语言模型不够大，也可能来自两种模态之间过于僵硬的「接线方式」。

真正重要的不是让模型无差别地看得更多，而是让它在合适的语言层，用合适的视觉粒度，看见与当前问题真正相关的信息。