知识卡片：多模态大模型该在何处连接视觉与语言层级——DGP 动态门控全连接路径

一句话结论

DGP（Dynamic Gated Pathways）在每一层 ViT 与每一层 LLM 之间建立全连接路由，并让每个 LLM 层根据自身语义状态动态门控对不同视觉层（不同粒度）的偏好；在 LLaVA-1.5-7B/13B 上相对 LLaVA-1.5-7B 基线取得一致提升，并在多数基准上超过既有多层视觉融合方法。

事件概述或研究问题

论文关注多模态大模型（MLLM）中一个“核心但未被充分探索”的问题：连接位置（where to connect），即来自层级化视觉编码器的视觉信息应如何接入大语言模型的逐层语义。作者指出主流做法是注入固定的单层视觉表示，并把所有 LLM 层当作单一消费者，忽略了不同层对视觉粒度的需求差异；近期多层融合方法要么在编码器侧压缩层级特征，要么依赖预定义的稀疏或层级式层到层连接，未能建模 ViT 与 LLM 两个层级结构之间自适应的跨层交互。

方法/产品要点

• DGP（Dynamic Gated Pathways）：一种路由机制，在每个 ViT 层与每个 LLM 层之间建立 all-to-all 连接。
• 动态门控：每个 LLM 层以自身语义状态为条件，动态地门控其对各视觉层的偏好（即按需选择视觉粒度）。
• 基座：构建在 LLaVA-1.5-7B 与 LLaVA-1.5-13B 之上。
• 代码开源：https://github.com/YingyingYan1/DGP

主要结果或产业意义

• 相对 LLaVA-1.5-7B 基线取得一致增益，摘要给出的例子包括：SQA$^{I}$ +4.2、MM-Vet +3.3、VizWiz 与 LLaVA$^{W}$ 各 +3.1。
• 在多数基准上超过此前的多层视觉融合方法。
• 逐层路由分析显示：不同 LLM 层确实会按需选择不同的视觉粒度，作者据此同时论证了该动态门控路径的有效性与可解释性。
• 产业意义：为 MLLM 的“视觉—语言接口”设计提供了从“单点固定注入”转向“逐层自适应路由”的可复用范式；具体到 13B 的增益数字、推理开销与延迟影响在摘要中未给出，待核实。

为什么重要

它把“连接位置”从工程超参数提升为可学习、可分析的机制问题：视觉编码器的层级粒度与语言模型的层级语义并非一一对应，固定单层注入相当于强制所有 LLM 层消费同一种视觉抽象。DGP 的全连接 + 动态门控让“哪一层看哪种粒度”由模型自身状态决定，并用路由分析给出可解释证据。这与既有卡片中“剪枝先破坏接地具体性”的观察方向互补——都指向多模态/工具调用系统中“信息接地的层级错配”是性能退化的关键位置，但本条聚焦的是视觉接入路径而非剪枝。

局限与不确定性

• 摘要仅报告相对 LLaVA-1.5-7B 的增益，LLaVA-1.5-13B 上的具体结果数字待核实。
• all-to-all 连接带来的参数量、显存与推理延迟开销，以及门控的计算成本，摘要未说明，待核实。
• 评测范围限于摘要列出的基准（SQA$^{I}$、MM-Vet、VizWiz、LLaVA$^{W}$ 等），“多数基准上超过先前方法”的具体对比清单与差距待核实。
• 路由分析的可解释性结论来自逐层选择统计，其与下游性能的因果性待核实。
• 论文为 arXiv v1（2026-11-04），未经同行评审状态待核实。

可用于图书/PPT/简报的角度

• “接口即架构”：用“单点注入 vs 全连接动态路由”的对比图说明 MLLM 视觉—语言接口的演进逻辑。
• 粒度匹配隐喻：不同 LLM 层像不同岗位的读者，需要的视觉摘要粗细不同；DGP 相当于给每层配一个按需调档的“视觉路由器”。
• 可解释性卖点：逐层路由选择可作为“模型内部需求分化”的可视化证据，适合做示意图。
• 与剪枝/压缩话题对照：同为“少而准地传递信息”，一个在接入侧做路由，一个在参数侧做裁剪，可并列成一节“多模态系统的信息瓶颈设计”。

原始材料

• Title: Where to Connect? Boosting MLLMs via Dynamic Gated Pathways across ALL ViT and LLM Layers
• Authors: Yingying Yan, Jiaqi Tang, Wei Wei, Qianzhou Wang, Lei Zhang, Jianmin Chen, Yuyang Xia, Botong Geng, Jinjian Wu, Qifeng Chen
• Published/Updated: 2026-11-04T18:01:24Z
• Primary category: cs.CV；Categories: cs.CV
• arXiv ID: 2611.06844v1
• Abstract URL: https://arxiv.org/abs/2611.06844v1
• PDF URL: https://arxiv.org/pdf/2611.06844v1
• Code: https://github.com/YingyingYan1/DGP
• Keywords: MLLM; Dynamic Gated Pathways; DGP; ViT-LLM 跨层连接; 多层视觉融合; 视觉粒度; LLaVA-1.5