知识卡片：按需分配视觉Token——面向多图推理的视觉预算方法

一句话结论

mmVB 是一个轻量、即插即用的模块，通过跨图像上下文为每张图分配查询条件下的 token 预算，在不重训基础模型、不访问注意力矩阵的前提下，将视觉输入 token 减少 9 倍，并保留约 94.4% 的全分辨率准确率。

事件概述或研究问题

多模态大语言模型（MLLM）多数针对单图输入优化，而多图推理代价高昂：每张图都会增加大量视觉 token，抬高编码与注意力开销。现有多数 token 削减技术（视觉 token 剪枝、合并、压缩、学习式重采样、层次压缩、检索增强视觉推理、记忆式架构）主要面向单图场景，其冗余以空间和局部为主。多图推理带来额外难点：冗余可能跨图像出现，任务相关证据可能稀疏或分散，且对单图做激进压缩会删掉比较、计数、时序推理、检索或证据定位所需的细节。此外，现有方法要么免训练但推理效率低（依赖访问注意力矩阵获取 token 重要性，而 FlashAttention 等内存高效实现难以访问），要么依赖训练（需重训或适配基础 MLLM 到新的压缩 token 范式）。本文研究在不重训基础模型、不在推理时访问注意力矩阵的条件下实现可扩展的多图推理与理解。

方法/产品要点

• 提出 mmVB：轻量、即插即用（plug-and-play）模块。
• 通过跨图像上下文，为每张图分配查询条件（query-conditioned）的 per-image token 预算。
• 仅增加 1.6M 可训练参数。
• 不重训基础模型；推理时不访问注意力矩阵。

主要结果或产业意义

• 视觉输入 token 减少 9 倍。
• time-to-first-token 加快 5 倍。
• prefill FLOPs 减少 7 倍。
• 在八个多图推理基准上保持全分辨率准确率的 94.4%。

为什么重要

多图推理是 MLLM 应用扩展的关键瓶颈之一，视觉 token 随图像数量线性增长会推高编码与注意力成本。mmVB 的增量价值在于：把“压缩”从单图的空间局部冗余问题，重述为跨图像的、查询条件的预算分配问题；同时避开两条既有路线的代价——既不依赖难以与 FlashAttention 兼容的注意力矩阵访问，也不需要重训基础模型。其 9 倍 token 压缩与 5 倍首 token 延迟改善，指向多图场景下更可扩展的推理部署路径。

局限与不确定性

• 摘要未给出八项基准的具体名称、任务类型与各基准的单独表现，待核实。
• 未说明 mmVB 与基础 MLLM 的接入方式、训练数据规模与训练成本，待核实。
• 未给出与具体既有方法（如各类剪枝、合并、重采样）的逐项对比数字，待核实。
• “保持 94.4% 全分辨率准确率”为跨八项基准的整体性描述，其统计口径（平均或加权）待核实。
• 论文发表信息显示为 arXiv 预印本（arXiv:2610.18858v1，2026-10-13），是否经同行评审待核实。

可用于图书/PPT/简报的角度

• “按需分配”：把视觉 token 预算从固定/均匀分配，改为由查询与跨图上下文决定的动态分配。
• 多图 vs 单图：冗余从空间局部变为跨图分布，压缩策略需要重新设计。
• 工程约束驱动的设计：为什么“不访问注意力矩阵”和“不重训基座”是部署层面的硬约束。
• 效率—精度权衡的具体刻度：9x token 压缩、5x 首 token 加速、7x prefill FLOPs 下降，同时保留 94.4% 准确率。

与既有脉络的关系

与已有多模态卡片关注的数据集构建（TikStance）、蒸馏中的视觉证据归因（VAD）、视觉原生推理的训练与验证平台（VBVR-Pro）不同，本卡片聚焦 MLLM 多图推理的推理效率与 token 预算分配机制，属于面向部署成本的基础模型效率方向。

原始材料

• Title: Visual Tokens on Demand: Visual Budgeting for Scalable and Efficient Multi-Image Reasoning in Multimodal LLMs
• Authors: Aimon Rahman, Joymallya Chakraborty, Vidit Bansal, Abhishek Dan
• Published: 2026-10-13T17:59:24Z
• arXiv ID: 2610.18858v1
• Primary category: cs.CV
• Abstract URL: https://arxiv.org/abs/2610.18858v1
• PDF URL: https://arxiv.org/pdf/2610.18858v1
• Keywords: Multimodal LLMs; Multi-Image Reasoning; Visual Token Compression; Visual Budgeting; Efficient Inference