知识卡片：视觉 Token 路由——让计算机使用智能体只保留关键视觉 Token

一句话结论

VTR（Visual Token Routing）通过联合训练视觉语言模型与轻量级时空路由器，让计算机使用智能体在动作预测时只保留必要的视觉 token，从而大幅降低推理成本；具体方法与实验细节待核实。

事件概述或研究问题

计算机使用智能体（Computer-use agents, CUAs）在多项长程基准上已达到超人类表现，但其计算成本限制了在长程任务与实时场景（如电子游戏）中的应用。关键瓶颈在于：每张截图被表示为数千个视觉 token，随着智能体在长交互历史上推理，这些 token 会累积成长上下文。研究观察是，多数视觉 token 要么与下一步动作语义无关，要么在相邻截图之间时间冗余。VTR 即针对这一冗余问题提出稀疏视觉表示学习框架。

方法/产品要点

• 联合训练框架：VTR 同时训练视觉语言模型和一个轻量级时空路由器（spatio-temporal router）。
• 路由机制：路由器检查当前截图与上一张截图中每个图像区域，决定其视觉 token 是否进入语言模型。
• 优化目标：使用自适应损失（adaptive loss）优化路由器，在尽可能减少视觉 token 数量的同时最小化性能退化。
• 训练效率：仅需 2,000 个训练步骤。
• 代码与模型已公开，项目页为 https://pranjal2041.github.io/vtr。
• 以上要点来自元数据摘要，具体网络结构与损失函数形式待核实。

主要结果或产业意义

• 性能持平：在 OSWorld、CUA-World 与视频游戏动作预测任务上，VTR 匹配全分辨率模型的表现。
• Token 节省：视觉 token 使用量减少 2.5–5.8 倍。
• 成本与速度：推理成本最多降低 3.3 倍，预填充（prefill）速度最多提升 2.9 倍。
• 对比基线：在 OSWorld 上，VTR 比降低图像分辨率和其它丢 token 基线高出最多 12.8 个百分点。
• 产业意义：使计算机使用智能体以更低计算成本处理长程任务与实时交互场景。
• 上述数字均引自元数据摘要，实验设置与统计口径待核实。

为什么重要

长程交互历史中的视觉 token 膨胀是 CUA 落地的核心成本瓶颈之一。VTR 的思路不是简单降分辨率或事后丢弃 token，而是让路由器在时空两个维度上学习“哪些区域值得进入语言模型”，并与模型联合优化。与已有的 ReToken（从预填充 KV 缓存中检索稀疏视觉 token）和 HierDoc（页到区域的层次化证据路由）相比，VTR 的增量在于面向 CUA 连续截图流的时空路由与联合训练；三者均属“稀疏视觉证据选择”脉络，但任务与路由粒度不同（此对比为分析性说明，非材料原文结论）。

局限与不确定性

• 来源正文未能抓取，本卡片仅基于标题、摘要等元数据生成，方法细节、实验配置、消融结果与开源许可均待核实。
• 路由器在分布外任务上的泛化能力、对高动态画面（如快速变化的游戏场景）的鲁棒性待核实。
• 2,000 步训练所依赖的基座模型与数据规模待核实。
• “超人类表现”等表述的具体基准与评测口径待核实。

可用于图书/PPT/简报的角度

• 成本视角：用“token 膨胀—稀疏路由—推理降本”的因果链说明 CUA 的工程瓶颈与解法。
• 方法对比图：将 VTR（时空路由、联合训练）与降分辨率、直接丢 token、KV 缓存检索（ReToken）并置对比。
• 实时性叙事：以预填充加速 2.9 倍为引子，讨论 CUA 进入游戏与实时交互场景的可能性。
• 研究脉络：作为“稀疏视觉证据选择”系列的一环，串联 ReToken、HierDoc 与 VTR 的不同路由粒度。
• 引用具体数字时需标注“据摘要，待核实”。

原始材料

• 标题：Visual Token Routing: Learning to keep tokens that matter
• 来源：arXiv，https://arxiv.org/abs/2611.06854v1
• 项目页：https://pranjal2041.github.io/vtr
• 关键词（英文）：Visual Token Routing, Computer-use agents, sparse visual representations, spatio-temporal router, adaptive loss, prefill speedup
• 说明：正文未能抓取，以上内容仅基于已知元数据，标注“待核实”处需以原文为准。