知识卡片：Caption-once, Frames-on-Demand——预算感知代理式长视频理解的视觉需求路由

一句话结论

CFD 提出一种边缘-云代理式长视频理解框架：边缘端只做一次离线字幕生成，建立“事件级故事骨架 + 片段级微日志”的双轨叙事索引；查询时由云端 MLLM 在语言空间中优先推理，仅当轻量 Visual-Need Router 判断为感知类问题时，才按预算检索关键帧，从而把视觉访问变成查询条件下的显式成本。

事件概述或研究问题

论文关注边缘设备上的长视频理解：需要在严格计算与带宽预算下对数小时内容进行推理。核心矛盾是：对视觉 token 子采样会丢失时间结构，而纯文本视频记忆会丢失细粒度视觉属性。作者观察到一种视觉-文本二元性：语言记忆比密集帧更能承载长程时间结构，而像素对属性级感知仍然关键。因此研究问题可概括为：在预算受限的代理式长视频理解中，如何按查询需求决定“是否需要视觉”以及“需要多少视觉”。

方法/产品要点

• 框架名：Caption-once, Frames-on-Demand，简称 CFD。
• 边缘端：执行单次离线 captioning pass，构建 dual-track narrative index，即 event-level story skeleton 加 clip-level micro-log；索引被缓存并跨查询复用，无需重新 captioning。
• 云侧：MLLM 在索引上进行 story-first loop 推理。
• 核心组件：轻量 Visual-Need Router，作为逐查询门控模块；只对感知类问题触发有界关键帧检索，例如外观、屏幕文字、属性消歧；时间-结构类问题留在语言空间处理。
• 成本机制：把视觉访问变成 first-class、query-conditioned cost；限制每查询帧消耗，且该限制不随视频长度增长。

主要结果或产业意义

• 摘要称：在长视频基准上展示了较强的 accuracy-efficiency trade-offs，并显著减少在线视觉处理。
• 具体基准名称、基线、准确率、延迟、带宽或算力节省数值：待核实，摘要未提供。
• 产业意义：为边缘-云协同长视频分析提供一种“离线语言索引复用 + 在线按需取帧”的设计思路，可能适合带宽与算力敏感场景；真实部署收益与成本结构待核实。

为什么重要

已有相关卡片中，EcoFrame 侧重免训练、查询自适应的视觉证据调度；GenEvA 侧重在选帧/压缩后增加查询相关的跨帧潜在证据聚合；PACR-Video 侧重参数高效的多镜头长视频外推。本条 CFD 的增量在于：它不把视觉帧当作默认输入，而是先构建可复用的语言叙事索引，再通过 Visual-Need Router 将“是否需要视觉”建模为查询条件路由；同时把视觉访问成本显式封顶，面向边缘-云代理式预算约束。它与其他工作的直接可比性和互补性待核实。

局限与不确定性

• 摘要未给出具体实验设置、数据集、基线、准确率与效率数字，待核实。
• 离线 captioning pass 的成本、索引构建时间、缓存大小、跨查询复用率与更新策略未说明，待核实。
• Visual-Need Router 的误判影响、感知问题与时间-结构问题的判定边界、路由准确率未说明，待核实。
• 云端 MLLM 具体模型、边缘设备类型、隐私与数据传输方式、真实带宽条件未说明，待核实。
• 与 EcoFrame、GenEvA、PACR-Video 等已有工作的直接对比结果待核实。

可用于图书/PPT/简报的角度

• “字幕一次，帧按需”：离线索引加在线视觉路由。
• 长视频理解中的视觉-文本二元性：语言保时间结构，像素保属性细节。
• 预算感知代理：把视觉访问建模为查询条件成本，并限制每查询帧预算。
• 边缘-云协同架构：边缘缓存叙事索引，云侧做故事优先推理，按需回取关键帧。
• 与帧选择、潜在证据聚合、参数高效外推等路线的对比：从“选多少帧”转向“何时需要视觉”。

原始材料

• 英文标题：Caption-once, Frames-on-Demand: Visual-Need Routing for Budget-Aware Agentic Long Video Understanding
• 英文关键词：Caption-once, Frames-on-Demand (CFD), Visual-Need Router, budget-aware, edge-cloud, agentic long video understanding, dual-track narrative index, event-level story skeleton, clip-level micro-log, MLLM
• arXiv ID：2609.11899v1
• Authors：Weitong Cai, Hang Zhang, Yukai Huang, Yiqiao Xie, Shan Gao, Jiankang Deng, Songcen Xu, Jifei Song, Zhensong Zhang
• Published：2026-09-10T17:53:59Z
• Updated：2026-09-10T17:53:59Z
• Primary category：cs.CV
• Categories：cs.CV, cs.HC
• Abstract URL：https://arxiv.org/abs/2609.11899v1
• PDF URL：https://arxiv.org/pdf/2609.11899v1