知识卡片：RepProbe——视频语言模型能否数清重复动作？

一句话结论

RepProbe 是一个用于诊断视频语言模型“重复动作计数”能力的基准，初步证据显示模型能在表示层保留计数信息，却在输出层无法可靠报告正确次数；由于未抓取到正文，具体数值与实验细节待核实。

事件概述或研究问题

• 计数重复动作要求模型在时间维度上识别并枚举动作周期。
• 研究发现：最先进的视频语言模型虽然能流畅描述动作，却无法可靠计数动作重复了多少次。
• 为定位这一失败，作者提出诊断性基准 RepProbe，并试图回答：计数失败发生在模型的哪个阶段？

方法/产品要点

• 数据集规模：42K 真实与合成视频片段。
• 计数范围：每段包含恰好 k 次完整重复，k ∈ [1, 20]。
• 控制变量：片段位置、时间覆盖范围、时长。
• 对照设计：
  • 将模型输出与在“生成该输出所用的最后一层表示”上训练的线性探针进行比较。
  • 用于检验计数信息是否仍可线性解码。

以上均来自提供的摘要信息；数据构建细节、模型清单与评测协议待核实。

主要结果或产业意义

• 在评估的视频语言模型上，高计数时计数准确率出现崩塌。
• 控制实验显示，这一崩塌不能仅由帧采样解释。
• 存在一致的“表示—输出分离”：即使模型报错，计数信息仍可在线性探针中被大量解码。
• 失败主要发生在输出阶段：答案集中在少数偏好的数字上，而非使用可用的计数信息。
• 该分离在真实与合成视频上均成立，且不能由片段时长、位置或场景内容解释。
• 结论：模型编码了重复结构，但无法在输出中可靠报告。
• 具体准确率、模型数量、效应量等待核实。

为什么重要

• 与“HumanCLAW：视觉语言模型能否通过身体行动？”同属对视频/具身语言模型能力边界的诊断，但 RepProbe 聚焦时间计数这一更细粒度的能力。
• 与 SPEARBench 类似，RepProbe 也属于“模型在常规指标上表现良好、但在特定维度上暴露系统性缺口”的评测思路。
• 指出“表示—输出分离”意味着仅扩大模型或改进表示未必解决计数问题，可能需要针对输出阶段的对齐或解码改进。
• 对需要精确时间计数的应用（如体育分析、实验记录、监控、教学）具有直接风险提示。

局限与不确定性

• 未抓取到论文正文，摘要之外的信息待核实。
• 摘要未列出具体模型名称、参数量与评测配置，待核实。
• “大量计数信息可线性解码”的具体比例与统计显著性待核实。
• 输出集中在少数偏好数字的具体分布待核实。
• 数据集构建、真实/合成视频比例与标注流程待核实。
• 是否能推广到更长视频、更多动作类别、其他模态，待核实。

可用于图书/PPT/简报的角度

• “能描述≠能计数”：视频语言模型在时间量化上的系统性缺口。
• 表示与输出的分离：模型内部知道答案，却说不出来。
• 诊断性基准的设计思路：控制位置、覆盖、时长以隔离失败原因。
• 与 HumanCLAW、SPEARBench 并列，构成“视觉/语音语言模型能力边界”的案例组。

与既有脉络的关系

• 延续“对多模态语言模型进行细粒度能力诊断”的脉络，与 HumanCLAW（身体行动）、SPEARBench（对话自然度）形成互补：本条关注时间计数。
• 增量信息：首次（在已有卡片范围内）引入“表示—输出分离”这一解释框架，将失败定位到输出阶段。

原始材料

• 标题：RepProbe: Can Video Language Models Count Repeated Actions? A Diagnostic Benchmark
• 来源：arXiv
• URL：https://arxiv.org/abs/2610.18844v1
• 项目页：https://arenaa.github.io/RepProbe-webpage/
• Track：academic
• Topics：foundation-model
• 摘要要点：42K 真实与合成视频；k ∈ [1, 20]；控制位置、时间覆盖、时长；高计数准确率崩塌；非帧采样可解释；表示—输出分离；失败主要在输出阶段；真实与合成视频一致。