知识卡片：什么、哪里、如何：探测视频基础模型中的时空表征

一句话结论

通过逐层轻量探测发现，自监督视频基础模型 V-JEPA 2 与 VideoMAE-v2 在约 60–70% 网络深度处能高精度地解码“相机运动”（ROC AUC > 90），异常检测达到中等水平（ROC AUC > 60），但对直观物理任务接近随机水平；同时，单个视频的时间特征在表征空间中形成平滑的低维轨迹，基于该几何结构可用样条引导生成比线性插值更平滑、时间推进更连贯的视频插值结果。

事件概述或研究问题

自监督视频基础模型能够学习丰富的时空表征，但学界仍不清楚：

这些表征究竟编码了哪些视觉概念（what）；
它们出现在 Transformer 的哪些层（where）；
它们在表征空间中如何被几何组织（how）。

该工作通过系统逐层分析 V-JEPA 2 和 VideoMAE-v2，尝试回答上述三个问题。论文选择了三个与时间相关的属性进行探针测试：相机运动理解、直观物理、异常检测。

方法/产品要点

模型：V-JEPA 2、VideoMAE-v2。
方法：使用轻量探针（lightweight probes）在不同网络深度上检测表征是否包含指定属性。
探测属性：
- 相机运动理解；
- 直观物理；
- 异常检测。
几何分析：考察单个视频的时间特征在表征空间中是否形成有结构的轨迹。
生成/编辑操作：提出几何感知的样条引导方式，在模型潜在表征中对相机运动进行插值。

主要结果或产业意义

相机运动：两个模型均编码该信息，最佳解码效果出现在约 60–70% 网络深度，ROC AUC > 90。
异常检测：两个模型表现中等，ROC AUC > 60。
直观物理：接近随机水平，提示模型对深层物理推理的编码可能有限。
表征几何：单个视频的时间特征在表征空间中形成平滑低维轨迹；相机运动不仅线性可解码，而且具有几何组织性。
插值效果：基于样条的潜在表征引导生成的视频，比线性插值具有更平滑的轨迹和更连贯的时间推进。

这些结果对视频基础模型的可解释性评估、表征操控以及可控视频编辑/插值具有潜在参考意义；具体产业落地价值需结合下游任务进一步验证。

为什么重要

该工作把“模型学到了什么”的问题，推进到“概念在哪个深度出现”以及“表征如何几何组织”的层面。通过定位视频基础模型中相机运动等信息的高可解码区域，并展示时间特征的低维轨迹结构，为后续机制可解释性、特征操控和可控生成提供了实证基础。

与既有脉络的关系：此前相关卡片分别考察了代码模型表征中的任务与模型个体差异、音频基础模型中的系统发育信号；本条把类似的“表征内容 + 组织方式”视角引入视频基础模型，并同时覆盖下游探测与插值生成，形成了从“读取表征”到“操纵表征”的增量信息。

局限与不确定性

本卡片基于给定元数据和候选摘要生成，原始论文正文未能抓取；所有未在候选摘要中明确出现的实验细节均为“待核实”。
探针的具体结构、训练方式、数据集构成、ROC AUC 的置信区间和显著性检验等尚待核实。
结论仅针对 V-JEPA 2 和 VideoMAE-v2 两个模型以及三个探测属性，不一定能推广到其他视频基础模型。
直观物理任务接近随机，可能受任务设计或标签生成方式影响；不能据此断言模型完全不包含物理知识。
样条引导插值的具体评价指标、是否仅适用于相机运动等，均待核实。

可用于图书/PPT/简报的角度

把视频基础模型“拆开看”：绘制概念在哪里涌现的深度地图。
用“探针测试”比喻：像做认知测验一样询问模型是否理解运动、物理和异常。
表征不是杂乱点云，而是光滑轨迹：借几何结构实现更连贯的视频插值。
从“读懂表征”到“操纵表征”：展示一条从探测、定位到潜在空间编辑的研究思路。

原始材料

英文标题：What, Where, and How: Probing Spatiotemporal Representations in Video Foundation Models
英文关键词：video foundation models; spatiotemporal representations; probing; V-JEPA 2; VideoMAE-v2（依据标题与摘要提炼；原始关键词待核实）
原始来源：arXiv:2609.01551v1
URL：https://arxiv.org/abs/2609.01551v1