LeVJEPA 是首个在 LeJEPA 无坍塌目标下训练的视频编码器,完全去除 EMA 目标编码器、stop-gradient 和容量受限预测器等常见启发式部件,仅保留“编码器 + 投影器”结构,并用 SIGReg 正则化以可证明的方式防止表征坍塌,从而在显著降低视频预训练计算成本的同时,匹配或超越现有方法。
值得关注:LeVJEPA 表明,视频预训练不一定需要复杂的非对称机制或像素重建。通过理论上有保证的正则化,可以将目标简化为单一超参数,同时实现数量级的计算节省,并保持甚至提升下游性能。该工作为视频作为通用视觉表征训练基底提供了新…