知识卡片：Gekko：通过重构误差比较改进跨视图补全的自监督预训练

• 一句话结论：Gekko 把跨视图补全中“参考视图对非共视区域几乎只能提供单目信号”的局限转化为自监督训练信号，通过比较跨视图重构误差与掩码自编码误差来预测共视性，进而在零样本对应关系估计、相对位姿估计和点图回归上一致超过 CroCo。

• 事件概述或研究问题：跨视图补全（cross-view completion）是一种从图像对的共视区域学习 3D 特征的自监督预训练方法。已有方法如 CroCo 主要利用参考视图重建目标视图中的被掩码区域；但参考视图对非共视区域的重建几乎没有帮助，这部分实际变成单目训练信号。作者提出一个核心观察：跨视图重构误差相对于掩码自编码误差的“相对改善”可以充当共视性的自监督代理——改善大说明该区域共视，改善可忽略则说明非共视。基于此训练的 Gekko 网络同时执行跨视图补全、掩码自编码和逐像素相对改善预测，无需任何真值 3D 标注即可为所有掩码区域提供额外双目信号。

• 方法/产品要点：

  • Gekko 为从零训练的单一网络，联合完成三项目标：跨视图补全、掩码自编码，以及逐像素预测“跨视图重构误差相对掩码自编码误差的改善程度”。
  • 该逐像素预测通道本身可视为共视性检测器，在未见场景上具有较强表现。
  • Gekko 可搭配简单的基于步长（stride）的课程策略直接利用原始视频训练，省去此前方法所需的繁琐 3D 预处理。
  • 预训练模型与代码据称公开可用。

• 主要结果或产业意义：在相同架构和训练数据条件下，Gekko 在零样本对应关系估计、相对位姿估计和点图回归上持续优于 CroCo；在最严格的相对位姿阈值下精度最高可提升至 6 倍；在 ETH3D 上端点误差下降 22%。其冻结特征也优于已发布的同规模或更大规模的跨视图骨干网络。直接使用原始视频训练的模型可与在精心整理数据上训练的模型匹配。

• 为什么重要：本条是跨视图补全自监督预训练路线的延续与更新，增量信息在于：它不再把参考视图难以重建非共视区域看作纯粹缺陷，而是用它构造出新的自监督共视性信号，从而在不引入 3D 标注、不改变架构与数据规模的前提下，系统超越 CroCo。此外，原始视频训练路径有望降低 3D 预训练对数据预处理的要求。

• 局限与不确定性：

  • 未能抓取论文正文，以上内容基于 arXiv 候选摘要转述；具体实验设置、数据规模、消融细节与实现方式待核实。
  • 论文中“相对改善”作为共视性代理的理论条件边界、失败案例等无法从材料确认，待核实。
  • 代码与预训练模型的具体仓库地址、许可证等细节待核实。
  • “6 倍精度提升”的具体任务阈值与度量细节待核实；需以原始论文为准。

• 可用于图书/PPT/简报的角度：

  • “把缺陷变成信号”：一种自监督训练目标设计的思路启发——从重建误差差异中学习遮挡/共视结构。
  • 3D 视觉预训练的低成本路径：无需 3D 标注，甚至可直接用原始视频训练。
  • 面向机器人/自动驾驶的位姿与点图回归应用潜力：可强调零样本泛化与相对位姿精度提升。

• 原始材料：

  • URL: https://arxiv.org/abs/2609.01530v1
  • Track: academic
  • Topics: foundation-model
  • Manual title: Revisiting Cross-View Completion: Self-Supervised Pre-Training via Reconstruction Error Comparison
  • English Keywords: Cross-View Completion; Self-Supervised Pre-Training; Reconstruction Error Comparison; Co-Visibility; 3D Vision