知识卡片：复用视频扩散 Transformer 实现跨视角时序物体对应

一句话结论

XTrack 把预训练视频 DiT 改造为统一的跨视角时序物体对应框架，通过 RGB-to-mask 潜在传输联合建模跨视角匹配与时间跟踪，并借助注意力对齐、难负样本条件与伪标签管线解决跨视角定位不准和稠密标注缺失问题。

事件概述或研究问题

• 论文提出“跨视角时序物体对应”任务：给定一个查询掩码，需要在两个视角和时间维度上同时保持同一物体的身份一致性。
• 现有方法多依赖逐帧匹配或序列跟踪，在物体外观变化或遮挡时容易传播对应错误。
• 核心难点有二：一是朴素视频 DiT 并不保证准确的跨视角 grounding，容易关注到语义相似但错误的物体；二是缺乏稠密标注，难以进行视频级训练。

方法/产品要点

• XTrack 框架：复用预训练视频 DiT 的语义与时空先验，执行 RGB 到掩码的潜在传输，将跨视角匹配与时序跟踪放在一个统一模型中联合建模。
• 跨视角注意力增强：
  • focal cross-view attention alignment（聚焦式跨视角注意力对齐）；
  • hard negative conditioning（难负样本条件）；
  • local context crop（局部上下文裁剪）策略，用于保证可靠的跨视角 grounding。
• 伪标签策展管线：将 Ego-Exo4D 的稀疏标注转换为稠密监督，从而支持有效的视频级训练。

主要结果或产业意义

• 摘要称实验结果表明 XTrack 作为统一框架有效，能够保证稳健的时间一致性与身份保持。
• 具体量化指标、对比基线及数据集上的数值结果在摘要中未给出，待核实。
• 产业意义上，该工作展示了将视频生成模型（视频 DiT）复用于跨视角感知与跟踪任务的可行性，对机器人、第一人称/第三人称协作感知等场景有潜在参考价值。

为什么重要

• 把“跨视角匹配”和“时序跟踪”从两套流水线合并为一个统一框架，减少逐帧匹配或顺序跟踪带来的误差累积。
• 针对视频 DiT 直接用于跨视角任务时的注意力错位问题给出明确的结构性修正手段，而非仅靠微调。
• 伪标签策展思路缓解了跨视角视频数据稠密标注昂贵的问题，为利用稀疏标注数据集（如 Ego-Exo4D）提供了一条可复用的路径。
• 与既有卡片的关系：DreamHand 同样将视频扩散模型改造为几何/运动恢复编码器，本条则将其用于跨视角时序物体对应，属于“视频 DiT 复用”脉络下的新任务扩展；与 SlotDiT、MV-Forcing 在“扩散 Transformer 的时空表征与多视角一致性”主题上相邻，但任务目标不同。

局限与不确定性

• 摘要未披露具体数据集划分、评测指标数值与消融结果，性能提升幅度待核实。
• 伪标签管线的标注质量与噪声水平、对 Ego-Exo4D 以外数据集的泛化能力，待核实。
• 方法对预训练视频 DiT 骨干的依赖程度、推理开销与实时性，待核实。
• 论文发布时间为 2026-10-27，作者与机构信息以原文为准。

可用于图书/PPT/简报的角度

• “生成模型不止于生成”：视频 DiT 作为时空先验骨干，被复用于对应、跟踪等判别式任务。
• 跨视角感知的统一建模范式：匹配与跟踪一体化的动机与收益。
• 注意力错位的工程修正：focal attention alignment、难负样本条件、局部裁剪三件套的通用性。
• 数据侧创新：稀疏标注到稠密监督的伪标签策展流程，可作为“小标注撬动视频级训练”的案例。
• 第一人称—第三人称（Ego-Exo）协作感知的应用想象。

原始材料

• Title: Repurposing Video Diffusion Transformers for Cross-View Temporal Object Correspondence
• arXiv ID: 2610.37633v1
• Authors: Siyoon Jin, Dahyun Chung, Honggyu An, Sangbeom Lim, Wonjin Nam, Jaewoo Jung, WonJun Moon, Seungryong Kim
• Published: 2026-10-27T17:53:34Z
• Primary category: cs.CV
• Abstract URL: https://arxiv.org/abs/2610.37633v1
• PDF URL: https://arxiv.org/pdf/2610.37633v1
• Keywords: cross-view temporal object correspondence; video diffusion transformer; XTrack; RGB-to-mask latent transport; focal cross-view attention alignment; hard negative conditioning; pseudo-label curation; Ego-Exo4D