知识卡片：TraVEL：轨迹引导的视频嵌入学习用于驾驶视频检索

英文标题：TraVEL: Trajectory-Guided Video Embedding Learning for Driving-Video Retrieval
英文关键词（据摘要提炼）：Driving-Video Retrieval; Video Embedding; Trajectory-Guided Learning; Multimodal Embedding Model; Group Relative Policy Optimization (GRPO)

一句话结论

TraVEL 通过将自车轨迹相似性作为强化学习奖励来微调多模态视频嵌入模型，使驾驶视频检索在不增加推理阶段负担的情况下，显著提升对左转/右转、加速/减速等运动中心事件的区分能力。

事件概述或研究问题

从大规模驾驶日志中高效检索相关片段，对数据策展、模型开发和安全分析至关重要。传统规则化检索系统可以显式定位驾驶事件，但依赖专家规则、辅助数据和多阶段感知流程；通用多模态嵌入模型虽然简单高效，但往往利用静态场景线索作为捷径，难以区分“左转 vs. 右转”“加速 vs. 减速”这类以运动为核心的驾驶事件。本文研究如何将通用多模态嵌入模型适配到驾驶视频检索任务。

方法/产品要点

• 基础模型：Qwen3-VL-Embedding。
• 第一阶段：在 nuReasoning 的成对视频片段和推理轨迹上，使用 InfoNCE 目标进行微调。该阶段显著改善整体检索，但仅靠文本/推理描述监督不足以支持细粒度运动理解。
• 第二阶段：提出 TraVEL（Trajectory-Guided Video Embedding Learning），使用自车轨迹相似度作为 Group Relative Policy Optimization（GRPO）的奖励信号，进行运动感知微调。
• 轨迹仅作为“特权训练监督”使用；推理时仍然只使用单向量视频嵌入，不需要自车姿态、专家规则或辅助感知输出。
• 进一步基于 nuReasoning 构建了驾驶视频检索基准。

主要结果或产业意义

• 相对于仅使用 SFT 的基线，TraVEL 在纵向 mAP 上的提升：2B 模型为 +9.8 点，8B 模型为 +7.2 点；横向 mAP 提升：2B 模型为 +4.7 点，8B 模型为 +1.5 点。
• 结果显示，物理轨迹监督可以被“压缩”进视频嵌入表示中，同时保持单向量检索的高效性。
• 对自动驾驶日志数据策展、模型训练数据筛选、场景复现与安全分析等应用具有潜在价值。

为什么重要

TraVEL 展示了“物理轨迹特权监督 + 单向量视频检索”的新范式：训练时使用轨迹信息，推理时完全不需要轨迹或感知输出，从而兼顾物理层面的运动理解与部署时的检索效率。与已有相关卡片涉及的组合图像检索、流形学习或机器人强化学习不同，本条聚焦于驾驶视频检索中的细粒度运动感知，其增量在于将轨迹相似性转化为嵌入模型的学习信号。

局限与不确定性

• 摘要未报告计算开销、训练稳定性、消融细节或失败案例，待核实。
• 轨迹作为特权监督意味着训练阶段仍然需要自车轨迹数据；对没有轨迹记录的数据集是否适用，待核实。
• 实验基于 nuReasoning 构建的基准开展，尚不清楚在其他驾驶视频数据集上的泛化表现，待核实。
• 该条目为 arXiv v1 预印本，正式期刊/会议发表状态待核实。

可用于图书/PPT/简报的角度

• 作为“多模态嵌入模型在细粒度视频理解中的瓶颈与改进”的案例。
• 解释“特权信息”概念：训练时使用轨迹，推理时不用，从而兼顾物理感知与部署效率。
• 展示强化学习（GRPO）不只用于生成任务，也可用于优化检索嵌入。
• 强调自动驾驶数据闭环中“视频检索”环节的重要性。

原始材料

• 标题：TraVEL: Trajectory-Guided Video Embedding Learning for Driving-Video Retrieval
• 作者：Yi-Chung Chen, Philip Jacobson, Tom Lampo, Yiren Lu, Jin Yao, David I. Inouye, Jing Gao, Danhua Guo, Burhan Yaman
• arXiv ID：2608.13495v1
• 发布日期：2026-08-13
• 类别：cs.CV, cs.LG
• 摘要链接：https://arxiv.org/abs/2608.13495v1
• PDF 链接：https://arxiv.org/pdf/2608.13495v1