知识卡片：全景视频推理的基准与自举

一句话结论

该研究提出首个手工标注的全景视频理解基准 PanoVideoBench，并配套构建全景视频推理数据集与训练方法，使通用视频多模态大模型在全景推理上达到 55.7%，较基线提升 12.5 个百分点。

事件概述或研究问题

全景视频记录相机四周所有方向，但关键证据可能出现在不同方向、不同时刻。理解这类视频要求模型把视野球面上的观测与时间维度联系起来。论文针对“模型是否具备跨视角与跨时间的全景推理能力”这一问题，先建立评测基准，再针对暴露出的短板构建训练数据与方法。

方法/产品要点

• PanoVideoBench：首个手工标注的全景视频理解综合基准，含 1,000 道题，覆盖 5 个类别、15 种题型，并提供目标搜索与全景能力的诊断性标注。
• 模型评测：评估 11 个模型，涵盖闭源、开源及全景专用模型。
• PanoVideoCoT：首个基于真实全景视频的推理数据集，通过“球面—时间 grounded 合成”将已验证的全景观测与成功的智能体探索转化为 13,465 个 QA-CoT 对。
• PanoVideoReasoner：以通用视频 MLLM 为起点，经全景 CoT 监督微调（SFT）与 Evidence-Privileged On-Policy Self-Distillation 训练；后者是 Vision-OPD 中 OPSD 的全景实例，教师模型用已验证的透视视角引导学生的自生成轨迹。

主要结果或产业意义

• PanoVideoBench 上达到 55.7%，较骨干模型提升 12.5 点，较此前 SOTA 提升 2.6 点。
• 性能增益集中在基准所暴露的同类空间、跨视角与时间能力上，说明基于球面—时间的监督能让通用视频 MLLM 获得全景推理能力。
• 评测识别出跨视角跟踪与球面—时间证据整合是现有模型最弱的能力。

为什么重要

全景视频在安防、机器人、虚拟现实等场景中日益常见，但现有视频理解评测多针对普通视角视频。该工作把“看全 360° 并把不同方向、不同时刻的证据串起来”作为独立能力来测量和训练，提供了可诊断的基准与可复用的数据合成路径，属于全景视频理解方向的基础设施性贡献。

局限与不确定性

• 基准规模为 1,000 题，覆盖 15 种题型，其细分难度分布与标注一致性细节待核实。
• PanoVideoCoT 的“已验证”观测与智能体探索的具体筛选流程、成功率未在摘要中说明，待核实。
• 55.7% 的绝对水平仍意味着相当比例题目未答对，方法上限与误差来源待核实。
• 与 Vision-OPD/OPSD 的具体差异及自蒸馏稳定性待核实。

可用于图书/PPT/简报的角度

• 作为“视频理解从平面走向球面”的案例：评测维度如何随传感器形态变化而扩展。
• 作为“基准驱动训练”的范式示例：先诊断短板，再用合成推理数据与自蒸馏补齐。
• 作为多模态大模型能力短板的证据：跨视角跟踪与球面—时间整合仍是薄弱环节。
• 作为数据合成方法案例：把智能体探索与验证过的视角转化为思维链监督。

原始材料

• 标题：Think in 360°: Benchmarking and Bootstrapping Panoramic Video Reasoning
• arXiv ID：2610.42082v1
• 作者：Lidong Lu, Lidong Zou, Xinyi Mao, Jiaxin Lv, Zhenquan Li, Liangrui Dong, Tong Lu, Guo Chen
• 发布：2026-10-30
• 主分类：cs.CV
• 摘要页：https://arxiv.org/abs/2610.42082v1
• PDF：https://arxiv.org/pdf/2610.42082v1
• 关键词：panoramic video understanding；video MLLM；chain-of-thought；on-policy self-distillation；benchmark