知识卡片：超越时间线——用接地实体传记增强长视频记忆

一句话结论

材料称，Grounded Entity Biographies（GEB）把长视频中同一物理实例的视觉接地观察跨片段组织为可检索“传记”，并在问答时与情节证据共同检索，从而在多个长视频问答基准上优于既有记忆框架；在 EgoLifeQA 上达到 72.0% 准确率，比已发表最佳结果高 4.4 个百分点。

事件概述或研究问题

长视频问答常需要连接数小时或数天中涉及同一物体的事件。论文指出，按时间线描述和从文本抽取的实体可能无法解决物理身份问题：不同物体可能共享同一描述，而同一物体的多次观察可能在不同事件中断开。因此，检索到相关事件并不一定能恢复问题所指向的特定实体的“传记”。论文提出 GEB 来应对这一问题。

方法/产品要点

• 提出 Grounded Entity Biographies (GEB)，一个长视频记忆框架。
• 核心做法：将跨剪辑（clips）的、属于同一物理实例（same physical instance）的视觉接地观察（visually grounded observations）分组为可检索的 biographies，同时保留每个时刻的上下文。
• 问答阶段：将 biography 与 episodic evidence 一起检索，使模型能利用记忆构建时建立的身份链接（identity links）跟随某一实体穿越多个事件。
• 英文关键词：Grounded Entity Biographies (GEB); long-video memory; grounded identity association; biography reading; episodic evidence; EgoLifeQA; multiple-choice question answering; open-ended question answering.
• 材料未说明模型架构、训练细节、检索器类型或实现成本，待核实。

主要结果或产业意义

• 在四个 benchmark 上评估，包括 day-long 和 week-long recordings。
• 在 multiple-choice 与 open-ended question answering 上，材料称 GEB 相对先前记忆框架均有改进。
• 在 EgoLifeQA 上，GEB 达到 72.0% accuracy，比最佳已发表结果高 4.4 个百分点。
• 消融显示，grounded identity association 与 biography reading 都对增益有贡献；仅增加 descriptions 不能完全恢复这些增益。
• 产业意义：材料未直接给出产品化或部署结果，待核实。可关注的方向是长时视频助手、可穿戴生活日志、机器人长期记忆等需要对同一实体保持身份连续性的场景；这些应用推断需进一步核实。

为什么重要

• 它把长视频记忆的问题从“按时间线摘要/检索相关事件”推进到“按物理实体身份聚合观察”。如果材料结论成立，长视频问答的检索单位不只是事件片段，还可以是实体的跨事件传记。
• 消融结果提示，单纯增加文本描述不足以替代视觉接地的身份关联；身份链接和传记阅读是增益来源。
• 与既有脉络的关系：已有卡片中，PhysStream、MV-Forcing 偏向视频生成与时空/多视角一致性，SportMV-Agent 偏向多视角体育视频的智能体推理；本条关注的是长视频问答的记忆表示与实体身份连续性。其增量在于明确提出 grounded entity biographies 作为检索结构，而不是仅依赖时间线或文本实体。

局限与不确定性

• 四个 benchmark 中除 EgoLifeQA 外，材料未列出其余名称、数据集规模、时长分布和评估指标，待核实。
• open-ended question answering 的具体分数、baseline 细节和消融数值未在材料中给出，待核实。
• 身份关联的错误传播、跨日/跨周实体跟踪的鲁棒性、计算与存储开销、隐私影响均未在材料中展开，待核实。
• 代码、数据、模型权重是否公开，以及同行评审状态，待核实。
• 材料为 arXiv 摘要与元数据，未提供全文细节；上述结论以材料所载为准。

可用于图书/PPT/简报的角度

• 从“时间线记忆”到“实体传记记忆”：长视频理解为何需要跟踪同一个物理实例。
• 检索增强的下一层：不仅找相关片段，还要沿身份链接聚合片段。
• 长时生活日志/可穿戴记忆的架构启示：实体身份连续性可能是问答质量的关键变量（应用落地待核实）。
• 消融启示：仅增加描述不够，视觉接地身份关联与传记阅读缺一不可。
• 与视频生成、多视角推理类工作的对比：不同任务层次对“记忆”的需求不同。

原始材料

• 英文标题：Beyond the Timeline: Augmenting Long-Video Memory with Grounded Entity Biographies
• arXiv ID：2609.38155v1
• 作者：Hui Ren, Lei Fan, Henry Pao, Han Guo, Zeeshan Zia, Ying Chen, Alexander Schwing, Gang Hua
• 发布/更新：2026-09-29T17:59:01Z
• 分类：cs.CV; cs.AI; cs.CL; cs.IR; cs.LG
• Abstract URL: https://arxiv.org/abs/2609.38155v1
• PDF URL: https://arxiv.org/pdf/2609.38155v1
• 来源摘要：Answering questions about long videos often requires connecting events involving the same objects across hours or days. Chronological descriptions and text-derived entities can leave physical identity unresolved: different objects may share a description, while observations of the same object remain disconnected across events. Retrieving relevant events therefore does not necessarily recover the "biography" of the particular entity a question concerns. To address this, we introduce Grounded Entity Biographies (GEB), a long-video memory framework that groups visually grounded observations of the same physical instance across clips into retrievable biographies while preserving the context of each moment. During question answering, the biography is retrieved alongside episodic evidence, allowing the model to follow an entity through events using identity links established during memory construction. Evaluations across four benchmarks, including day-long and week-long recordings, demonstrate improvements over prior memory frameworks in both multiple-choice and open-ended question answering. On EgoLifeQA, GEB achieves 72.0% accuracy, 4.4 percentage points above the best published result. Ablations show that grounded identity association and biography reading both contribute to the gains, which additional descriptions alone do not fully recover.