AI消息速览

ProactEgoMem:流式自我中心视频中的主动记忆基准

事件日期 2026-10-21 · 学术前沿 · 已接受

事件日期2026-10-21
信息日期2026-10-21
入库日期2026-10-23
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:ProactEgoMem:流式自我中心视频中的主动记忆基准

一句话结论

ProactEgoMem 是一个评估“主动记忆”能力的基准,要求穿戴式助手在流式自我中心视频中主动判断该记什么、何时开始与停止记忆维护,而不仅是被动回答提问;现有最强模型在该基准上仍无法同时做到及时且准确地捕获记忆。

事件概述或研究问题

当前多模态助手通常是被提示后才去解读眼前的视觉证据。若要让穿戴式助手替用户分担长时段记忆的认知负担,它需要在用户周围环境变化时主动获取并维护有用记忆——这要求识别什么重要、实时理解场景,并在用户专注于自身活动时于后台发起记忆维护。ProactEgoMem 正是为评估这种“主动记忆”而提出的流式自我中心视频基准。

方法/产品要点

  • 三类任务(对应环境性需求):
    • Information Capture(IC):保留短暂但密集的视觉信息。
    • State Tracking(ST):跟踪物体状态的变化。
    • Location Tracking(LT):记录物体的移动。
  • 两级主动性协议:
    • Notification Level:要求给出一次及时、满足用户意图的通知。
    • Intervention Level(更深层):要求智能体通过“开始到停止”的工具生命周期,替用户主动维护记忆。
  • 数据规模:并行的 ProactEgoMem-Daily 与 ProactEgoMem-Sci 两个赛道,分别含 300/100 个片段,覆盖日常与科研用例;配套 ProactEgoMem-QA 含 1000/500 个问题,用于衡量主动获取记忆的质量。
  • 评测对象:涵盖闭源、开源、视频-语言以及流式基线模型。

主要结果或产业意义

在各类基线(闭源、开源、视频-语言、流式)中,即便最强模型也无法做到既及时又准确地捕获记忆。该基准为主动式多模态辅助、以及与用户共处的视频智能体提供了严格的评估基础。

为什么重要

它把评估焦点从“被动问答”转向“主动记忆维护”:助手需要自行判断信息的价值并管理记忆的启停,而非等待提示。这对穿戴式/伴随式视频智能体的实际部署具有直接意义,也补充了现有自我中心视频理解基准(多侧重被动理解或高风险动作识别)未覆盖的“主动性”维度。

局限与不确定性

  • 材料仅给出基准设计与总体结论,未披露各基线模型的具体分数与排名,待核实。
  • 片段与问题的采集来源、标注流程与质量控制细节,待核实。
  • “及时且准确”的具体判定阈值与评分细则,待核实。
  • 论文发表信息(arXiv 编号与日期)以来源为准,其真实性待核实。

可用于图书/PPT/简报的角度

  • 从“被动响应”到“主动记忆”:多模态助手能力范式的转变。
  • 穿戴式助手的记忆启停机制:何时开始记、何时停止记。
  • 三类环境性记忆任务(IC/ST/LT)作为主动记忆的能力分解框架。
  • 日常 vs 科研双赛道:同一能力在不同场景下的迁移与差异。

与既有脉络的关系

与 EgoPolice(高风险自我中心视频理解)、MemTrapBench(LLM 记忆使用的认知陷阱)、R2M-Bench(交互式视频世界模型的重访记忆)相比,本卡片聚焦的是“流式自我中心视频中主动发起与维护记忆”的评测,增量在于把记忆评估从“是否记住/是否被记忆误导”推进到“是否主动、及时地获取并维护记忆”。

原始材料

  • 标题:ProactEgoMem: Benchmarking Proactive Memory in Streaming Egocentric Video
  • 作者:Ruotong Liao, Meikel Kokowski, Xiaoxiao Sun, Yongqin Xian, Laura Bravo Sánchez, Shiye Su, Federico Tombari, Serena Yeung-Levy, Volker Tresp
  • arXiv ID:2610.30089v1(Primary category: cs.CV)
  • 发布/更新:2026-10-21
  • 摘要页:https://arxiv.org/abs/2610.30089v1
  • PDF:https://arxiv.org/pdf/2610.30089v1

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

它把评估焦点从“被动问答”转向“主动记忆维护”:助手需要自行判断信息的价值并管理记忆的启停,而非等待提示。这对穿戴式/伴随式视频智能体的实际部署具有直接意义,也补充了现有自我中心视频理解基准(多侧重被动理解或高风险动作识别)未覆盖的“主动性”维度。

相关主题

对应的教材知识点

根据卡片内容自动匹配,点击查看已审核的教材讲解: