知识卡片:ProactEgoMem:流式自我中心视频中的主动记忆基准
一句话结论
ProactEgoMem 是一个评估“主动记忆”能力的基准,要求穿戴式助手在流式自我中心视频中主动判断该记什么、何时开始与停止记忆维护,而不仅是被动回答提问;现有最强模型在该基准上仍无法同时做到及时且准确地捕获记忆。
事件概述或研究问题
当前多模态助手通常是被提示后才去解读眼前的视觉证据。若要让穿戴式助手替用户分担长时段记忆的认知负担,它需要在用户周围环境变化时主动获取并维护有用记忆——这要求识别什么重要、实时理解场景,并在用户专注于自身活动时于后台发起记忆维护。ProactEgoMem 正是为评估这种“主动记忆”而提出的流式自我中心视频基准。
方法/产品要点
- 三类任务(对应环境性需求):
- Information Capture(IC):保留短暂但密集的视觉信息。
- State Tracking(ST):跟踪物体状态的变化。
- Location Tracking(LT):记录物体的移动。
- 两级主动性协议:
- Notification Level:要求给出一次及时、满足用户意图的通知。
- Intervention Level(更深层):要求智能体通过“开始到停止”的工具生命周期,替用户主动维护记忆。
- 数据规模:并行的 ProactEgoMem-Daily 与 ProactEgoMem-Sci 两个赛道,分别含 300/100 个片段,覆盖日常与科研用例;配套 ProactEgoMem-QA 含 1000/500 个问题,用于衡量主动获取记忆的质量。
- 评测对象:涵盖闭源、开源、视频-语言以及流式基线模型。
主要结果或产业意义
在各类基线(闭源、开源、视频-语言、流式)中,即便最强模型也无法做到既及时又准确地捕获记忆。该基准为主动式多模态辅助、以及与用户共处的视频智能体提供了严格的评估基础。
为什么重要
它把评估焦点从“被动问答”转向“主动记忆维护”:助手需要自行判断信息的价值并管理记忆的启停,而非等待提示。这对穿戴式/伴随式视频智能体的实际部署具有直接意义,也补充了现有自我中心视频理解基准(多侧重被动理解或高风险动作识别)未覆盖的“主动性”维度。
局限与不确定性
- 材料仅给出基准设计与总体结论,未披露各基线模型的具体分数与排名,待核实。
- 片段与问题的采集来源、标注流程与质量控制细节,待核实。
- “及时且准确”的具体判定阈值与评分细则,待核实。
- 论文发表信息(arXiv 编号与日期)以来源为准,其真实性待核实。
可用于图书/PPT/简报的角度
- 从“被动响应”到“主动记忆”:多模态助手能力范式的转变。
- 穿戴式助手的记忆启停机制:何时开始记、何时停止记。
- 三类环境性记忆任务(IC/ST/LT)作为主动记忆的能力分解框架。
- 日常 vs 科研双赛道:同一能力在不同场景下的迁移与差异。
与既有脉络的关系
与 EgoPolice(高风险自我中心视频理解)、MemTrapBench(LLM 记忆使用的认知陷阱)、R2M-Bench(交互式视频世界模型的重访记忆)相比,本卡片聚焦的是“流式自我中心视频中主动发起与维护记忆”的评测,增量在于把记忆评估从“是否记住/是否被记忆误导”推进到“是否主动、及时地获取并维护记忆”。
原始材料
- 标题:ProactEgoMem: Benchmarking Proactive Memory in Streaming Egocentric Video
- 作者:Ruotong Liao, Meikel Kokowski, Xiaoxiao Sun, Yongqin Xian, Laura Bravo Sánchez, Shiye Su, Federico Tombari, Serena Yeung-Levy, Volker Tresp
- arXiv ID:2610.30089v1(Primary category: cs.CV)
- 发布/更新:2026-10-21
- 摘要页:https://arxiv.org/abs/2610.30089v1
- PDF:https://arxiv.org/pdf/2610.30089v1
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
它把评估焦点从“被动问答”转向“主动记忆维护”:助手需要自行判断信息的价值并管理记忆的启停,而非等待提示。这对穿戴式/伴随式视频智能体的实际部署具有直接意义,也补充了现有自我中心视频理解基准(多侧重被动理解或高风险动作识别)未覆盖的“主动性”维度。
相关主题
对应的教材知识点
根据卡片内容自动匹配,点击查看已审核的教材讲解: