知识卡片：EgoActionBench——面向自我中心人类视频的密集动作描述基准

一句话结论

EgoActionBench 是一个面向自我中心（egocentric）人类视频的密集动作描述基准，将连续操作拆解为带时间定位、关联左手/右手/双手的原子动作，并用新评测协议同时考察“做了什么、何时发生、哪只手执行”；20 个基线模型在此暴露出动作原子性、时间精度与手-动作关联上的明显不足。

事件概述或研究问题

• 研究动机：从人类数据学习被视为通往具身智能的可扩展路径，但前提是模型能准确理解自我中心观察中的细粒度人类动作。
• 问题定位：现有基准在三个维度上受限——动作原子性（action atomicity）、时间精度（temporal precision）、手-动作关联（hand-action association）。
• 论文提出 EgoActionBench，把连续人类操作表示为时间局部化的原子动作，并标注其由左手、右手还是双手执行。

方法/产品要点

• 数据规模：1,407 个 episode，41,132 条经人工精修（human-refined）的动作标注。
• 评测协议：先检索时间上符合条件的候选，再按内容一致性选择预测，然后对语义保真度与时间重叠打分，并结合动作精确率与召回率，联合刻画 what / when / which hand。
• 基线评测：在 EgoActionBench 上评测 20 个基线模型与系统。
• 模型适配：对 Qwen3-VL-4B 与 LLaVA-OneVision-2-8B 两个骨干，先在自动标注的训练 episode 上做监督微调，再做强化学习。

主要结果或产业意义

• EgoAction 适配使两个骨干的 EgoActionScore 分别提升 15.9 与 23.2 分。
• 两个适配后模型均优于所有开源基线。
• 实验显示当前模型在动作原子性、时间精度、手-动作关联方面仍有显著局限，说明通用视频理解与具身智能所需的动作理解之间存在差距。

为什么重要

• 对具身智能：明确了“从人类视频学习”在数据与评测层面的一个关键缺口——不仅要识别动作类别，还要定位动作边界并区分执行的手。
• 对评测方法：提出兼顾语义与时间、并引入手别关联的密集预测评分流程，为后续密集动作描述研究提供可复用的评测思路。
• 与既有脉络的关系：已有卡片中，Zero-WAM 关注以人类视频作上下文指令的机器人操作泛化，G3Ego 关注注视引导的自我中心动作识别，SBS 关注弱监督密集视频描述的事件定位；本条补充的是“自我中心人类视频的密集原子动作描述基准与评测协议”，增量在于手别关联与时间局部化的联合评测，而非单一识别或描述任务。

局限与不确定性

• 论文摘要未给出各基线模型的具体分数分布与失败类型细分，待核实。
• 训练用 episode 为自动标注（automatically annotated），其标注质量与人工精修测试标注之间的差异影响待核实。
• 基准覆盖的任务/场景范围、数据来源与采集条件，摘要未说明，待核实。
• 评测协议中“内容一致性选择预测”的具体实现细节与阈值，待核实。

可用于图书/PPT/简报的角度

• “从看懂视频到看懂动作”：通用视频理解与具身动作理解之间的能力鸿沟。
• 数据标注粒度：原子动作 + 时间定位 + 手别关联，作为人类视频数据的新标注范式。
• 评测设计：如何同时衡量“做什么、何时做、哪只手做”。
• 小模型适配路径：SFT + RL 在自动标注数据上提升密集动作描述能力的效果量级。

原始材料

• 标题：EgoActionBench: Benchmarking Dense Action Captioning for Egocentric Human Videos
• arXiv ID：2611.03646v1
• 作者：Yujiao Shen, Jiahe Song, Haitian Li, Jingkang Yang, Ziwei Liu
• 发布/更新：2026-11-02T18:59:29Z
• 主分类：cs.CV；分类：cs.CV
• Abstract URL：https://arxiv.org/abs/2611.03646v1
• PDF URL：https://arxiv.org/pdf/2611.03646v1
• 关键词：egocentric video；dense action captioning；action atomicity；temporal precision；hand-action association；embodied intelligence；benchmark