知识卡片：通过多帧表示预训练进行基于事件的动作识别

一句话结论

该研究提出多帧事件表示与改进的掩码自编码预训练框架，在长时复杂事件序列的动作识别上取得 THU-EACT-50 CHL 和 DailyDVS-200 的最优性能。

事件概述或研究问题

动作识别在机器人、病人监护与监控等场景中十分关键。事件相机因能捕捉快速运动、且相较传统视觉相机更具隐私优势，使基于事件的动作识别受到关注。然而，基于帧的事件表示在短事件序列上表现良好，面对更长、更复杂的事件序列时判别能力急剧下降。本文的核心问题即：如何提升长时、复杂事件序列下的识别性能。

方法/产品要点

• 提出一种多帧表示（multi-frame representation），相较单帧版本显著提升识别性能。
• 采用**掩码自编码（masked auto-encoding）**框架预训练 Vision Transformer。
• 使用稀疏性感知的掩码算法（sparsity-aware masking）与token 选择机制，以提升下游性能并控制计算复杂度。
• 在解码器中引入多个掩码 token（multiple mask tokens），并配合位置感知注意力机制（position-aware attention），进一步提升性能。

主要结果或产业意义

• 在具有挑战性的长时、复杂事件序列上表现优异。
• 在 THU-EACT-50 CHL 与 DailyDVS-200 上取得**当前最优（state-of-the-art）**性能。
• 具体数值指标、消融实验细节待核实（材料未提供）。

为什么重要

事件相机在快速运动捕捉与隐私保护方面具有优势，适用于机器人、监护与监控等实际场景。本文针对长时复杂序列判别力下降这一瓶颈，提出多帧表示与预训练改进方案，为事件视觉在真实长时序任务中的落地提供了可行路径。

局限与不确定性

• 论文的完整方法细节、实验设置、对比基线、具体性能数值，材料中均未提供，待核实。
• 方法的泛化能力、在不同数据集/硬件条件下的表现，待核实。
• 与已有相关卡片（如基于 LoRA 的级联多模态融合用于医疗培训环境中的动作识别）的关系：两者均涉及动作识别，但本文聚焦事件相机与多帧预训练，不构成直接延续或更新，属不同技术脉络。

可用于图书/PPT/简报的角度

• 事件相机 vs 传统相机：隐私与高速运动捕捉的优势对比。
• 长时序列的挑战：为何单帧事件表示在复杂长序列上失效。
• 预训练范式：掩码自编码 + 稀疏感知掩码 + token 选择，如何兼顾性能与算力。
• 解码器设计：多掩码 token 与位置感知注意力的作用。
• 应用场景：机器人、监护、监控中的事件动作识别。

原始材料

• 标题：Event-based Action Recognition by Pre-Training on Multi-Frame Representations
• arXiv ID：2610.13856v1
• 作者：Emma Norrby, Tomas Wilkinson, Per Nyblom, David Gustafsson
• 发布：2026-10-09T17:05:40Z
• 主分类：cs.CV
• Abstract URL：https://arxiv.org/abs/2610.13856v1
• PDF URL：https://arxiv.org/pdf/2610.13856v1
• 关键词（英文）：event-based action recognition, multi-frame representation, masked auto-encoding, Vision Transformer, sparsity-aware masking, token selection, position-aware attention