知识卡片：FineX：基于交叉注意力潜空间稀疏专家的细粒度动作识别

一句话结论

FineX 将细粒度动作线索分解为 RGB 外观、姿态热图几何和骨骼图拓扑三路表征，通过成对交叉注意力与潜空间稀疏专家混合（Sparse MoE）进行融合，在 Gym99、Gym288 和 Diving48 上达到当前最优结果；在长尾分布明显的 Gym288 上，平均类准确率从 68.6% 提升到 76.2%（+7.6 个百分点），且不依赖文本监督或大规模视觉-语言预训练。

事件概述或研究问题

细粒度人体动作识别（Fine-grained Human Action Recognition, FHAR）需要区分视觉上相似、但主要差异体现在身体配置、动作节奏或局部外观上的动作。

RGB 表征能保留视觉上下文，但容易弱化关节点级别的几何信息。
骨骼表征能编码运动学信息，但会丢失密集空间细节。
FineX 的目标是同时利用两种互补信息，并避免单流信息被另一流压制。

方法/产品要点

三路分解：将细粒度线索分解为：
- RGB 外观
- 姿态热图几何
- 骨骼图拓扑
成对交叉注意力：在 RGB、姿态热图、骨骼图三路表征之间进行两两信息交换，采用对称且保持流结构的方式。
潜空间稀疏专家混合：每一路表征被路由到共享专家中与内容相关的子集，而不是让所有专家处理所有输入。
负载均衡正则化：对专家使用情况施加负载均衡约束，避免路由坍塌。
不依赖文本监督或大规模视觉-语言预训练。

主要结果或产业意义

在 Gym99、Gym288、Diving48 上取得当前最优结果。
在长尾分布明显的 Gym288 上，将平均类准确率从 68.6% 提高到 76.2%，提升 +7.6 个百分点。
结果表明：不借助文本监督，仅通过结构化视觉-姿态-图融合和条件专家细化，也能显著改善细粒度动作识别。
潜在产业意义（推论）：可用于体育动作分析、康复训练、视频监控、人机交互等需要区分细微动作差异的场景；原摘要未直接讨论部署问题。

为什么重要

细粒度动作识别的难点在于“看起来很像，但动作不同”。FineX 的价值在于同时保留 RGB 的视觉上下文、姿态热图的几何信息以及骨骼图的拓扑结构，并用潜空间稀疏专家按内容动态路由，从而提升对微小差异的判别能力。相比同类方法，它不依赖大规模视觉-语言预训练，仍能在长尾基准上取得明显提升，说明结构化感知融合本身具有独立价值。

与既有脉络的关系

本条与已有相关卡片无直接重复。已有卡片中的 AuricularWorld 同样涉及潜空间建模，但任务对象是 CT 耳廓结构分割；FineX 则将潜空间稀疏专家混合用于人体动作识别，并引入 RGB、姿态热图、骨骼图三路成对交叉注意力。增量信息在于：潜空间稀疏 MoE 与结构化视觉-姿态-图融合的组合可应用于细粒度动作理解，并带来显著的长尾准确率提升。

局限与不确定性

本知识卡片仅基于 arXiv 摘要，未获得完整论文正文。
原始材料未提供模型参数量、计算开销、训练数据规模、消融实验细节、推理速度等，均待核实。
“Gym288 从 68.6% 到 76.2%”中的 68.6% 是否为此前最优方法的结果，以及对比设定，待核实。
arXiv ID 2608.13458v1 显示的日期为 2026 年，正式发表版本信息待核实。

可用于图书/PPT/简报的角度

用“RGB 外观 + 姿态热图 + 骨骼图”三路线索解释多模态特征互补。
用“稀疏 MoE 只激活部分专家”说明条件计算和高效路由思想。
用 Gym288 长尾结果说明结构化融合有助于缓解类别不平衡带来的识别困难。
以“区分相似动作”为切入点，引出体育分析、康复评估、人机交互等应用。

原始材料

英文标题：Fine-Grained Action Recognition with Cross-Attentive Latent Sparse Experts
英文关键词：fine-grained action recognition; cross-attention; latent sparse Mixture-of-Experts; pose heatmap; skeleton graph
作者：Imtiaz Ul Hassan, Tasweer Ahmad, Nik Bessis, Ardhendu Behera
arXiv ID：2608.13458v1
arXiv 页面显示提交/更新时间：2026-08-13T16:41:57Z（待核实正式出版信息）
原始来源：https://arxiv.org/abs/2608.13458v1
PDF 地址：https://arxiv.org/pdf/2608.13458v1