知识卡片：FlowHMR：从视频恢复物理合理的运动捕捉

一句话结论

据摘要，FlowHMR 将单目视频人体运动捕捉表述为“视频条件运动生成”问题，先预训练 flow matching 模型，再用 GRPO 与保真度、物理追踪双奖励后训练，从而生成更符合输入视频且更可被物理控制器追踪的全局 3D 人体运动。

事件概述或研究问题

• 从单目视频恢复全局 3D 人体运动存在深度歧义；直接回归方法容易趋向平均解。
• 仅靠几何监督得到的运动不保证物理合理，因此基于物理的追踪经常失败。
• FlowHMR 试图把视频运动捕捉从直接回归改为“视频条件运动生成”，并通过后训练调整输出偏好。
• 作者同时提出 Wild-4K，一个约 4K 互联网视频的大规模多样数据集，用于评估 in the wild 的人体运动恢复。

方法/产品要点

• 任务建模：将 video motion capture 表述为 video-conditioned motion generation。
• 预训练：为任务预训练 flow matching 模型；给定输入视频，模型可生成多样运动候选。
• 后训练：使用 Group Relative Policy Optimization (GRPO) 进行后训练，设置两个奖励。
• 奖励一：fidelity reward，鼓励生成运动与输入视频一致。
• 奖励二：tracking reward，偏好可被 physics-based controller 成功追踪的运动。
• 评估：在 Wild-4K 上做定性与定量实验。
• 产品化信息：材料未涉及产品形态或部署细节，待核实。

主要结果或产业意义

• 在 Wild-4K 上，FlowHMR 在 overall motion fidelity 上优于 state-of-the-art 方法。
• 材料称其 physical tracking success rate 为 82.47%，最强基线 GVHMR 为 62.82%。
• 产业意义：摘录未展开具体产业落地、成本与部署证据，待核实；从研究信号看，物理可追踪性被作为优化与评估目标，可能对需要可执行人体动作的仿真或生成任务有参考价值。

为什么重要

• 它针对单目视频深度歧义和直接回归平均解问题，尝试用生成式建模保留多样性。
• 它不只优化视频保真度，还把“物理控制器能否成功追踪”纳入奖励，强调物理合理性。
• GRPO 后训练用于移动模型输出偏好，使生成结果在视频忠实度与物理可追踪性之间取得更好平衡。
• 与既有脉络的关系：已有卡片中，VidMap 关注视频运动恢复结构，BLARM 关注视频驱动 3D 物体动画，InfiniHand 关注自我中心视频手部运动估计。本条增量在于单目视频全局 3D 人体运动、物理可追踪性奖励与 Wild-4K 评估；不重复上述卡片所述事实。

局限与不确定性

• 模型架构、训练数据规模、奖励函数具体形式、物理控制器细节、GRPO 超参数与计算成本，材料未给出，待核实。
• Wild-4K 的采集方式、标注流程、许可、偏差与评测协议，待核实。
• physical tracking success rate 的具体定义、统计口径与公平比较设置，待核实。
• 代码、模型或数据集是否公开，待核实。
• 是否经过同行评审，待核实。
• 作者机构信息未在摘录中给出，待核实。

可用于图书/PPT/简报的角度

• 从“直接回归运动”转向“视频条件运动生成”的范式变化。
• 用双奖励后训练同时约束视频保真度与物理可追踪性。
• 把物理控制器追踪成功率作为运动生成质量指标。
• 单目视频中的深度歧义与平均解问题。
• Wild-4K 作为 in the wild 人体运动恢复评估基准。
• 与视频运动恢复结构、视频驱动物体动画、手部运动估计等方向做路线对照。

原始材料

• 英文标题：FlowHMR: Physically Plausible Motion Capture from Video
• 英文关键词：FlowHMR; Physically Plausible Motion Capture; monocular video; global 3D human motion; flow matching; Group Relative Policy Optimization (GRPO); Wild-4K; GVHMR
• arXiv ID：2610.03691v1
• 作者：Zhanke Wang, Chengfeng Zhao, Qing Shuai, Jingzhong Lin, Heng Li, Zeyu Ling, Yuxin Wen, Jing Li, Di Kang, Chunchao Guo, Linchao Bao
• 发布时间：2026-10-02T17:52:48Z
• 更新：2026-10-02T17:52:48Z
• 主要分类：cs.CV
• 分类：cs.CV
• Abstract URL：https://arxiv.org/abs/2610.03691v1
• PDF URL：https://arxiv.org/pdf/2610.03691v1
• 来源摘要：We present FlowHMR, a framework for recovering physically plausible global 3D human motion from monocular video. Previous learning-based methods typically regress human motion directly from video and train the network with geometric supervision. However, recovering human motion from monocular video is inherently ambiguous in depth, and direct regression tends to collapse toward an averaged solution. Moreover, the recovered motions are not guaranteed to be physically plausible, so physics-based tracking of them often fails. To address these challenges, we formulate video motion capture as a video-conditioned motion generation problem and first pretrain a flow matching model for this task. Given an input video, the pretrained model generates diverse motion candidates, but not all of them are faithful to the video or physically trackable. We therefore post-train the model using Group Relative Policy Optimization (GRPO) with two rewards. A fidelity reward encourages consistency with the input video. A tracking reward favors motions that a physics-based controller can track successfully. Together, these rewards shift the model's output preference, so the post-trained model stays faithful to the input video while producing more physically plausible motion. We further introduce Wild-4K, a large and diverse dataset of about 4K internet videos, for evaluating human motion recovery in the wild. Qualitative and quantitative experiments on Wild-4K show that our method outperforms state-of-the-art methods in overall motion fidelity and achieves a physical tracking success rate of 82.47%, compared with 62.82% for the strongest baseline, GVHMR.