知识卡片：MoSE3：在像素级学习世界空间 SE(3) 运动

一句话结论

论文提出 MoSE3，一个从单目 RGB 视频前馈预测每像素世界空间 SE(3) 刚体运动的模型；它通过联合学习 3D point tracks 与 rigidity embeddings，并在软刚性簇内可微拟合变换来恢复 SE(3）。论文称其在 SE(3) 估计与 3D 点跟踪基准上达到 SOTA，并展示从纯合成运动数据到真实视频的泛化能力。

事件概述或研究问题

传统 dense 3D point tracking 把每像素运动表示为一条 3-DoF translation curve：它记录像素去了哪里，却不包含底层部件的旋转，也不说明哪些像素作为同一个刚体一起运动。MoSE3 关注的问题是：能否从单目 RGB 视频直接得到每像素完整 6-DoF rigid transforms，并同时获得运动分组。论文指出两大挑战：旋转位于弯曲流形上，不适合直接做欧氏回归；SE(3) 标注本身难以获取。

方法/产品要点

• 任务设定：输入单目 RGB 视频，输出每像素在世界空间中的完整 SE(3) 运动。
• 核心策略：不直接回归 SE(3)，而是联合预测两个中间量：3D point tracks 和 rigidity embeddings。
• 恢复方式：在每一个 soft rigid cluster 内可微拟合变换，从而恢复 SE(3)，支持端到端预测与监督。
• 数据补充：引入 Art-Kubric，一个大规模合成数据集，提供 articulated objects 的 dense SE(3) 与 rigidity labels，并包含丰富物理交互。
• 英文关键词：dense SE(3) motion; monocular RGB video; 6-DoF rigid transforms; world space; 3D point tracking; rigidity embeddings; soft rigid cluster; Art-Kubric; synthetic dataset; articulated objects。

主要结果或产业意义

论文摘要称：

• 在 rigid 与 articulated benchmarks 上，于 pixel、part、object 三个层级取得 state-of-the-art SE(3) estimation。
• 在三个数据集上取得 state-of-the-art average 3D point tracking accuracy。
• 尽管仅用合成运动数据训练，仍对真实世界视频表现出强泛化。

产业意义上，这类“每像素 6-DoF 运动 + 刚性分组”的表示可能用于机器人操作、AR/VR、动态场景理解与编辑等方向；但具体落地成熟度、指标细节与应用边界待核实。

为什么重要

它把动态场景的运动表示从“逐像素 3-DoF 平移轨迹”推进到“逐像素世界空间 6-DoF 刚体变换 + 软刚性分组”，将旋转、平移以及“哪些像素属于同一物体/部件”放进同一输出中。若成立，这比仅做点跟踪更接近可操作的物体级运动理解。

与既有卡片关系：GAE、PointDiT、PixWorld 分别关注 3D 一致生成、像素空间单目几何估计、像素空间三维生成与重建；本条增量在于动态视频中的每像素 SE(3) 运动与刚性聚类，并以点轨迹和刚性嵌入作为可微中间层，同时补充合成 SE(3) 标注数据。

局限与不确定性

• 仅依据摘要与元数据，具体数值、基线设置、评测协议、消融实验与失败案例待核实。
• Art-Kubric 的规模、标注生成方式、许可与公开状态待核实。
• “对真实世界视频的强泛化”需要具体定量与定性证据支撑；sim-to-real 边界待核实。
• SE(3) 描述刚体变换，对非刚体形变、可变形物体、遮挡与复杂多体交互的适用方式待核实。
• 推理速度、显存/计算成本、是否开源代码与模型待核实。
• “首个 feed-forward 模型”为论文自称，是否严格首次需独立核实。

可用于图书/PPT/简报的角度

• 从 3-DoF 点轨迹到 6-DoF 每像素刚体运动：动态场景表示的一次升级。
• 世界空间 SE(3) 与软刚性分组：让“运动”同时携带旋转、平移和实体归属。
• 用 3D 点轨迹 + 刚性嵌入绕开流形回归难题：可微拟合作为端到端桥梁。
• 合成数据补标注缺口：Art-Kubric 面向 articulated objects 与物理交互。
• 单目视频运动理解管线：点跟踪、部件分组、刚体运动估计的统一视角。

原始材料

• Fetched title: MoSE3: Learning World-Space SE(3) at Every Pixel
• arXiv ID: 2610.03716v1
• Authors: Jiahuan Cheng, Zhiyi Li, Tian Xia, Ruojin Cai, Yilun Du, Qianqian Wang
• Published: 2026-10-02T17:58:52Z
• Updated: 2026-10-02T17:58:52Z
• Primary category: cs.CV
• Categories: cs.CV
• Abstract URL: https://arxiv.org/abs/2610.03716v1
• PDF URL: https://arxiv.org/pdf/2610.03716v1
• 来源摘要见上述 Abstract URL；本卡片基于该摘要与元数据整理。