知识卡片：4DAnyone——从随意单目视频创建4D人体
一句话结论
4DAnyone 提出一个从无标定单目视频重建4D人体的框架：先用视频扩散模型生成“重建级”多视角一致视频，再将其提升为4D高斯泼溅（4DGS）；该方法针对多视角生成中的有界注意力上下文问题，提出参考上下文打包（RCP）与目标上下文路由（TCR）。
事件概述或研究问题
从随意拍摄的单目视频重建可用的4D人体是计算机视觉与图形学的重要目标。现有相机控制的视频扩散模型能生成看似合理的新视角视频，但当目标视角数量达到4DGS重建所需的数十个时，一致性会明显下降。作者将该失败归因于“有界注意力上下文问题”：
- 目标视角超过单个扩散Transformer（DiT）前向传播的容量后，必须分组建模；
- 参考上下文侧：对先前所有生成视角的条件化计算量随数量增长（O(N)），削弱跨视角外观引导；
- 目标上下文侧：互不相交的组无法直接交换信息，导致全局结构漂移。
方法/产品要点
- 整体流程：输入无标定单目视频 → 生成重建级多视角一致视频 → 提升为4D高斯泼溅（4DGS）。
- Reference Context Packing（RCP）：将不断增多的参考视角压缩为固定长度的混合分辨率上下文，使参考上下文复杂度降为 O(1)。
- Target Context Routing（TCR）：在去噪过程中轮转目标视角分组，高噪声步让不同组共享上下文，低噪声步稳定细节。
- 训练数据：构建 MVGameHuman 数据集（使用内部游戏引擎生成），并与 light-stage 及野外视频数据集结合。
主要结果或产业意义
- 在 DNA-Rendering 和 DyMVHumans 两个基准上，4DAnyone 在新视角视频质量和下游4DGS重建方面均优于先前方法。
- 在野外（in-the-wild）视频上表现出稳健的泛化能力。
- 项目页面声称将提供视频结果和源代码：https://4danyone.github.io（实际可用性待核实）。
- 产业意义在摘要中未展开；潜在方向可包括数字人、影视/游戏内容生产等，但具体应用价值待核实。
为什么重要
- 4DAnyone 明确指出多视角视频生成扩展到数十个视角时的主要瓶颈是“有界注意力上下文”，而非单纯的生成质量，为视频扩散模型服务重建任务提供了新的改进思路。
- 与既有脉络的关系：和 MV-Forcing 同属多视角一致视频生成方向，但 4DAnyone 的增量在于提出 RCP/TCR 解决注意力上下文扩展问题，并直接与4DGS人体重建绑定；与 WildSplat 面向无位姿野外图像的静态场景重建不同，本条面向单目视频的动态4D人体重建。
局限与不确定性
- 来源材料仅为摘要，未包含定量指标、消融实验、失败案例或作者自述局限性。
- 以下信息待核实：DNA-Rendering 与 DyMVHumans 上的具体性能数字；MVGameHuman 数据集的具体规模与公开性；源代码与项目页面的实际可用状态；对复杂姿态、遮挡、服饰变化等边界情况的鲁棒性。
可用于图书/PPT/简报的角度
- 从“单目视频 → 4D 数字人”的技术路径切入，展示视频扩散模型如何服务于三维/四维重建。
- 强调“注意力上下文”这一关键工程问题：当生成视角数量超过模型单次前向容量时，如何通过上下文压缩和分组路由保持一致性。
- 结合合成数据（MVGameHuman）与真实数据（light-stage、野外）训练的思路，可作为数据策略案例。
原始材料
- 英文标题：4DAnyone: Create Anyone in 4D from a Casual Monocular Video
- 英文关键词：4D Human Reconstruction; Monocular Video; Video Diffusion Models; 4D Gaussian Splatting; Multi-view Consistency
- 作者：Yudong Jin, Tao Xie, Qihang Zhang, Zehong Shen, Zhen Xu, Yujun Shen, Hujun Bao, Xiaowei Zhou, Yinghao Xu
- arXiv ID：2608.20335v1
- 提交/更新日期：2026-08-20
- 分类：cs.CV
- URL：https://arxiv.org/abs/2608.20335v1
摘要原文（英文）：We present 4DAnyone, a framework for reconstructing 4D humans from an uncalibrated monocular video by generating reconstruction-grade multiview-consistent videos and lifting them into 4D Gaussian Splatting (4DGS). Existing camera-controlled video diffusion models synthesize plausible novel-view videos but fail to maintain consistency when scaled to the tens of target views required for 4DGS reconstruction. We identify this failure as a bounded-attention-context problem: when target views exceed the capacity of a single DiT forward pass, they must be split into groups, exposing two coupled bottlenecks. On the reference-context side, conditioning on all previously generated views grows as O(N), weakening cross-view appearance guidance. On the target-context side, disjoint groups cannot directly exchange information, causing global structural drift. 4DAnyone addresses both bottlenecks with two complementary designs: Reference Context Packing (RCP) compresses growing reference views into a fixed-length mixed-resolution context with O(1) reference-context complexity, while Target Context Routing (TCR) rotates target-view groupings during denoising to share context across groups at high-noise steps and stabilize details at low-noise steps. We further build the MVGameHuman dataset using our in-house game engine and combine it with light-stage and in-the-wild video datasets for training. Experiments on DNA-Rendering and DyMVHumans show that 4DAnyone outperforms prior methods in both novel-view video quality and downstream 4DGS reconstruction, with robust in-the-wild generalization. See our project page for video results and source code: https://4danyone.github.io.