WorldSculpt 研究的问题是:如何从有定位/多视角观测的视频输入中,把包含数百个物体的杂乱三维场景生成为一组放在统一世界坐标系里的独立物体网格。它的核心做法是让一个强大的单物体 3D 生成先验(以 Pixal3D 为基础)接受多视角观测条件,且模型只在单物体的 canonical space 上微调,不需要场景级训练,就能泛化到严重遮挡的大场景。
值得关注:之前的工作路线要么把整个场景重建为一个整体表示,要么只能在简单场景中做组合式生成。WorldSculpt 的增量在于:以单物体生成先验为基础,不经过场景级训练,也能组合出包含数百个物体、严重遮挡的复杂场景。这相当于把“…