知识卡片:WorldRecon——面向大规模三维世界的生成式多视图网格重建
一句话结论
WorldRecon 是一个生成式多视图重建框架,能从无位姿 RGB 图像恢复完整、大规模的三维场景网格;它通过在 TRELLIS.2 上加入重建条件架构,并以重叠分块与邻域感知 latent inpainting 维持全局一致性,在合成与真实室内场景上取得 SOTA,并显示出较强的 sim-to-real 泛化能力。
事件概述或研究问题
从无位姿(unposed)多视图图像重建大规模场景的完整高质量网格,需要同时满足两个目标:对已观测区域保持几何忠实(faithful geometric grounding),对未观测或仅稀疏采样的表面进行合理的补全(plausibly completing surfaces)。该工作提出 WorldRecon,试图在生成式重建路线下兼顾忠实性与完整性,并把多视图生成式重建扩展到大规模场景。
方法/产品要点
- 全局脚手架:使用由重建模型从输入图像估计出的粗噪全局点云与相机位姿,作为整个场景生成的全局 scaffold。
- 分块生成:将场景划分为相互重叠的空间块(overlapping spatial blocks),逐块生成。
- 条件架构:为原生三维生成模型 TRELLIS.2 配备专用的基于重建的条件架构,使每个块依据其局部点云裁剪(local point-cloud crop)与块相关图像观测生成,输出稀疏结构、细节几何与 PBR 材质。
- 场景级一致性:引入邻域感知 latent inpainting(neighbour-aware latent inpainting)与因果式世界生成流程(causal world-generation procedure),在重叠块之间传播结构、几何与材质上下文。
- 输出:连贯统一的大规模场景网格(coherent, unified meshes)。
主要结果或产业意义
- 在合成与真实世界室内场景上均报告为 state-of-the-art 重建性能。
- 相对最强基线:Chamfer distance 分别降低 14.9% 与 43.1%;F-score 分别提升 17.3% 与 12.0%。
- 作者称结果体现了忠实且完整的生成式重建,以及较强的 sim-to-real 泛化能力。
- 若能稳定复现,该方法可用于从普通 RGB 采集生成带 PBR 材质的大规模可渲染三维资产,对仿真环境构建、数字孪生与内容生产具有潜在价值。
为什么重要
大规模三维场景的完整网格重建长期受限于观测稀疏与视角缺失。WorldRecon 的价值在于把“生成式补全”与“重建式几何约束”显式结合,并通过分块+上下文传播将单块生成扩展到整场景,从而同时追求几何忠实与表面完整。它也是生成式三维模型(TRELLIS.2)向大规模重建任务迁移的一个具体范式示例。
局限与不确定性
- 材料仅给出摘要级信息,方法细节(网络结构、训练数据、分块策略超参、推理成本)待核实。
- 实验范围仅提及合成与真实世界室内场景,室外、动态场景或更大规模场景的表现待核实。
- 评测指标集中在 Chamfer distance 与 F-score,是否包含材质质量、渲染一致性或下游任务评估待核实。
- 代码、模型权重与项目页具体内容未在材料中展开,可复现性待核实。
- 作为 arXiv v1 预印本,尚未确认是否经过同行评审。
可用于图书/PPT/简报的角度
- “从无位姿图像到完整三维世界”:生成式重建的路线演进。
- 生成模型如何被“约束”为重建工具:条件架构与几何先验的结合。
- 分块与一致性:把单物体生成扩展到大规模场景的关键工程问题。
- sim-to-real:合成数据训练的三维重建方法在真实室内场景的迁移表现。
- 三维重建与 PBR 材质联合输出对仿真与内容生产的意义。
与既有脉络的关系
本条与参考卡片中的三维重建类工作(如面向自动驾驶稀疏视角的三维重建)同属“从有限视角恢复完整三维结构”的脉络,但 WorldRecon 的增量在于:面向无位姿多视图的大规模场景,采用生成式模型 TRELLIS.2 加重建条件架构,并通过重叠分块与邻域感知 latent inpainting 解决场景级一致性问题,而非仅聚焦单一应用场景的结构补全。与 Deform360 等数据集类工作不同,本条是方法/框架类贡献。
原始材料
- 标题:WorldRecon: Generative Multi-View Mesh Reconstruction for Large-Scale 3D World
- 作者:Mengchen Zhang, Yang Li, Chunshi Wang, Tong Wu, Chunchao Guo
- arXiv ID:2610.18846v1(Primary category: cs.CV)
- 发布/更新时间:2026-10-13T17:57:58Z
- Abstract URL:https://arxiv.org/abs/2610.18846v1
- PDF URL:https://arxiv.org/pdf/2610.18846v1
- 项目页:https://kszpxxzmc.github.io/WorldRecon-website/
- 关键词:generative multi-view reconstruction;large-scale 3D scene;mesh reconstruction;TRELLIS.2;latent inpainting;sim-to-real
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
大规模三维场景的完整网格重建长期受限于观测稀疏与视角缺失。WorldRecon 的价值在于把“生成式补全”与“重建式几何约束”显式结合,并通过分块+上下文传播将单块生成扩展到整场景,从而同时追求几何忠实与表面完整。它也是生成式三维模型(TRELLIS.2)向大规模重建任务迁移的一个具体范式示例。
相关主题
对应的教材知识点
根据卡片内容自动匹配,点击查看已审核的教材讲解: