AI消息速览

WorldRecon——面向大规模三维世界的生成式多视图网格重建

事件日期 2026-10-13 · 学术前沿 · 已接受

事件日期2026-10-13
信息日期2026-10-13
入库日期2026-10-14
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:WorldRecon——面向大规模三维世界的生成式多视图网格重建

一句话结论

WorldRecon 是一个生成式多视图重建框架,能从无位姿 RGB 图像恢复完整、大规模的三维场景网格;它通过在 TRELLIS.2 上加入重建条件架构,并以重叠分块与邻域感知 latent inpainting 维持全局一致性,在合成与真实室内场景上取得 SOTA,并显示出较强的 sim-to-real 泛化能力。

事件概述或研究问题

从无位姿(unposed)多视图图像重建大规模场景的完整高质量网格,需要同时满足两个目标:对已观测区域保持几何忠实(faithful geometric grounding),对未观测或仅稀疏采样的表面进行合理的补全(plausibly completing surfaces)。该工作提出 WorldRecon,试图在生成式重建路线下兼顾忠实性与完整性,并把多视图生成式重建扩展到大规模场景。

方法/产品要点

  • 全局脚手架:使用由重建模型从输入图像估计出的粗噪全局点云与相机位姿,作为整个场景生成的全局 scaffold。
  • 分块生成:将场景划分为相互重叠的空间块(overlapping spatial blocks),逐块生成。
  • 条件架构:为原生三维生成模型 TRELLIS.2 配备专用的基于重建的条件架构,使每个块依据其局部点云裁剪(local point-cloud crop)与块相关图像观测生成,输出稀疏结构、细节几何与 PBR 材质。
  • 场景级一致性:引入邻域感知 latent inpainting(neighbour-aware latent inpainting)与因果式世界生成流程(causal world-generation procedure),在重叠块之间传播结构、几何与材质上下文。
  • 输出:连贯统一的大规模场景网格(coherent, unified meshes)。

主要结果或产业意义

  • 在合成与真实世界室内场景上均报告为 state-of-the-art 重建性能。
  • 相对最强基线:Chamfer distance 分别降低 14.9% 与 43.1%;F-score 分别提升 17.3% 与 12.0%。
  • 作者称结果体现了忠实且完整的生成式重建,以及较强的 sim-to-real 泛化能力。
  • 若能稳定复现,该方法可用于从普通 RGB 采集生成带 PBR 材质的大规模可渲染三维资产,对仿真环境构建、数字孪生与内容生产具有潜在价值。

为什么重要

大规模三维场景的完整网格重建长期受限于观测稀疏与视角缺失。WorldRecon 的价值在于把“生成式补全”与“重建式几何约束”显式结合,并通过分块+上下文传播将单块生成扩展到整场景,从而同时追求几何忠实与表面完整。它也是生成式三维模型(TRELLIS.2)向大规模重建任务迁移的一个具体范式示例。

局限与不确定性

  • 材料仅给出摘要级信息,方法细节(网络结构、训练数据、分块策略超参、推理成本)待核实。
  • 实验范围仅提及合成与真实世界室内场景,室外、动态场景或更大规模场景的表现待核实。
  • 评测指标集中在 Chamfer distance 与 F-score,是否包含材质质量、渲染一致性或下游任务评估待核实。
  • 代码、模型权重与项目页具体内容未在材料中展开,可复现性待核实。
  • 作为 arXiv v1 预印本,尚未确认是否经过同行评审。

可用于图书/PPT/简报的角度

  • “从无位姿图像到完整三维世界”:生成式重建的路线演进。
  • 生成模型如何被“约束”为重建工具:条件架构与几何先验的结合。
  • 分块与一致性:把单物体生成扩展到大规模场景的关键工程问题。
  • sim-to-real:合成数据训练的三维重建方法在真实室内场景的迁移表现。
  • 三维重建与 PBR 材质联合输出对仿真与内容生产的意义。

与既有脉络的关系

本条与参考卡片中的三维重建类工作(如面向自动驾驶稀疏视角的三维重建)同属“从有限视角恢复完整三维结构”的脉络,但 WorldRecon 的增量在于:面向无位姿多视图的大规模场景,采用生成式模型 TRELLIS.2 加重建条件架构,并通过重叠分块与邻域感知 latent inpainting 解决场景级一致性问题,而非仅聚焦单一应用场景的结构补全。与 Deform360 等数据集类工作不同,本条是方法/框架类贡献。

原始材料

  • 标题:WorldRecon: Generative Multi-View Mesh Reconstruction for Large-Scale 3D World
  • 作者:Mengchen Zhang, Yang Li, Chunshi Wang, Tong Wu, Chunchao Guo
  • arXiv ID:2610.18846v1(Primary category: cs.CV)
  • 发布/更新时间:2026-10-13T17:57:58Z
  • Abstract URL:https://arxiv.org/abs/2610.18846v1
  • PDF URL:https://arxiv.org/pdf/2610.18846v1
  • 项目页:https://kszpxxzmc.github.io/WorldRecon-website/
  • 关键词:generative multi-view reconstruction;large-scale 3D scene;mesh reconstruction;TRELLIS.2;latent inpainting;sim-to-real

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

大规模三维场景的完整网格重建长期受限于观测稀疏与视角缺失。WorldRecon 的价值在于把“生成式补全”与“重建式几何约束”显式结合,并通过分块+上下文传播将单块生成扩展到整场景,从而同时追求几何忠实与表面完整。它也是生成式三维模型(TRELLIS.2)向大规模重建任务迁移的一个具体范式示例。

相关主题

对应的教材知识点

根据卡片内容自动匹配,点击查看已审核的教材讲解: