知识卡片：GeoVerse：几何潜空间中的世界一致新视角合成

一句话结论

GeoVerse 提出在预训练 3D 基础模型的几何潜空间中进行新视角生成，并注入视频生成模型 Wan2.2 VACE 的外观先验，配合全局空间记忆增强跨视角一致性；摘要报告在 DL3DV 上 PSNR 比 GLD 高 2.23 dB，在 Mip-NeRF360 上 ATE 比 GLD 低 32.4%。

事件概述或研究问题

从稀疏图像合成新视角时，系统既要忠实重建已观测区域，又要合理补全未见内容，还要保持跨视点的世界一致性。摘要指出：现有几何方法能保留观测场景结构，但往往难以补全未见区域；视频生成模型有丰富外观先验，但在顺序生成视角时会累积不一致。GeoVerse 试图在几何潜空间中结合二者。

方法/产品要点

• 在预训练 3D 基础模型的几何潜空间内执行生成。
• 从 Wan2.2 VACE 提取多层级特征，通过 ControlNet-style adapter 注入几何潜扩散模型，引入视频学习到的外观先验以增强结构补全。
• 用 global spatial memory 持续聚合观测与合成内容，并重投影目标对齐引导，使后续预测锚定到共享场景表示，以增强跨视角连贯性。
• 实验覆盖多个数据集，摘要明确提到 DL3DV 与 Mip-NeRF360，对比对象为 GLD。

主要结果或产业意义

• 摘要报告：DL3DV 上 PSNR 比 GLD 高 2.23 dB；Mip-NeRF360 上 ATE 比 GLD 低 32.4%。
• 摘要称在多个数据集上改善了视觉质量与几何一致性。
• 产业意义：若结果可复现，该思路对稀疏输入 3D 内容生成、视频先验向 3D 基础模型的迁移、以及跨视角世界一致性建模具有参考价值；具体落地场景、计算成本与部署可行性待核实。

为什么重要

• 它针对新视角合成中的核心矛盾：观测区域保真、未见区域补全、跨视角一致，尝试把 3D 基础模型的几何潜空间与视频生成模型的外观先验结合。
• 与已有“在线神经时空记忆用于动态新颖视图合成”“SplatGuide：基于3D高斯几何先验的无位姿新视角合成”等卡片同属新视角合成/跨视角一致性脉络，但 GeoVerse 的增量点在于：生成发生在预训练 3D 基础模型的几何潜空间，并加入视频生成模型特征注入和全局空间记忆来维护世界一致性。是否与这些路线互补或可直接比较，待核实。
• 对构建可交互 3D 世界、世界模型和生成式 3D 资产有潜在启发。

局限与不确定性

• 当前材料仅为 arXiv 摘要与元数据，未包含论文正文、附录、代码或权重可用性；训练目标、网络结构、数据预处理、评估协议、基线配置、消融实验与独立复现均待核实。
• “世界一致”的具体定义与度量方式待核实。
• 2.23 dB PSNR 与 32.4% ATE 改善来自作者摘要，需在相同数据集划分和评估协议下复核。
• Wan2.2 VACE、GLD、3D 基础模型的具体版本与参数设置待核实。
• 推理速度、显存占用、输入视图数量、泛化到动态/大场景的表现、失败案例与统计显著性均待核实。
• 产业可用性、许可与部署限制待核实。

可用于图书/PPT/简报的角度

• 用“几何潜空间 + 视频外观先验 + 全局空间记忆”解释新视角合成从纯重建走向生成式融合的趋势。
• 举例说明稀疏图像新视角合成中的三难：已观测区域要保真、未见区域要合理补全、跨视角要一致。
• 用 PSNR 与 ATE 两个指标说明视觉质量与几何一致性需要同时评估。
• 讨论 3D 基础模型与视频生成模型的接口设计，例如 ControlNet-style adapter。
• 与 3DGS、无位姿新视角合成、动态记忆等卡片组成技术脉络，但注意区分各自约束与输入条件。

原始材料

• 英文标题：GeoVerse: World-Consistent Novel View Synthesis in Geometric Latent Space
• 英文关键词：Novel View Synthesis; World-Consistent; Geometric Latent Space; 3D Foundation Model; Video Generative Model; ControlNet-style Adapter; Global Spatial Memory
• arXiv ID：2609.35734v1
• Authors：Kerui Ren, Tao Lu, Linning Xu, Changjian Jiang, Mu Huang, Chunhua Shen, Mulin Yu, Bo Dai
• Published：2026-09-28T17:51:48Z
• Updated：2026-09-28T17:51:48Z
• Primary category：cs.CV
• Categories：cs.CV
• Abstract URL：https://arxiv.org/abs/2609.35734v1
• PDF URL：https://arxiv.org/pdf/2609.35734v1