知识卡片：RoGe——基于端到端隐式重建与生成的新视角合成

说明： 本文仅依据给定 arXiv 题录与候选摘要生成，未能抓取正文；凡摘要未明确支持之处，均标为“待核实”。

一句话结论

RoGe 是一个端到端统一框架，将“隐式场景重建”与“视频扩散生成”联合训练，去掉了以往混合方法中“渲染图像/点图/3D Gaussian”这类有损的显式 3D 桥接；摘要称其在 DL3DV 上的图像级指标和视频时间一致性均优于重建型、生成型和混合型基线。

研究问题

稀疏输入下的新视角合成，既需要从已观测视角获得几何约束，也需要对未观测区域具备生成先验。已有混合方法往往用渲染图像或显式 3D 表示连接重建与生成，但这一中间步骤可能是有损且不完美的；同时，重建模块也得不到来自生成模块的误差信号来纠正自身。RoGe 的目标是消除这种显式桥接，让重建和生成在同一个端到端框架中互相影响。

方法/产品要点

• 输入：少量带位姿图像 + 一条相机轨迹；输出：沿该轨迹的时间一致视频。
• 用前馈重建模型构建隐式场景表示，并通过目标相机射线查询得到逐视角几何特征。
• 将这些几何特征直接注入视频扩散模型作为条件，不使用显式 3D 中间表示作为桥接。
• 重建与生成模块联合训练，因此生成目标可以直接塑造自身的几何条件。
• 消融实验显示：射线查询的隐式特征优于“原始重建 token”和“渲染 RGB”作为条件；联合训练还能带来进一步收益。

主要结果或产业意义

• 实验在 DL3DV 上进行。
• 对比对象包括重建型、生成型以及重建-生成混合基线；RoGe 在图像级指标与视频级时间一致性上均更优。
• 摘要未给出具体数值、指标表和更详细的实验设置，因此提升幅度和排名细节待核实。
• 产业意义在摘要中未展开；从任务场景看，该方法面向“稀疏视角漫游视频生成”，但产品化落地情况无法从当前材料确认。

为什么重要

RoGe 提供了一个新思路：重建与生成之间不一定要用显式 3D 表达或渲染图来传递信息，而是可以让生成模型直接使用隐式场景表示中的射线特征。联合训练还意味着生成损失可以反向影响几何条件的学习，而不是让重建误差单向传导给生成模块。

与既有脉络的关系

与已有相关卡片相比，PixWorld 强调在像素扩散空间中统一三维重建与生成，MV-Forcing 则用 4D 几何桥接实现时间和视角的长视频生成。RoGe 的增量在于：在稀疏视角+轨迹生成的设定中，不使用显式 3D 作为重建与生成的交接物，而是用隐式射线查询特征作为视频扩散条件，并端到端联合训练。它是否在统一基准上与 PixWorld、MV-Forcing 有直接可比性，现有材料中未提供，待核实。

局限与不确定性

• 本文基于题录和候选摘要写作，论文全文未获取；所有不在摘要中的技术细节均待核实。
• 具体网络结构、扩散模型类型、损失函数、训练数据规模、推理成本、开源状态等均待核实。
• 在 DL3DV 之外的真实场景、遮挡、大视角变化下的泛化能力待核实。
• “生成目标直接塑造几何条件”的机制需要原文中的梯度连接和损失设计说明，目前只能按摘要转述。
• 与 PixWorld、MV-Forcing 等工作的直接比较或互补关系，现有材料不足以确认。

可用于图书/PPT/简报的角度

• 一条叙事线：在重建与生成之间，不再需要“翻译”成点云或 3D Gaussian；视频扩散模型可以直接读取隐式场景的射线特征。
• 可配流程图：稀疏视图 → 隐式场景表示 → 按目标射线查询几何特征 → 注入视频扩散模型 → 轨迹漫游视频。
• 可讨论问题：重建-生成混合方法中的信息瓶颈是什么？端到端联合训练是否能让生成任务反向修正几何特征？

原始材料

• 英文标题：RoGe: Novel View Synthesis via End-to-End Implicit Reconstruction and Generation
• 英文关键词（据摘要整理；原文关键词列表待核实）：Novel View Synthesis; Implicit Scene Representation; Video Diffusion; Generative Priors; Sparse Views
• 元数据：Track: academic；Topics: foundation-model
• 原始来源 URL：https://arxiv.org/abs/2609.02847v1
• 当前可获取内容：仅题录信息与候选摘要；正文未能抓取。