知识卡片：视频生成模型作为几何学习者

一句话结论

将预训练视频生成模型改造为几何估计器（GeoNeXt），把单目深度估计与表面法线估计创新性地表述为“下一帧预测”任务，以显著更少的标注数据实现零样本几何估计，并在多个基准上媲美训练数据多 100 倍以上的判别式方法。

事件概述或研究问题

现有的生成式几何估计方法大多基于预训练图像扩散模型，将任务视为图像条件生成。这类方法通常有两种路线：

分别训练任务特定的几何模型（如深度模型、表面法线模型），独立估计不同几何目标，未利用这些几何目标之间的内在关联；
联合微调改造后的图像扩散骨干网络（例如修改自注意力机制），但通常需要大量标注数据。

为克服上述局限，本工作提出直接利用预训练视频生成模型，构建统一且数据高效的几何估计框架，并将几何估计转化为下一帧预测任务。

方法/产品要点

方法名称：GeoNeXt。
核心思路：将预训练视频生成模型作为基础，把几何估计重新表述为下一帧预测任务。
利用视频生成模型中天然的结构化知识和更丰富的先验，进一步适配为图像与几何目标的联合建模（image <-> geometry）。
具体模型架构、视频模型选择、训练策略、损失函数等细节，原文摘要未展开，待核实。

主要结果或产业意义

在零样本单目深度估计和表面法线估计上，跨多个数据集验证了方法有效性。
优于以往的任务特定生成式竞争者和统一生成式竞争者，同时使用显著更少的训练数据。
性能可与训练数据多 100 倍以上的判别式 SOTA 方法相抗衡，并在若干基准上表现突出。
具体数据集名称、数值指标、对比方法列表，待核实。

为什么重要

这是继图像扩散模型之后，首次（据摘要表述）将视频生成模型作为几何估计的统一基础框架。视频模型具备时间一致性和更丰富的场景结构先验，以“下一帧预测”方式联合建模图像与几何目标，为几何估计提供了新的生成式范式，并显著降低对标注数据的依赖。

与已有相关卡片的增量关系：

VideoRAE 侧重将冻结视频基础模型转化为生成友好的潜在表示，用于视频生成；
另一张卡片“视频生成模型本质上是光照估计器”涉及光照估计；
本条则将视频生成模型用于深度和表面法线估计，属于 3D 几何理解任务，是“视频基础模型多用途”脉络的新扩展。

局限与不确定性

当前来源仅为 arXiv 摘要，缺少完整实验细节、模型架构图、训练数据规模、消融实验和详细基准数值。
未说明具体使用哪种预训练视频生成模型，是否依赖相机参数、视频帧数、推理方式等，均待核实。
“零样本”的具体含义（跨数据集泛化？未见几何标注？）需阅读原文确认，待核实。

可用于图书/PPT/简报的角度

故事线：视频生成模型不只是“生成视频”，还能当“几何老师”——通过预测下一帧学会深度和法线。
强调数据效率：少标注数据达到判别式方法用 100 倍数据才能达到的效果。
对比技术路线：图像扩散生成式几何估计 vs 视频生成式几何估计，突出范式转变。
可连同 VideoRAE、光照估计器卡片，组成“视频基础模型的多面能力”专题。

原始材料

英文标题：Video Generative Models as Geometry Learner
英文关键词：video generative models; geometry estimation; monocular depth; surface normal; next-frames prediction; GeoNeXt（关键词根据摘要提取，原文未明确标注）
作者：Haosen Yang, Jifei Song, Zhensong Zhang, Xiatian Zhu, Jiankang Deng
arXiv ID：2608.28549v1
发布日期：2026-08-28
URL：https://arxiv.org/abs/2608.28549v1
PDF：https://arxiv.org/pdf/2608.28549v1

原文摘要（英文）：

Recent generative approaches to geometry estimation adapt pretrained image diffusion models and treat the task as image-conditioned generation. Leveraging off-the-shelf image diffusion models, they either (i) train task-specific geometry models (for depth and surface normal estimation) independently, losing the opportunity of exploring the intrinsic correlation of these geometric targets, or (ii) jointly fine-tune modified image diffusion backbones (e.g., altered self-attention), which typically demands substantial labeled data. To overcome these limitations in a principled fashion, we repurpose pretrained video generative models as a unified and data-efficient framework for geometry estimation, formulated innovatively as a next-frames prediction task. Our method, GeoNeXt, inherits naturally structured knowledge and richer priors from the video model, while further adapting them for joint modeling of images and geometry targets (image <-> geometry), enabling more data efficient and effective learning of geometry. Extensive experiments validate our method for zero-shot monocular depth and surface normal estimation across diverse datasets, outperforming both previous task-specific and unified generative competitors while using substantially less training data. Notably, our method rivals discriminative state-of-the-art approaches trained on over 100x more data and even standouts on several benchmarks.