知识卡片：GenIA：测试时输入对齐的生成式3D重建

一句话结论

GenIA 是一个无需重训练基础模型、在测试时将 SAM3D 的生成先验“锚定”到几何与光度观测上的框架，可改善单目、稀疏多视图及动态输入的物体位姿与外观重建。

事件概述或研究问题

从单目或稀疏多视图观测中重建完整 3D 物体资产仍然困难。生成式 3D 基础模型能够补全观测视角之外的物体几何，但其预测未必忠实还原观测到的几何、外观或位姿。GenIA 要解决的问题是：如何在不重训练基础模型的前提下，让生成结果与测试时输入保持一致。

方法/产品要点

• 定位：test-time input-aligned generation（测试时输入对齐生成），将 SAM3D 的生成先验与几何、光度观测对齐。
• 位姿改进：从几何推导平移与尺度（translation and scale），同时保留模型学到的旋转先验（rotation prior）。
• 外观对齐：在去噪过程中使用可见性偏置注意力（visibility-biased attention）、跨观测融合（cross-observation fusion）以及可微渲染引导（differentiable rendering guidance）。
• 可选后处理：去噪后的精修进一步适配外观潜变量、轻量解码器适配器（lightweight decoder adapters）与物体摆放位置。
• 扩展能力：支持外部提供的几何；当输入为动态物体的时序形状时，可恢复一个共享的、与输入对齐的规范外观（canonical appearance）以及稳定的世界空间摆放。

主要结果或产业意义

• 在合成与真实基准上，GenIA 改善了单目、多视图与动态输入下的位姿预测和物体重建。
• 相比近期基于优化的方法、逐帧图像到 3D 方法以及视频到 4D 方法，表现更优。
• 产业意义：为“预训练 3D 生成基础模型 + 测试时对齐”的组合提供了可复用的工程路径，降低为特定观测条件重训练模型的成本。

为什么重要

• 与已有卡片《用测试时部分观测引导图像到3D生成》属同一脉络（同样作用于 SAM 3D、同样强调测试时引导、无需微调），但 GenIA 覆盖的输入类型更广（单目、多视图、动态），并显式处理位姿（平移/尺度/旋转）与外观对齐，还引入可微渲染引导与去噪后精修；这是该脉络上的增量信息。
• 与 Twin 类似，体现“测试时适配基础模型”这一方向在 3D 生成领域的延伸。

局限与不确定性

• 论文代码/项目页的可用范围与许可证：待核实。
• 具体基准名称、指标数值与提升幅度：待核实（材料未给出）。
• 计算开销、运行时间与显存需求：待核实。
• 对 SAM3D 之外基础模型的泛化能力：待核实。

可用于图书/PPT/简报的角度

• “测试时对齐”作为一类通用范式：不重训练、只校准，从语言/蛋白质/游戏延伸到 3D 生成。
• 生成式 3D 基础模型的“忠实性”问题：补全能力越强，越需要观测对齐。
• 位姿与外观解耦处理：几何推导平移/尺度 + 保留学习到的旋转先验。
• 动态物体重建中的“规范外观 + 世界空间摆放”思路。

与既有脉络的关系

延续《用测试时部分观测引导图像到3D生成》的测试时引导思路；本条增量在于同时对齐位姿与外观、支持动态输入与外部几何，并引入可微渲染引导与去噪后精修。

原始材料

• Title: GenIA: Generative Reconstruction with Test-Time Input Alignment
• arXiv ID: 2610.12388v1
• Authors: Stefano Esposito, Naama Pearl, Polina Karpikova, Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder, Andreas Geiger, Jonathon Luiten
• Published: 2026-10-08T17:38:56Z
• Primary category: cs.CV
• Abstract URL: https://arxiv.org/abs/2610.12388v1
• PDF URL: https://arxiv.org/pdf/2610.12388v1
• Project page: https://facebookresearch.github.io/GenIA
• Keywords: test-time input alignment; 3D generative foundation model; SAM3D; pose prediction; differentiable rendering guidance; canonical appearance; monocular/multi-view/dynamic reconstruction