AI消息速览

GS²CI:利用大视觉模型先验的鲁棒快照压缩成像三维高斯溅射

事件日期 2026-08-13 · 学术前沿 · 已接受

事件日期2026-08-13
信息日期2026-08-13
入库日期2026-08-15
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:GS²CI:利用大视觉模型先验的鲁棒快照压缩成像三维高斯溅射

一句话结论:GS²CI 提出从单张快照压缩成像(SCI)测量中重建高质量三维场景的框架,结合三维高斯溅射(3DGS)和大规模视觉基础模型(VFM)先验,并用面向 SCI 的 OSGR 致密化策略提升训练稳定性,在多个基准上取得综合最强性能。

事件概述/研究问题: 快照压缩成像(SCI)将时间或空间信息压缩到单张二维测量中,可实现高速视频采集;在曝光时间内存在相机–场景相对运动时,也可用于多视角场景捕获。已有工作开始探索用 SCI 做三维场景重建,但面临信息丢失、视角多样性有限,以及联合优化三维表示和相机位姿计算负担大等挑战。本文提出的 GS²CI 尝试从一次 SCI 测量直接重建高质量三维场景。

方法/产品要点

  • 主重建阶段:使用“由测量值导出的 3D VFM 初始化”与“SCI 感知的高斯优化”相结合来表示三维场景。
  • 粗阶段收敛后:辅助的 2D VFM 在合成视角上提供伪视图监督,用于局部外观细化。
  • 面向 SCI 的致密化策略 OSGR:
    • 利用局部不透明度统计扩充分裂候选;
    • 通过平均不透明度调节,抑制为补偿损失而增大不透明度的行为;
    • 用显式候选比例和高斯数量约束限制表示规模增长。

主要结果或产业意义

  • 论文报告在多个基准上取得综合最强性能:重建质量领先、对视角变化鲁棒,且计算效率有竞争力。
  • 产业意义上,该路线有望让高速视频/多视角三维采集在单次二维曝光中完成,减少对密集多视角采集或复杂硬件同步的依赖;但具体应用场景与落地效果在摘要中未展开,待核实。
  • 具体数值指标和基准名称待核实。

为什么重要

  • 它把 SCI 的低维压缩观测、3DGS 的高效三维表示和 VFM 的强先验结合在一个两阶段重建框架中。
  • 摘要特别强调 SCI 监督的模糊性会导致 3DGS 优化不稳定,因此 OSGR 针对“不透明度膨胀”和“表示增长失控”提出了显式约束,这不是常见的通用致密化策略。

与既有脉络的关系

  • 本卡片与已有三张卡片无直接内容重叠:CamVLA 是视角鲁棒的操作策略,LCA 是肿瘤学临床决策框架,BiSCo-LLM 是大语言模型低比特压缩。
  • 本条在“foundation-model”主题下的增量信息是:将大视觉模型先验用于从单张 SCI 测量重建三维场景,而非用于语言/动作策略。

局限与不确定性

  • 摘要未给出重建质量的定量数值、基准名称、运行时间或与基线方法的完整对比,待核实。
  • 未具体说明 SCI 成像硬件/编码条件、训练数据规模、VFM 的具体模型和参数量,待核实。
  • OSGR 各部分是否经过消融实验验证、在不同压缩率/噪声下的表现,均待核实。
  • 当前材料为 arXiv 预印本信息,是否已经同行评审或后续修订,待核实。

可用于图书/PPT/简报的角度

  • “一次曝光重建三维场景”:用 SCI 的压缩测量连接高速成像与三维视觉。
  • “大视觉模型先验在三维重建中的作用”:从初始化到伪视图监督,说明 VFM 如何补全信息损失。
  • “训练稳定性设计案例”:展示 OSGR 如何用不透明度统计和数量约束解决三维高斯优化中的失控问题。

英文标题:GS$^{2}$CI: Robust Gaussian Splatting For Snapshot Compressive Imaging via Large Vision Model Priors

英文关键词:Snapshot Compressive Imaging (SCI); 3D Gaussian Splatting (3DGS); Vision Foundation Models (VFM); Pseudo-view Supervision; Opacity-Guided Splitting and Growth Regulation (OSGR)

原始来源:arXiv:2608.13502v1 [cs.CV]; https://arxiv.org/abs/2608.13502v1 ; 作者:Yanming Yang, Chenxi Song, Ping Wang, Xin Yuan, Chi Zhang;发布/更新:2026-08-13T17:29:53Z。