VLM-IE3D 通过从 RGB 视频中学习隐式与显式两种几何表征,并设计 3D 感知适配器与 2D 视觉线索融合,使仅以 2D 图像训练的视觉语言模型(VLM)获得精细的三维空间理解能力,在 3D 视频检测、3D 视觉定位、3D 密集描述和空间推理等任务上一致取得优异性能。
值得关注:突破了纯 2D VLM 在三维空间理解上的瓶颈,且无需额外的 3D 传感设备,降低了实际部署成本。 隐式+显式几何的双令牌设计兼顾了高层语义先验与细粒度结构信息,提供了新的表征融合思路。 与已有相关卡片(如 CAIRN…