知识卡片：VLM-IE3D：基于隐式与显式几何的3D感知视觉语言模型

English title: 3D-Aware VLMs with Implicit and Explicit Geometries
English keywords: Vision-Language Models; 3D Spatial Awareness; Implicit Geometry Tokens; Explicit Geometry Tokens; 3D-aware Adapter; RGB-only

一句话结论

VLM-IE3D 通过从 RGB 视频中学习隐式与显式两种几何表征，并设计 3D 感知适配器与 2D 视觉线索融合，使仅以 2D 图像训练的视觉语言模型（VLM）获得精细的三维空间理解能力，在 3D 视频检测、3D 视觉定位、3D 密集描述和空间推理等任务上一致取得优异性能。

事件概述或研究问题

现有视觉语言模型（VLM）主要基于 2D 视觉输入构建，在处理需要细粒度三维空间理解与推理的 3D 任务时表现不佳。本文提出统一框架 VLM-IE3D，旨在仅使用 RGB 视频（无需额外 3D 输入）为 VLM 注入强大的 3D 归纳偏置。

方法/产品要点

• 隐式几何令牌（IGT）：从输入视频中捕捉高级几何先验。
• 显式几何令牌（EGT）：从重建的 3D 属性中编码详细的几何结构，与 IGT 互补。
• 3D 感知适配器：有效融合两种几何表征与 2D 视觉线索。
• 整体设计仅依赖 RGB 视频，无需任何额外 3D 输入（如深度图、点云）。

主要结果或产业意义

在多项 3D 任务（3D 视频检测、3D 视觉定位、3D 密集描述、空间推理）上，VLM-IE3D 持续取得优于既有方法的性能。代码和模型已开源（https://github.com/Vegetebird/VLM-IE3D）。

为什么重要

• 突破了纯 2D VLM 在三维空间理解上的瓶颈，且无需额外的 3D 传感设备，降低了实际部署成本。
• 隐式+显式几何的双令牌设计兼顾了高层语义先验与细粒度结构信息，提供了新的表征融合思路。
• 与已有相关卡片（如 CAIRN 针对跨房间场景、Lift3D-VLA 针对操作）不同，本工作聚焦于通用 3D 感知能力的增强，可作为基础能力模块集成到更多下游系统中。

局限与不确定性

• 摘要未提及在真实复杂动态场景（如遮挡严重、光照变化）下的鲁棒性评估结果，该方面待核实。
• 未明确说明模型的推理速度与计算开销，能否实时运行待确认。
• 隐式和显式令牌的生成依赖视频中 3D 重建的质量，对低质量或短时视频的适应能力待核实。

可用于图书/PPT/简报的角度

• 知识图谱补充：作为“多模态大模型→三维空间理解”分支下的代表性方法。
• 演讲幻灯片：展示 VLM 从 2D 到 3D 的演进，用 IGT+EGT 双令牌示意图说明框架创新。
• 产业应用：强调仅需 RGB 视频即可赋予机器人/自动驾驶系统 3D 感知，降低传感器成本。
• 与已有工作的对比：点明本方法不同于需要额外 3D 输入或特定场景假设的先前工作。

原始材料

• 论文标题：3D-Aware VLMs with Implicit and Explicit Geometries
• arXiv ID：2607.21595v1
• 作者：Wenhao Li, Xueying Jiang, Quanhao Qian, Deli Zhao, Ran Xu, Shijian Lu, Gongjie Zhang
• 发布/更新日期：2026-07-23
• 论文摘要及详情：https://arxiv.org/abs/2607.21595v1
• 开源代码：https://github.com/Vegetebird/VLM-IE3D