知识卡片：SmartMage——面向3D场景理解的动态模态编排

一句话结论

SmartMage 是一个根据查询内容动态选择相关模态（而非固定组合）的 3D 场景理解多模态大模型（MLLM），据论文摘要，它在 5 个 3D 场景理解基准上达到 SOTA，在 RGB-only 视频理解基准上取得有竞争力的结果，并提出了 ScanFacet 诊断基准来分析不同语义任务偏好的模态组合。

事件概述 / 研究问题

理解 3D 场景是具身智能的基础，通常需要同时推理视觉、几何等异构模态信息。然而，不同查询对不同模态的相关性并不相同。现有 MLLM 大多使用固定的模态组合，忽略了查询相关的模态需求：无关模态可能引入语义噪声，信息量更大的模态又可能未被充分利用，从而导致计算浪费和推理质量下降。

SmartMage 针对这一问题，提出一个统一 MLLM，动态编排异构模态，实现语义感知的 3D 场景理解。

方法 / 产品要点

SmartMage 包含两个关键模块：

SMART（Semantic-guided Modality Adaptive RouTng）：语义引导的模态自适应路由模块。它利用语义先验、文本-模态对齐和模态质量，选择与当前任务相关的模态。
MAGE（Modality-Aware Gating Expert）：模态感知门控专家模块。它利用模态先验指导专家激活，促进多模态推理中的适应性专业化。

整体上，SmartMage 被设计为统一的 MLLM，通过上述模块实现动态模态编排，而非依赖固定的输入模态组合。

主要结果 / 产业意义

根据摘要，SmartMage 在 5 个 3D 场景理解基准上达到 state-of-the-art 性能。
在 RGB-only 视频理解基准上，取得有竞争力的结果。
论文提出诊断基准 ScanFacet，将任务划分为细粒度语义类别，用于分析不同语义类型偏好的模态组合；摘要称观察到的模态-语义模式进一步支持了 SmartMage 的有效性。
产业意义：动态模态选择有望减少无关模态带来的计算浪费，对具身智能、机器人感知、3D 场景理解等需要多模态输入的应用具有潜在价值。不过，摘要未给出具体的部署收益、推理延迟或能耗数据，相关细节待核实。

为什么重要

现有 MLLM 通常默认“所有模态都输入、所有模态都融合”，但真实查询往往只依赖其中一部分模态。SmartMage 把问题从“如何融合所有模态”转向“当前查询到底需要哪些模态”，这对多模态推理和具身智能具有重要意义。它同时提供了诊断基准 ScanFacet，有助于理解“语义类型—模态组合”之间的关系。

与既有脉络的关系

已有相关卡片分别涉及关系感知开放词汇 3D 场景理解、跨房间拓扑感知 3D 场景理解（CAIRN）和统一 3D 理解/生成（ELSA3D）。SmartMage 的增量信息主要在于：

不侧重拓扑关系、跨房间理解或生成，而是聚焦“查询相关的动态模态选择”；
提出 ScanFacet 诊断基准，用于分析不同语义任务对模态组合的偏好；
可作为既有 3D-LLM 工作在“输入模态组织方式”上的延续或补充。

局限与不确定性

以下信息在摘要材料中未明确给出，待核实：

5 个 3D 场景理解基准的具体名称、评估指标、对比基线和具体 SOTA 数值；
ScanFacet 的任务类别构成、构建方法及其观察到的模态-语义模式细节；
“RGB-only 视频理解基准”的具体数据集、任务和指标；
SMART 和 MAGE 的参数量、模型结构、训练策略、推理开销和计算效率；
代码、模型或数据是否开源，需查看项目页或论文全文确认。

可用于图书 / PPT / 简报的角度

“按需感知”概念：不是所有模态都永远有用，模型需要像人一样根据问题动态调用不同感官。
对比“固定模态融合”与“动态模态路由”，说明多模态大模型设计中的计算效率与推理质量权衡。
以 ScanFacet 为例，展示诊断基准如何帮助分析模型在细粒度语义任务上的模态偏好。
联系具身智能：机器人在不同任务中可能需要切换视觉、几何、文本指令等不同信息源。

原始材料

英文标题：SmartMage: Dynamic Modality Orchestration for 3D Scene Understanding
英文关键词：Multimodal Large Language Models; 3D Scene Understanding; Dynamic Modality Orchestration; Semantic-guided Routing; Modality-Aware Gating Expert; Embodied Intelligence
arXiv ID：2608.05137v1
作者：Yue Zhang, Yingzhao Jian, Yunqiu Xu, Xiaoxiao Sun, Hehe Fan
发布时间：2026-08-05
分类：cs.CV
原文链接：https://arxiv.org/abs/2608.05137v1
项目页：https://yuecheong.github.io/SmartMage/

摘要原文摘录：

Understanding 3D scenes is fundamental to embodied intelligence, requiring joint reasoning over heterogeneous information from multiple modalities, including visual and geometric cues. However, the relevance of these modalities often varies across queries. Existing Multimodal Large Language Models (MLLMs) typically rely on fixed modality combinations, overlooking query-dependent modality needs. Such a rigid design can introduce semantic noise from irrelevant modalities while underutilizing more informative ones, leading to wasted computation and diluted reasoning. To address these challenges, this paper proposes SmartMage, a unified MLLM that dynamically orchestrates heterogeneous modalities for semantic-aware 3D scene understanding. Specifically, SmartMage incorporates: (1) a Semantic-guided Modality Adaptive RouTng (SMART) module that selects task-relevant modalities using semantic priors, text-modality alignment, and modality quality; and (2) a Modality-Aware Gating Expert (MAGE) module that leverages modality priors to guide expert activation, fostering adaptive specialization in multimodal reasoning. Empirically, SmartMage achieves state-of-the-art performance across five 3D scene understanding benchmarks, and attains competitive results on RGB-only video understanding benchmarks. In our diagnostic benchmark ScanFacet, tasks are divided into fine-grained semantic categories, enabling analysis of modality combinations preferred by each semantic type. The observed modality-semantic patterns provide further evidence of SmartMage's effectiveness. Project page: https://yuecheong.github.io/SmartMage/.