多模态感知与理解
教材《人工智能导论》8.2.3 / 内部第1点 · 已审核
通俗解释
多模态感知是具身智能的感官基础，强调把视觉、语言、深度与几何信息结合起来以获得对环境的丰富表征。 其中，三维视觉定位（3D Visual Grounding，3DVG）技术旨在让具身智能体能够在复杂的三维环境中识别、定位和理解目标物体及其空间关系。
例子
例如，当对机器人下达指令“拿起桌子上的红色杯子”时，机器人需要通过“看”（视觉），判断出桌子和红色杯子在房间里的具体位置，还要知道“杯子在桌子上”这种空间关系，这样才能准确完成“拿杯子”这一动作。
容易混淆
识别出物体名称不等于理解它与其他物体的空间关系。
检查理解
用自己的话解释“多模态感知与理解”在“具身智能”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：多模态感知是具身智能的感官基础，强调把视觉、语言、深度与几何信息结合起来以获得对环境的丰富表征。 其中，三维视觉定位（3D Visual Grounding，3DVG）技术旨在让具身智能体能够在复杂的三维环境中识别、定位和理解目标物体及其空间关系。 示例：例如，当对机器人下达指令“拿起桌子上的红色杯子”时，机器人需要通过“看”（视觉），判断出桌子和红色杯子在房间里的具体位置，还要知道“杯子在桌子上”这种空间关系，这样才能准确完成“拿杯子”这一动作。