知识卡片：MAMHOI——通过可供性分解场景感知的人-物交互生成

一句话结论

MAMHOI 提出一种以“可供性”（affordance）为中介的分解式框架，把复杂 3D 场景中的人-物交互（HOI）生成拆成“场景理解→运动可供性→人-物运动合成”两个阶段，从而在无需成对的人-物-场景数据的情况下，用互补数据源分别学习环境感知与人-物交互动力学。

事件概述或研究问题

• 在复杂 3D 场景中生成逼真的 HOI 需要两种互补能力：一是推理交互在环境中是否可行（环境可行性），二是合成逼真的人-物运动（交互动力学）。
• 问题在于：这两类能力的监督信号很少能大规模联合获得。人-场景数据集提供丰富的环境感知运动信息，人-物数据集捕捉细致的交互动力学，但成对的“人-物-场景”数据依然稀缺。
• 论文提出的研究问题是：能否在不依赖成对人-物-场景数据的前提下，把这两类能力结合起来生成场景感知的 HOI？

方法/产品要点

• MAMHOI 是一种“可供性中介的分解”（affordance-mediated factorization），在场景理解与运动合成之间引入一个显式的“运动-可供性接口”（motion-affordance interface）。
• 第一阶段：场景条件模型（scene-conditioned model）预测交互可以在“哪里”以及“如何”被可行地执行。
• 第二阶段：可供性条件的人-物交互模型（affordance-conditioned HOI model）据此生成相应的人-物运动。
• 这种分解使得场景理解与交互动力学可以分别从互补的监督来源中学习，而无需成对的人-物-场景数据。
• 论文作者：Mingyuan Lei、Yoonchang Sung、Tat-Jen Cham；分类：cs.CV（主）、cs.AI；发布时间 2026-10-08。
• 项目主页：https://leimingyuan.github.io/MAMHOI-project-page/

主要结果或产业意义

• 在复杂室内环境中的实验显示：MAMHOI 减少了“物体-场景穿透”（object–scene penetration），同时更好地保持了人-物交互质量。
• 由此生成的场景感知交互被认为更真实、物理上更可行。
• 意义：为“场景感知 HOI 生成”提供了一条不依赖成对人-物-场景数据的可行路径，有望降低对高成本联合标注数据的依赖。

为什么重要

• 数据稀缺是 3D 场景中 HOI 生成的核心瓶颈之一；MAMHOI 的分解思路让“环境可行性”和“交互动力学”可以各自复用已有数据集，而不必强行配对。
• 显式的“运动-可供性接口”为场景理解与运动合成之间提供了一个可解释的中间表示，可能便于迁移到机器人操作、虚拟人动画、具身智能仿真等场景。
• 对产业而言，减少穿透、提升物理可行性，是虚拟内容生成落地（如游戏、VR/AR、合成数据）中的关键质量指标。

与既有脉络的关系

• 本条属于“场景理解 + 人-物交互生成”的交叉方向，与“关系感知的开放词汇 3D 场景理解”卡片同属 3D 场景理解脉络，但 MAMHOI 的重点是从场景理解走向动运动生成，而非单纯的场景语义理解。
• 与“共享具身智能与人机协作优化”卡片同样关注具身场景中的交互，但 MAMHOI 侧重生成式建模而非机器人协作优化，二者关注点不同。
• 与“通过人机交互的高效测试时适应（TAHI）”卡片在“利用不同阶段/信号做适配”的思路上有一定类比性，但 MAMHOI 的“可供性接口”是模型结构上的分解，而非测试阶段的在线适应。

局限与不确定性

• 论文材料未说明 MAMHOI 在室外、非室内或大规模开放场景中的表现，是否泛化到复杂室内以外的环境待核实。
• 论文材料未给出具体定量指标（如穿透率降幅、交互质量提升幅度）、数据集名称、基线方法等细节，待核实。
• 是否开源代码、模型权重及项目页的具体内容，材料未说明，待核实。
• “运动-可供性接口”的具体表示形式（如接触点、姿态先验或参数化可供性图）材料未展开，待核实。

可用于图书/PPT/简报的角度

• “用分解绕开数据瓶颈”：以 MAMHOI 为例说明如何通过中间表示（可供性）复用不同来源的监督信号。
• “从场景理解到运动生成”：展示 3D 场景理解如何服务于下游生成任务，而非停留在语义标注。
• “物理可行性作为生成质量指标”：以“减少物体-场景穿透”为例，讨论生成式 3D 内容评估中的物理约束。
• “具身智能与虚拟人动画的交叉”：将 HOI 生成放入具身智能、仿真数据合成、虚拟人动画的共同语境中。

原始材料

• 标题：MAMHOI: Factorizing Scene-Aware Human-Object Interaction through Affordances
• arXiv ID：2610.12416v1
• 作者：Mingyuan Lei, Yoonchang Sung, Tat-Jen Cham
• 发布时间：2026-10-08T17:52:02Z
• 主分类：cs.CV；分类：cs.CV, cs.AI
• Abstract URL：https://arxiv.org/abs/2610.12416v1
• PDF URL：https://arxiv.org/pdf/2610.12416v1
• 项目主页：https://leimingyuan.github.io/MAMHOI-project-page/