知识卡片:SpatialASM:将主动心理化内化到空间推理中
一句话结论
SpatialASM 提出一种可扩展的训练框架,通过训练时的空间模拟,让大型视觉语言模型(LVLM)学会像人类一样主动进行“主动空间心理化”(Active Spatial Mentalization, ASM)——即在空间推理中自适应地规划视角并想象新视角下的场景布局,从而在多个空间推理基准上提升性能,同时保留原有通用视觉能力。
事件概述或研究问题
人类在解决复杂空间推理任务时,会自然地从与任务相关的视角重新审视场景,并在脑中重建这些视角下的空间布局。论文提出核心问题:大型视觉语言模型(LVLM)能否以同样的方式主动思考?作者将这种能力定义为“主动空间心理化”(ASM),指出它是视觉智能的内在组成部分,而当前 LVLM 在这方面仍严重欠缺。为弥补这一差距,论文提出 SpatialASM 框架。
方法/产品要点
- 训练时空间模拟:SpatialASM 通过训练阶段的模拟将 ASM 内化到 LVLM 中。
- 异中心新视角生成器(allocentric novel-view generator):用于将假设视角锚定在视觉证据上。
- 两种互补监督形式:
- 显式 ASM 轨迹:教导 LVLM 在空间推理中何时以及如何自适应地调用视角规划与想象。
- 自动构建的视角采择任务:进一步强化以视角为条件的场景想象能力。
- 可扩展路径:ASM 轨迹的合成提供了一条可扩展路径,用以缓解空间链式思维(Chain-of-Thought, CoT)监督的稀缺问题。
主要结果或产业意义
- 在七个基准上评估,涵盖从相对感知导向的空间理解,到更具挑战性的多图像、跨视角与视角变换推理任务。
- 在四种 LVLM 骨干上均取得空间推理性能增益,同时保留其原有通用视觉能力。
- 实验结果表明,该方法提升了七个空间基准上的平均准确率。
- 产业意义(待核实具体数值):若该框架可泛化,有望为具身智能、机器人导航、自动驾驶等需要空间心智模拟的应用提供更可扩展的训练范式。
为什么重要
- 将“主动视角探索 + 心理场景模拟”作为空间推理的核心能力显式建模,而非仅依赖隐式提示跟随。
- 提供可扩展的 ASM 轨迹合成方法,缓解空间 CoT 监督稀缺的问题,对训练数据构建具有方法论价值。
- 与既有面向 3D 布局可验证推理的工作(如 SpatialGuard)不同,本条聚焦于让模型内化“主动心理化”过程本身,而非外部校验闭环。
局限与不确定性
- 论文未在摘要中给出具体性能提升数值(如各基准准确率增量),需查阅正文核实。
- 未说明四种 LVLM 骨干的具体型号与规模,待核实。
- 未说明七个基准的具体名称与任务分布,待核实。
- 未说明“保留原有通用视觉能力”的评估方式与具体指标,待核实。
- 未说明训练数据规模、计算成本与训练时长,待核实。
- 未说明 ASM 轨迹合成的具体实现细节与质量评估,待核实。
可用于图书/PPT/简报的角度
- “让模型学会主动换视角”:从被动感知到主动心理模拟的范式转变。
- 空间推理中的 CoT 监督稀缺问题与可扩展合成路径。
- 人类空间认知(视角重访、心理重建)如何启发 LVLM 训练框架设计。
- 多基准、多骨干的通用性验证思路:性能增益与通用能力保留的权衡。
原始材料
- 标题:SpatialASM: Internalizing Active Mentalization for Spatial Reasoning
- arXiv ID:2610.13832v1
- 作者:Yuhong Liu, Shenxi Wu, Junyi Chi, Beichen Zhang, Xuanlang Dai, Jiaqi Wang, Yuhang Zang, Dahua Lin
- 发布:2026-10-09T16:39:50Z
- 主分类:cs.CV;分类:cs.CV, cs.AI
- Abstract URL:https://arxiv.org/abs/2610.13832v1
- PDF URL:https://arxiv.org/pdf/2610.13832v1
发现内容有误?
免登录提交,管理员审核并完成修正后才会公开修订说明。
值得关注
将“主动视角探索 + 心理场景模拟”作为空间推理的核心能力显式建模,而非仅依赖隐式提示跟随。 提供可扩展的 ASM 轨迹合成方法,缓解空间 CoT 监督稀缺的问题,对训练数据构建具有方法论价值。 与既有面向 3D 布局可验证推理的工作(如 SpatialGuard)不同,本条聚焦于让模型内化“主动心理化”过程本身,而非外部校验闭环。
相关主题
对应的教材知识点
根据卡片内容自动匹配,点击查看已审核的教材讲解: