知识卡片:战略性扩展:通过偏置感知评估与数据收集实现机器人操作的组合泛化学习
一句话结论
本文发现预训练的机器人策略在遵循组合指令时存在严重的“捷径”偏置(如过度依赖颜色而非动词),并提出一种可诊断各语义因素偏置程度的框架(FDR/FDH)以及偏向弱因素的主动数据收集策略,可在演示数据减半的情况下提升泛化性能。
事件概述/研究问题
组合泛化(compositional generalization)对机器人根据多样指令操作至关重要,但预训练策略常利用显著线索(如颜色)走捷径,而未真正理解语言指令中的各语义成分。研究将失败定位到可复用的语义因素(颜色、动词、物体、大小、空间属性),并提出诊断框架量化因素偏置。待核实:论文是否在真实机器人硬件上验证了数据收集策略效果。
方法/产品要点
- 诊断框架:
- 定义“指令因素偏置”,即微调策略过度依赖主导因素作为捷径的倾向。
- 提出两个指标:因子主导率(FDR) 捕捉两两因素间的偏置;因子主导层级(FDH) 全局排序各因素的偏置程度。
- 评估结果:在六个基础策略上发现一致的偏置排序:颜色 ≥ 物体 ≥ 空间 ≥ 动词 ≥ 大小,其中颜色最主导,动词和大小最未被语言接地(under-grounded)。
- 行动策略:偏置感知数据收集——在固定预算下将资源重新分配给弱偏置因素(如动词、大小),在仿真和真实机器人上仅用一半演示就超越基线。
主要结果或产业意义
- 诊断框架可系统定位组合泛化失败的根源,使后续数据收集有的放矢。
- 偏置感知数据收集策略实现了样本效率显著提升(演示减半),同时增强了策略的泛化能力。待核实:具体仿真和真实实验的量化指标(如成功率、平均奖励)。
- 产业意义:为机器人操作系统的数据采集提供先验指导,避免盲目收集主导因素数据,节省部署成本。
为什么重要
- 现有工作多关注整体泛化性能提升,本文首次对多因素间的偏置进行正式建模和全局排序,揭示了不同语义因素在决策中的重要性与接地程度不一致。
- 提供了一种可操作(actionable)的诊断结果:可直接指导数据收集策略,而非仅止于分析。与已有相关卡片的增量信息:之前的“缩小实验室到商店差距”侧重系统集成挑战,本文则聚焦于组合泛化中的语义偏置问题及其数据效率解决方案。
局限与不确定性
- 待核实:诊断框架是否仅适用于特定预训练策略(如CLIP或RT-2类)?六个测试策略的名称未见。
- 待核实:偏置排序(颜色>物体>...)是否依赖于任务或场景?论文未讨论跨场景稳定性。
- 待核实:实际机器人实验中的操作任务细节(如抓取、放置)和失败模式未被提供。
可用于图书/PPT/简报的角度
- 举例:展示传统机器人策略被颜色误导(如指令“把红色杯子放在蓝色盒子上”却只根据颜色选择物体),与诊断框架后的纠正效果对比。
- 图示:用雷达图展示不同因素的FDR/FDH排名,直观展示颜色主导而动词、大小被忽视。
- 标语:“别让机器人只看到颜色——用偏置感知数据打破捷径魔咒。”
原始材料
- URL: https://arxiv.org/abs/2607.21582v1
- Track: academic
- Topics: foundation-model
- 英文标题:Scale Up Strategically: Learning Compositional Generalization via Bias-Aware Evaluation and Data Collection for Robotic Manipulation
- 英文关键词(待核实原文关键词列表,据摘要提炼):compositional generalization, robotic manipulation, instruction factor bias, factor dominance rate, factor dominance hierarchy, data collection strategy
与既有脉络的关系
本条是对机器人组合泛化领域最新进展的补充。与已有卡片“缩小实验室到商店差距”不同,该卡片聚焦系统集成与数据后训练,本卡片聚焦多因素偏置诊断与数据再分配策略,提供了一种从认知偏置角度提升样本效率的新路径。