AI消息速览

战略性扩展:通过偏置感知评估与数据收集实现机器人操作的组合泛化学习

事件日期 2026-07-23 · 学术前沿 · 已接受

事件日期2026-07-23
信息日期2026-07-23
入库日期2026-07-24
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:战略性扩展:通过偏置感知评估与数据收集实现机器人操作的组合泛化学习

一句话结论
本文发现预训练的机器人策略在遵循组合指令时存在严重的“捷径”偏置(如过度依赖颜色而非动词),并提出一种可诊断各语义因素偏置程度的框架(FDR/FDH)以及偏向弱因素的主动数据收集策略,可在演示数据减半的情况下提升泛化性能。

事件概述/研究问题
组合泛化(compositional generalization)对机器人根据多样指令操作至关重要,但预训练策略常利用显著线索(如颜色)走捷径,而未真正理解语言指令中的各语义成分。研究将失败定位到可复用的语义因素(颜色、动词、物体、大小、空间属性),并提出诊断框架量化因素偏置。待核实:论文是否在真实机器人硬件上验证了数据收集策略效果。

方法/产品要点

  • 诊断框架
    • 定义“指令因素偏置”,即微调策略过度依赖主导因素作为捷径的倾向。
    • 提出两个指标:因子主导率(FDR) 捕捉两两因素间的偏置;因子主导层级(FDH) 全局排序各因素的偏置程度。
  • 评估结果:在六个基础策略上发现一致的偏置排序:颜色 ≥ 物体 ≥ 空间 ≥ 动词 ≥ 大小,其中颜色最主导,动词和大小最未被语言接地(under-grounded)。
  • 行动策略:偏置感知数据收集——在固定预算下将资源重新分配给弱偏置因素(如动词、大小),在仿真和真实机器人上仅用一半演示就超越基线。

主要结果或产业意义

  • 诊断框架可系统定位组合泛化失败的根源,使后续数据收集有的放矢。
  • 偏置感知数据收集策略实现了样本效率显著提升(演示减半),同时增强了策略的泛化能力。待核实:具体仿真和真实实验的量化指标(如成功率、平均奖励)。
  • 产业意义:为机器人操作系统的数据采集提供先验指导,避免盲目收集主导因素数据,节省部署成本。

为什么重要

  • 现有工作多关注整体泛化性能提升,本文首次对多因素间的偏置进行正式建模和全局排序,揭示了不同语义因素在决策中的重要性与接地程度不一致。
  • 提供了一种可操作(actionable)的诊断结果:可直接指导数据收集策略,而非仅止于分析。与已有相关卡片的增量信息:之前的“缩小实验室到商店差距”侧重系统集成挑战,本文则聚焦于组合泛化中的语义偏置问题及其数据效率解决方案。

局限与不确定性

  • 待核实:诊断框架是否仅适用于特定预训练策略(如CLIP或RT-2类)?六个测试策略的名称未见。
  • 待核实:偏置排序(颜色>物体>...)是否依赖于任务或场景?论文未讨论跨场景稳定性。
  • 待核实:实际机器人实验中的操作任务细节(如抓取、放置)和失败模式未被提供。

可用于图书/PPT/简报的角度

  • 举例:展示传统机器人策略被颜色误导(如指令“把红色杯子放在蓝色盒子上”却只根据颜色选择物体),与诊断框架后的纠正效果对比。
  • 图示:用雷达图展示不同因素的FDR/FDH排名,直观展示颜色主导而动词、大小被忽视。
  • 标语:“别让机器人只看到颜色——用偏置感知数据打破捷径魔咒。”

原始材料

  • URL: https://arxiv.org/abs/2607.21582v1
  • Track: academic
  • Topics: foundation-model
  • 英文标题:Scale Up Strategically: Learning Compositional Generalization via Bias-Aware Evaluation and Data Collection for Robotic Manipulation
  • 英文关键词(待核实原文关键词列表,据摘要提炼):compositional generalization, robotic manipulation, instruction factor bias, factor dominance rate, factor dominance hierarchy, data collection strategy

与既有脉络的关系
本条是对机器人组合泛化领域最新进展的补充。与已有卡片“缩小实验室到商店差距”不同,该卡片聚焦系统集成与数据后训练,本卡片聚焦多因素偏置诊断与数据再分配策略,提供了一种从认知偏置角度提升样本效率的新路径。