知识卡片：平衡数据食谱——解决机器人控制超大规模强化学习中的探索瓶颈

一句话结论

该研究提出 Success Guided Sampling (SGS)，一种自适应采样器，将大规模并行强化学习集中在策略能力前沿的任务配置上，从而在超百万并行环境的仿真中解决此前方法无法完成的四足运动与接触密集型装配任务，并实现零样本真机迁移。

事件概述或研究问题

通用机器人需要完成从敏捷运动到灵巧操作的广泛任务。仿真到现实的强化学习（sim-to-real RL）虽是有力工具，但现有流程依赖大量逐任务工程先验（如奖励塑形、示范）。近期工作表明，多样化的仿真器重置结合大规模并行仿真可缓解这一负担，但作者发现：将这一范式朴素地扩展到更精细或更动态的问题仍然困难。原因在于，在重置分布上均匀采样会把越来越多的学习经验浪费在策略已掌握或尚无法尝试的任务配置上，导致大批量并行环境带来的预期收益难以显现。

方法/产品要点

• 提出 Success Guided Sampling (SGS)：一个简单的自适应采样器，将 RL 训练集中在策略能力前沿附近的任务配置上。
• 目标：让大规模仿真 RL 更充分地利用每个批次中的经验，从而更有效地扩展到大规模并行仿真。
• 实验规模：最多使用 $2^{20}$（超过一百万）个并行环境。
• 额外流程：将学到的操作策略蒸馏为基于 RGB 的策略，并在真实硬件上进行零样本迁移验证。

主要结果或产业意义

• 在最多约百万并行环境的实验中，SGS 使 RL 能够解决此前的多地形四足运动与接触密集型装配任务，而先前方法在这些任务上失败。
• 将学到的操作策略蒸馏为 RGB 策略后，在真实硬件上实现了对若干挑战性装配任务的零样本迁移。
• 项目网站：https://sgs-rl.github.io/

为什么重要

• 指出大规模并行 RL 的一个关键瓶颈并非算力本身，而是采样分布与策略当前能力不匹配导致的学习信号浪费。
• 提供了一种轻量、通用的采样策略，可能减少对逐任务奖励塑形与示范工程的依赖，推动通用机器人策略的训练范式向可扩展方向演进。
• 从仿真到真机的零样本迁移结果，为大规模仿真训练在真实操作任务中的可用性提供了实证支撑。

局限与不确定性

• 材料为摘要级别，SGS 的具体算法细节（如成功率估计方式、温度或阈值设定）无法从材料确认，待核实。
• 摘要未给出与基线方法的定量对比数值、任务成功率表格或消融实验结论，待核实。
• 零样本迁移的具体硬件平台、任务数量与评测指标未在材料中说明，待核实。
• 是否存在对特定任务类型（运动 vs 装配）之外的泛化验证，材料未提及，待核实。

可用于图书/PPT/简报的角度

• “算力不是万能药”：超大规模并行 RL 的边际收益受限于采样效率，可用于说明数据/经验质量相对于规模的重要性。
• 自适应课程学习视角：将 SGS 视为一种围绕策略能力前沿自动构建课程（curriculum）的机制。
• 工程负担转移：从依赖人工奖励塑形与示范，转向依赖可扩展的采样策略设计。
• 仿真到现实链路：仿真大规模训练 + 策略蒸馏 + 零样本真机迁移的完整叙事线。

与既有脉络的关系

• 与 DEED（零售人形机器人数据高效后训练）卡片相比，二者都关注机器人策略从仿真/实验室走向真实场景的效率问题；DEED 侧重系统集成与数据高效后训练，本条侧重超大规模并行 RL 中的采样效率与探索瓶颈，属于不同层面的互补增量。
• 与 DynaKRAG 卡片相比，二者均涉及“在策略能力/证据状态上做自适应选择”的思想，但应用领域不同（多跳检索 vs 机器人控制），本条可作为自适应选择思想在机器人学习领域的延伸案例。

原始材料

• Title: A Balanced Data Diet: Addressing the Exploration Bottleneck in Mega-Scale RL for Robot Control
• Authors: Octi Zhang, Mateo Guaman Castro, Patrick Yin, Ignacio Dagnino, Abhishek Gupta, Rosario Scalise, Byron Boots
• Published: 2026-10-08T17:59:50Z
• Primary category: cs.RO
• Categories: cs.RO, cs.LG
• arXiv ID: 2610.12465v1
• Abstract URL: https://arxiv.org/abs/2610.12465v1
• PDF URL: https://arxiv.org/pdf/2610.12465v1
• Project website: https://sgs-rl.github.io/