知识卡片：TIGER：任务空间模仿引导的高效强化学习

一句话结论

TIGER 把模仿策略预测的动作块转成任务空间的短时域末端执行器参考，用作稠密奖励，而不是直接执行演示策略；在稀疏奖励操作任务上，它比匹配的 RL 基线更快达到 50% 成功，并在真实机器人早期训练中显著减少安全重置。

事件概述或研究问题

• 来源文章讨论：给机器人演示任务，不等于让它把任务做好。模仿学习优化与演示者的一致性，不直接优化任务成功、变化鲁棒性和节拍时间。
• 强化学习可直接优化任务成功并可能发现演示外行为，但真实操作奖励稀疏：成功前几乎没有反馈，早期探索慢、掉物、撞到不该去的地方，导致人工复位。
• 常见修正把演示当动作先验（从模仿策略提议动作或混入回放缓冲区），但每一步仍缺少“刚才十步是否让任务更好”的反馈。
• TIGER 的研究问题：能否把模仿策略的预测当作方向/进度信号，而不是控制器，从而给 RL 每一步稠密反馈，同时保留稀疏任务奖励定义“完成”。

方法/产品要点

• 核心重构：模仿策略预测动作块（材料中为 20 个动作，约下一秒运动）。TIGER 不执行该块，而是查询它，并通过控制器映射成短时域末端执行器参考，再用稠密奖励奖励缩小当前位姿与参考的差距。稀疏任务奖励仍定义“完成”。
• 控制器感知映射：先做已知解析变换，再叠加小型学习残差（建模延迟、衰减等系统执行效果，不建模接触物理），最后积分成以机器人当前测量位姿为锚的 EE 轨迹。每机器人/控制器拟合一次，<1 秒，约 5 个演示后饱和，运行时每块最多 50 微秒。
• 奖励设计：稠密奖励是相邻步骤间位姿对齐的“变化”，不是对齐本身；这避免机器人找到舒服位姿后停住。失败回合的稠密回报总额被缩放为不超过一次成功奖励，使“模仿得好但失败”不会更优。
• 离线热启动：在演示上预训练 actor 和 critic。对控制器感知映射预测会带来任务空间进步的候选动作，选择性放松离线 RL 的保守惩罚；其他动作保持悲观，避免过度保守。
• 算法兼容：引导只进入奖励和离线目标，因此可叠在现有行为克隆策略和现有 off-policy 学习器上。

主要结果或产业意义

• 模拟任务：在 7 个稀疏奖励模拟任务（MetaWorld、Robomimic 和 humanoid shape-sorting 插入任务）上，TIGER 全部更早达到 50% 成功，所需交互减少 20%–57%（来源摘要称部分任务只需约一半交互）。
• 稀疏探索瓶颈任务：Robomimic ToolHang（两阶段装配，最多 600 控制步）中，RL 基线从未成功，行为克隆最高 50%，TIGER 79%；humanoid shape-sorting 中，行为克隆 10%，TIGER 93%。
• 与学习奖励模型比较：对 ReWiND 和 RoboMeter，TIGER 在 MetaWorld Assembly 并列最佳，并在 Box Close、Stick Pull、Robomimic Square 领先，且不需要学习视觉或语言奖励函数。
• 多任务：10 个 LIBERO-Spatial 任务共享一个策略，每任务仅 10 个演示，TIGER 更早达到 50% 和 90% 阈值，最终 95% 成功。
• 真实 Franka FR3：块拾取约 8k 环境步收敛，基线约 12k；抽屉打开约 7k，基线约 12k。块拾取前 1000 步，每个基线约 35–38 次安全重置，TIGER 为 0 次；消融称这是模仿引导预训练特有，通用离线 RL 预训练不产生该效果。
• 旋转插座插入：50 个演示全部来自静止插座，行为克隆 10%，TIGER 90%；TIGER 是唯一在固定 26k 步预算内、对两个种子完成完整课程的方法，约三小时机器人时间/次。
• 产业意义：部署中关键指标可能不是最终成功率，而是交互预算和重置次数。更短训练、更少人工复位，更接近可在机器人车队上运行的方法。

为什么重要

• 对机器人学习：演示从“要复制的脚本”变为“局部的进度方向”，使 RL 能在演示不完美或分布外时继续学习，而不是被模仿策略的天花板限制。
• 对工业部署：真实机器人 RL 的早期安全重置和人工干预是隐性成本；TIGER 报告 0 次安全重置和更短交互预算，直接关系到可运行性与成本。
• 与既有脉络的关系：已有卡片记录 Sanctuary AI 在工业机器人线束插入中展示生产级性能（99.5%+ 成功率、2.54 秒节拍）。本条 TIGER 的增量在训练方法层：它不是新的产线成功率或节拍指标，而是用任务空间模仿引导提升稀疏奖励 RL 的样本效率与安全性，并展示对未见旋转插座条件的泛化。

局限与不确定性

• 核心假设：短时域末端执行器运动是任务进度的信息代理。对到达、抓取、插入和关节物体操作较成立；对力调节、触觉反馈、可变形物体动力学、灵巧手内操作或隐藏物体状态，可能不成立——手/EE 位置正确时任务仍可能出错。
• 引导仅局部一致；当演示是多模态时，模仿策略每个短时域只承诺一个参考。来源摘录在此处截断，多模态演示下的完整处理与后续局限待核实。
• 论文/预印本状态、同行评审、完整实验协议、所有基线配置和跨机器人/跨场景泛化细节待核实。
• 真实机器人结果来自 Franka FR3 的三个任务；旋转插入报告两个种子。不要将 TIGER 的 90% 旋转插入结果直接等同于产线性能。
• 与已有工业卡片中的产线部署不是同一验证层级；TIGER 是训练方法研究，是否已在生产环境部署待核实。

可用于图书/PPT/简报的角度

• “演示是指南针，不是脚本”：模仿学习与强化学习如何互补。
• 稠密奖励设计：奖励“进步”而非“接近”，并防止失败轨迹的稠密回报超过成功。
• 真实机器人 RL 的隐藏成本：安全重置、人工复位和机器人时间。
• 分布外泛化：静止演示如何帮助学习旋转插座插入。
• 控制器感知的模型偏差：策略动作空间与机器人实际运动之间的差距。
• 训练效率作为部署指标：交互预算、重置次数、收敛时间。

原始材料

• 英文标题：TIGER: Task-Space Imitation Guidance for Efficient Reinforcement Learning
• 英文副标题：Demonstrations as a compass, not a script
• 来源：Sanctuary AI | Robotics News & Insights
• URL：https://sanctuary.ai/news/tiger
• 英文关键词（据材料提取，材料是否另有官方关键词列表待核实）：TIGER, Task-Space Imitation Guidance, Efficient Reinforcement Learning, Imitation Learning, Dense Reward, Sparse-Reward Manipulation, Franka FR3, LIBERO-Spatial, MetaWorld, Robomimic