TIGER 把模仿策略预测的动作块转成任务空间的短时域末端执行器参考,用作稠密奖励,而不是直接执行演示策略;在稀疏奖励操作任务上,它比匹配的 RL 基线更快达到 50% 成功,并在真实机器人早期训练中显著减少安全重置。
来源文章讨论:给机器人演示任务,不等于让它把任务做好。模仿学习优化与演示者的一致性,不直接优化任务成功、变化鲁棒性和节拍时间。 强化学习可直接优化任务成功并可能发现演示外行为,但真实操作奖励稀疏:成功前几乎没有反馈,早期探索慢、掉物、撞到不该去的地方,导致人工复位。 常见修正把演示当动作先验(从模仿策略提议动作或混入回放缓冲区),但每一步仍缺少“刚才十步是…
sanctuary.ai
查看来源原文