PPO
教材《人工智能导论》3.4.2 / 7.2.3 · 已审核
通俗解释
教材案例 3.13 介绍 PPO-Clip 通过约束策略更新前后动作采样比例的变化幅度，使策略更新更稳定；案例流程还用经验回放池保存轨迹，再从中抽取小批量样本估计优势并更新行动器和评判器。
例子
机器人策略一次更新后动作突然大变，训练回报随之下降。
容易混淆
不要把 PPO-Clip 的约束理解为停止更新；它限制的是新旧策略间的变化幅度。
检查理解
为什么策略更新幅度过大可能破坏训练？
查看参考答案
更新过大可能使新策略偏离生成训练数据的旧策略，估计失准并导致性能骤降；PPO 通过限制更新幅度缓解这一问题。