价值函数与Bellman方程
教材《人工智能导论》3.4.1 · 已审核
通俗解释
价值函数估计从某状态或状态动作对出发的长期回报。Bellman关系把当前奖励与后续状态价值连接起来，为动态规划和价值学习提供基础。
例子
走迷宫时一条路立刻得到小奖励，另一条路稍后可到达目标。
容易混淆
即时奖励高的动作未必带来更高长期回报。
检查理解
为什么在某一步得到奖励不能单独决定最佳策略？
查看参考答案
最佳动作取决于当前奖励加后续可能获得的长期回报，不能只看单步奖励。
教材《人工智能导论》3.4.1 · 已审核
价值函数估计从某状态或状态动作对出发的长期回报。Bellman关系把当前奖励与后续状态价值连接起来，为动态规划和价值学习提供基础。
走迷宫时一条路立刻得到小奖励，另一条路稍后可到达目标。
即时奖励高的动作未必带来更高长期回报。
为什么在某一步得到奖励不能单独决定最佳策略？
最佳动作取决于当前奖励加后续可能获得的长期回报，不能只看单步奖励。