动量法
教材《人工智能导论》2.4.3 / 内部第2点 · 已审核
通俗解释
动量法（Momentum） 通过在参数更新过程中引入历史梯度信息，对梯度下降的更新方向进行平滑处理，从而缓解随机梯度带来的振荡问题，并加快收敛速度。 其基本思想是对梯度进行指数加权平均，使参数更新不仅依赖于当前梯度，也受到过去梯度方向的影响。
例子
连续几步梯度方向相近时，历史方向可使参数更新更平滑；方向来回变化时可减轻震荡。
容易混淆
动量利用历史梯度平滑方向，并非简单把当前学习率调大。
检查理解
用自己的话解释“动量法”在“现代优化算法”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：动量法（Momentum） 通过在参数更新过程中引入历史梯度信息，对梯度下降的更新方向进行平滑处理，从而缓解随机梯度带来的振荡问题，并加快收敛速度。 其基本思想是对梯度进行指数加权平均，使参数更新不仅依赖于当前梯度，也受到过去梯度方向的影响。 示例：连续几步梯度方向相近时，历史方向可使参数更新更平滑；方向来回变化时可减轻震荡。