自适应学习率优化算法
教材《人工智能导论》2.4.3 / 内部第3点 · 已审核
通俗解释
在随机梯度下降及其动量改进方法中，学习率通常作为一个全局超参数，对所有参数采用相同的更新步长。 然而，在高维参数空间中，不同参数方向上的梯度尺度往往存在显著差异，统一步长可能导致部分参数更新过快，而另一部分更新过慢。
例子
两个参数方向上的梯度尺度不同，分别调整步长可减少一边震荡、一边走得过慢的问题。
容易混淆
不同参数采用调整后的步长，也不免除验证学习率和泛化表现。
检查理解
用自己的话解释“自适应学习率优化算法”在“现代优化算法”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：在随机梯度下降及其动量改进方法中，学习率通常作为一个全局超参数，对所有参数采用相同的更新步长。 然而，在高维参数空间中，不同参数方向上的梯度尺度往往存在显著差异，统一步长可能导致部分参数更新过快，而另一部分更新过慢。 示例：两个参数方向上的梯度尺度不同，分别调整步长可减少一边震荡、一边走得过慢的问题。