随机梯度下降与Adam
教材《人工智能导论》2.4.3 · 已审核
通俗解释
随机梯度下降用样本或小批量估计总体梯度，降低单次更新成本。动量和自适应学习率方法试图改善震荡与不同方向更新不均衡的问题。
例子
同一数据集分别每步用全部样本或一个小批量估计梯度。
容易混淆
优化器改变更新方式，但不能代替合适的数据和目标。
检查理解
小批量梯度与全量梯度在计算开销上有何差别？
查看参考答案
小批量每步计算量通常较低、更新更频繁，但梯度噪声较大；全量梯度每步成本较高。
教材《人工智能导论》2.4.3 · 已审核
随机梯度下降用样本或小批量估计总体梯度，降低单次更新成本。动量和自适应学习率方法试图改善震荡与不同方向更新不均衡的问题。
同一数据集分别每步用全部样本或一个小批量估计梯度。
优化器改变更新方式，但不能代替合适的数据和目标。
小批量梯度与全量梯度在计算开销上有何差别？
小批量每步计算量通常较低、更新更频繁，但梯度噪声较大；全量梯度每步成本较高。