随机梯度下降
教材《人工智能导论》2.4.3 / 内部第1点 · 已审核
通俗解释
回顾2.4.1 节中介绍的批量梯度下降框架，随机梯度下降（Stochastic Gradient Descent，SGD）是批量梯度下降在极端情形下的特例：每次迭代仅使用一个训练样本估计梯度并更新参数，从而将单步计算开销压到最低。
例子
每次只取一个训练样本估计梯度并更新参数，而不是等遍历全部样本才更新。
容易混淆
随机梯度下降每步用一个样本估计梯度，其更新方向有噪声，不等于精确全量梯度。
检查理解
用自己的话解释“随机梯度下降”在“现代优化算法”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：回顾2.4.1 节中介绍的批量梯度下降框架，随机梯度下降（Stochastic Gradient Descent，SGD）是批量梯度下降在极端情形下的特例：每次迭代仅使用一个训练样本估计梯度并更新参数，从而将单步计算开销压到最低。 示例：每次只取一个训练样本估计梯度并更新参数，而不是等遍历全部样本才更新。