梯度下降
教材《人工智能导论》2.4.1 · 已审核
通俗解释
梯度描述目标函数局部变化方向，梯度下降沿负梯度迭代更新参数。学习率决定每步大小，过大可能不稳定，过小则收敛缓慢。
例子
沿损失函数的负梯度更新参数，分别试用很大和很小的学习率。
容易混淆
梯度下降是数值迭代方法，不保证所有非凸问题都找到全局最优。
检查理解
学习率过大和过小各会出现什么现象？
查看参考答案
学习率过大可能跨过低损失区域并震荡甚至发散，过小则每步进展慢、收敛耗时长。
教材《人工智能导论》2.4.1 · 已审核
梯度描述目标函数局部变化方向，梯度下降沿负梯度迭代更新参数。学习率决定每步大小，过大可能不稳定，过小则收敛缓慢。
沿损失函数的负梯度更新参数，分别试用很大和很小的学习率。
梯度下降是数值迭代方法，不保证所有非凸问题都找到全局最优。
学习率过大和过小各会出现什么现象？
学习率过大可能跨过低损失区域并震荡甚至发散，过小则每步进展慢、收敛耗时长。