非凸优化与鞍点
教材《人工智能导论》2.4.2 · 已审核
通俗解释
复杂模型的损失面可能存在局部极小、鞍点和平坦区域。梯度接近零并不能单独证明已到全局最优，需要结合曲率和训练行为分析。
例子
训练时梯度接近零，沿另一个参数方向仍能降低损失。
容易混淆
鞍点与局部极小点都可能梯度为零。
检查理解
为何训练停滞不能直接说明模型已经最优？
查看参考答案
梯度为零可能是鞍点或平坦区，不足以证明达到全局最优；还需检查局部曲率与验证表现。
教材《人工智能导论》2.4.2 · 已审核
复杂模型的损失面可能存在局部极小、鞍点和平坦区域。梯度接近零并不能单独证明已到全局最优，需要结合曲率和训练行为分析。
训练时梯度接近零，沿另一个参数方向仍能降低损失。
鞍点与局部极小点都可能梯度为零。
为何训练停滞不能直接说明模型已经最优？
梯度为零可能是鞍点或平坦区，不足以证明达到全局最优；还需检查局部曲率与验证表现。