该综述认为,2025–2026年的神经网络优化已不能简单描述为“新Adam变体的序列”;矩阵感知(matrix-aware)优化器是真实进展,但不存在独立于具体情境的AdamW替代品。
本文是arXiv上的一篇博客式综述(作者Ruoran Xu,2026-08-28发布,分类cs.LG/cs.AI),试图为近期优化器与训练优化方法提供一个系统化视角。它提出四个大致独立的设计轴:时间估计、更新几何、时间跨度管理、表示与系统;并认为优化器设计已从坐标级更新规则扩展到矩阵/层/系统层面,同时优化器状态表示需兼容分片(sharding)与低精度计…