归一化使神经网络大部分参数呈尺度不变性;学习率调度与权重衰减通过参数范数构成隐藏反馈回路。本文提出一个精确离散时间定律:单个标量可汇总调度/衰减的驱动作用,而范数增长产生相反的几何自抑制效应,从而在“收缩主导”和“扩张主导”有效学习率区间之间形成尖锐边界。作者进一步指出,恒定学习率加权重衰减在该系统中无法稳定维持内部平衡点。
值得关注:不是只描述现象,而是提出可检验的定量边界:尺度不变优化在什么条件下转向收缩主导或扩张主导。 将自适应优化器在归一化网络中“更不稳定/更少自稳定”的现象与 self-quenching 强度差异联系起来,提供第一性原理层…