知识卡片：MuonGS：放宽权重范数控制的 LLM 预训练优化器

一句话结论

MuonGS 通过 Gram–Schmidt 投影移除 Muon 更新中的径向分量，在不固定权重范数的前提下让权重范数以约 √t 的速率增长，从而在长程预训练中实现比 MuonH 更低的验证困惑度，稠密模型上估计可达约 15% 的 token 等效加速。

事件概述或研究问题

论文关注语言模型预训练中权重衰减与显式权重范数约束为何有效、需要多强这一尚未统一的问题。作者以“累积有效学习率” $C_T=\sum_{t<T}\eta_t/|W_t|_F$ 为分析工具，考察 Muon 系列优化器在整个训练轨迹上的范数控制行为：在更新方向有界的条件下，任意训练区间上的累积量可界定权重的相对位移。作者指出原始 Muon 只能实现对数级累积，可能限制探索并解释其经验进展较慢；MuonW 与 MuonH 在给定条件下至少保证线性累积。进一步地，作者证明足够缓慢的范数增长可带来快于对数最坏情形的累积，从而允许约束更宽松的优化器设计。

方法/产品要点

• 分析框架：以累积有效学习率 $C_T$ 统一刻画范数控制对权重相对位移的约束效果。
• MuonGS 设计：用 Gram–Schmidt（GS）投影去除每次 Muon 更新的径向分量，但不固定权重范数。
• 理论保证：在更新方向有界且名义学习率恒定时，证明 $t$ 步后权重范数最多按 $\sqrt{t}$ 比例增长，进而 $C_T=\Omega(\sqrt{T})$，且该累积在训练后期仍可持续；对光滑的尺度不变目标，给出 $O(T^{-1/2})$ 的平稳性保证。
• 实验设置：160M 与 400M 参数稠密模型，以及 135M 激活/1B 总参数的 MoE 模型预训练。

主要结果或产业意义

在长训练周期下，MuonGS 的验证困惑度低于 MuonH。稠密模型上，在匹配验证损失时估计可达到相对 MuonH 约 15% 的 token 等效加速。该结果说明“放宽而非固定”权重范数控制是一条可行且可能更高效的优化器设计路径，对大规模预训练的计算成本具有直接意义。

为什么重要

现有做法多依赖权重衰减或硬性范数约束，但缺乏对“控制强度—训练动态—最终效果”的统一解释。MuonGS 把范数控制从“固定约束”转为“控制增长速度”，并给出累积有效学习率的下界与平稳性保证，为 Muon 类优化器的后续设计提供了可分析、可调节的新自由度。本条与既有卡片无直接重复；若后续出现 Muon 优化器或权重范数控制的卡片，可作为该脉络的理论与实证增量。

局限与不确定性

• 理论保证依赖“更新方向有界”“名义学习率恒定”“目标光滑且尺度不变”等条件，超出这些条件时的行为待核实。
• 实验规模有限（最大为 400M 稠密模型与 1B 总参数 MoE），更大规模与更多训练 token 下的表现待核实。
• 约 15% 的 token 等效加速为估计值，其测算口径与置信范围待核实。
• 与权重衰减等其他范数控制手段的组合效果、以及对下游任务（而非仅验证困惑度）的影响待核实。

可用于图书/PPT/简报的角度

• 把“权重范数控制”讲成一条从硬约束（MuonW/MuonH）到“控制增长速度”（MuonGS）的设计光谱。
• 用“累积有效学习率”作为一个直观指标，解释为什么优化器在训练后期的有效步长会衰减。
• 以“放宽约束反而更快”作为反直觉案例，讨论正则化强度与探索能力之间的权衡。
• 在预训练成本章节中，把 token 等效加速作为优化器改进的量化收益示例。

原始材料

• 标题：MuonGS: Pretraining LLMs with Relaxed Weight-Norm Control
• 作者：Athanasios Glentis, Dawei Li, Mingyi Hong
• 发布：2026-10-27T17:56:40Z（arXiv 2610.37647v1）
• 主分类：cs.LG；交叉分类：cs.AI, math.OC
• 摘要页：https://arxiv.org/abs/2610.37647v1
• PDF：https://arxiv.org/pdf/2610.37647v1
• 关键词：Muon, weight-norm control, accumulated effective learning rate, Gram–Schmidt projection, LLM pretraining