知识卡片：预训练数据规模逆转 Muon 与 AdamW 的微调差距

一句话结论

论文发现 Muon 在预训练阶段的优势在微调后并不稳定：当预训练数据预算足够大时，AdamW 在微调后的下游表现反而优于 Muon；且模型越大，AdamW 反超所需的预训练 token-参数比越小。

事件概述或研究问题

Muon 近期被视为预训练大语言模型的有前景优化器，在降低预训练损失上相对 AdamW 有加速效果。但 Muon 的优势能否延续到微调之后尚不清楚。本文研究 Muon 与 AdamW 的下游行为，试图回答“预训练优化器的优势是否等于微调后的优势”。

方法/产品要点

• 对比 Muon 与 AdamW 在预训练后微调阶段的下游表现。
• 将微调视为对模型输出的扰动，提出“margin-to-spread ratio”（正确 logit 高出错误 logit 的幅度，相对于错误 logit 的分散程度）作为解释指标。
• 在语言模型上观察该比值随预训练数据预算的变化。
• 在线性联想记忆（linear associative memory）中给出理论分析：证明一次更新后，随着数据预算增长，梯度下降（gradient descent）的 margin-to-spread ratio 相对 Muon 的优势会上升；并用模拟说明该趋势在更长训练后仍存在。

主要结果或产业意义

• 存在一个“充分大”的预训练数据预算阈值，超过该阈值后 AdamW 在微调后优于 Muon。
• 模型规模增大时，AdamW 反超 Muon 所需的预训练 token-参数比逐渐变小。
• 在语言模型中，小数据预算下 Muon 的 margin-to-spread ratio 更大，大数据预算下 AdamW 更大，与微调表现的趋势一致。
• 产业意义：优化器选择不能只看预训练损失或预训练加速，还需结合预训练数据规模与模型规模评估微调后的下游收益；对大模型、大数据预训练场景，AdamW 可能在微调阶段更具优势。

为什么重要

本条补充了“预训练优化器优势能否迁移到下游任务”这一链条上的反向证据：Muon 的预训练加速并不自动等于微调后的下游优势，且这种逆转与预训练数据预算、模型规模相关。它提示图书/简报在讨论优化器选型时，应把“预训练阶段指标”和“微调后下游指标”分开陈述，避免把预训练损失优势直接外推为下游收益。

局限与不确定性

• 理论分析在线性联想记忆的简化设定下进行，向真实大语言模型的可推广性待核实。
• “充分大的预训练数据预算”的具体阈值、实验所用模型规模与数据规模范围，摘要未给出，待核实。
• 微调任务类型、超参数设置是否影响逆转趋势，待核实。
• 模拟实验的细节与复现条件，待核实。

可用于图书/PPT/简报的角度

• 优化器选型的“阶段错配”风险：预训练阶段的赢家未必是微调阶段的赢家。
• 用“margin-to-spread ratio”作为解释下游鲁棒性的直观指标，适合做示意图。
• 大模型时代的规模效应：模型越大，AdamW 反超所需的 token-参数比越小，可用于讨论“规模改变结论”的案例。
• 理论+模拟+语言模型观察的三层证据结构，可作为“从玩具模型到真实模型”的论证范例。

与既有脉络的关系

与“弥合置信度差距：用温度缩放校准测试时提示调优”同属对“方法优势是否在特定阶段/设定下成立”的追问，但本条聚焦预训练优化器在微调后的表现逆转，不涉及校准或提示调优；与零售机器人 DEED 卡片无直接重复。

原始材料

• 标题：Pretraining Data Scale Reverses the Muon-AdamW Fine-Tuning Gap
• arXiv ID：2611.03633v1
• 作者：Catherine Li, Jingchu Gai, Andrej Risteski, Jacob Mitchell Springer, Aditi Raghunathan
• 发布/更新：2026-11-02T18:56:43Z
• 主分类：cs.LG
• 摘要页：https://arxiv.org/abs/2611.03633v1
• PDF：https://arxiv.org/pdf/2611.03633v1