知识卡片：用低秩适配器近似 Muon 优化器
英文标题：Approximate Muon with low-rank adapters
英文关键词：Muon optimizer; LoRA; parameter-efficient fine-tuning (PEFT); low-rank adapters; sMuon
一句话结论
本文提出 sMuon（small Muon），通过线性化和最小二乘近似求解低秩设定下的松弛 Muon 目标，仅用矩阵乘法实现，使 Muon 优化器能够用于 LoRA 等低秩微调，并在 SFT 和 ReLoRA 预训练实验中取得中等性能改进。
事件概述或研究问题
Muon 优化器在预训练神经网络时相比其他优化器有明显优势，但在参数高效微调中较少使用。一个潜在原因是：最常用的 PEFT 方法 LoRA 与 Muon 不能自然结合，因为在低秩参数化下，无法在数学上对权重更新进行正交化。本文针对该问题提出近似方案。
方法/产品要点
- 问题核心：LoRA 的低秩参数化导致 Muon 所需的正交化步骤无法直接进行。
- 解决方案：在低秩约束下近似求解一个松弛的 Muon 目标，具体方法为先线性化，再使用最小二乘。
- 实现特点：只使用 matmul 运算，避免更复杂的线性代数分解例程。
- 方法名称：sMuon（small Muon）。
主要结果或产业意义
- 在 SFT（监督微调）和 ReLoRA 预训练实验中，sMuon 表现良好。
- 总体而言，将 Muon 用于低秩微调可带来中等的性能提升。
- 具体模型规模、任务数据集、评估指标与量化结果：待核实。
为什么重要
- 填补了 Muon 优化器在低秩微调场景中的空白，使 LoRA 类方法也能受益于 Muon 的预训练优势。
- 展示了如何通过数学近似解决优化器与参数化方法之间的约束冲突，为后续优化器-适配器组合设计提供参考。
- 增量信息：与已有相关卡片主题无直接重叠；本条聚焦于 Muon 与低秩适配器的结合这一新问题。
局限与不确定性
- 原文明确指出结果依赖模型和评估设置（model- and eval-dependent）。
- 性能改进幅度为中等（moderate），并非全面大幅超越。
- 论文未在摘要中提供具体实验细节（如模型架构、数据规模、计算成本等），这些内容待核实。
可用于图书/PPT/简报的角度
- 解释“为什么 LoRA 与 Muon 难以结合”以及如何通过线性化+最小二乘进行近似。
- 作为优化器与参数高效微调结合的案例，说明数学约束在实际系统中如何被近似处理。
- 强调仅用 matmul 的实现，对工程部署更友好，可作为低秩微调加速的潜在方案。
原始材料
- 标题：Approximate Muon with low-rank adapters
- arXiv ID：2608.14492v1
- 作者：Ben Anson, Conor Houghton, Edward Milsom
- 发布时间：2026-08-14
- 分类：cs.LG
- URL：https://arxiv.org/abs/2608.14492v1
- PDF：https://arxiv.org/pdf/2608.14492v1
- 摘要原文：The Muon optimizer shows clear benefits versus alternatives when pretraining neural networks. However, it is used less frequently for parameter-efficient fine-tuning (PEFT). One potential reason is that the most common PEFT method, LoRA, does not naturally combine with Muon since it is not mathematically possible to orthogonalize the weight update given by a low-rank parameterization. In this paper, we address this issue by approximating the solution to a relaxed Muon objective in the low-rank setting via linearization and then least-squares. We provide an efficient implementation that uses matmul operations only, as opposed to more complex linear algebra decomposition routines. Our method, sMuon (small Muon), performs favourably across SFT and a ReLoRA pretraining experiment. While results are model- and eval-dependent, we find overall that using Muon for low-rank fine-tuning provides moderate performance improvements.