知识卡片：谱范数下的锐度感知最小化与Muon优化器的鲁棒性

一句话结论：将层间谱内扰动与Muon外更新相结合，在ImageNet-1K上对ViT-Small/16和ResNet-50均取得了最佳验证准确率，表明矩阵感知几何在SAM中的有效性。

研究问题：Sharpness-Aware Minimization (SAM) 通过鼓励对最坏情况小参数扰动不敏感来提升泛化，但“小扰动”的几何定义高度依赖底层空间结构。现有SAM变体探索了多种几何选择，但实际中最有效的几何形式仍不清晰。近期矩阵感知优化（如Muon优化器）表明，尊重隐藏层权重的矩阵结构可带来强经验性能。本文研究在SAM的两阶段（内扰动步和外更新步）中引入矩阵感知几何。

方法/产品要点：

针对矩阵值隐藏层参数，提出层间谱内扰动（layerwise spectral inner perturbation），即在内扰动步中基于谱范数约束扰动方向。
外更新步分别与AdamW/SGDW或Muon结合，形成四种组合：谱内+SGDW、谱内+AdamW、谱内+Muon等。
实验在ImageNet-1K上，使用ViT-Small/16和ResNet-50两种模型架构。

主要结果：

在所有评估方法中，谱内扰动 + Muon外更新的组合在两个模型上均取得最佳验证准确率。
具体数值未在摘要中给出，待核实。
对比基线可能包括标准SAM、其他几何变体（如ℓ₂范数内扰动）以及普通Muon/AdamW训练。待核实。

为什么重要：

首次将Muon优化器与SAM框架系统地结合，并引入谱范数几何，为理解SAM中几何选择提供了新视角。
实验表明矩阵感知结构（谱内扰动）配合矩阵感知优化器（Muon）在视觉模型上具有协同优势。
与已有“超越Adam”卡片中MLIP任务不同，本工作聚焦图像分类，扩展了Muon的应用场景。

局限与不确定性：

仅验证了两种模型和单一数据集（ImageNet-1K），在其他架构（如ViT-B、CNN变体）或更大规模数据上的泛化性待核实。
未提供与FisherSAM、ASAM等先进SAM变体的详细对比。
谱内扰动的计算开销（如SVD分解）与原始SAM相比可能显著增加，具体效率分析待核实。
论文摘要未给出置信区间或统计显著性检验。

可用于图书/PPT/简报的角度：

SAM优化器的几何依赖性问题：为什么不同范数选择会影响泛化？
Muon优化器与矩阵感知结构：如何利用权重矩阵的谱特性提升训练？
视觉任务中优化器与SAM变体的实验对比（ViT vs ResNet）。
深度学习中的“几何协同”：内扰动步与外更新步的匹配策略。

英文关键词：Sharpness-Aware Minimization, Muon, Spectral Norm, Robustness, Generalization, Matrix-Aware Optimization, Visual Recognition

原始材料：

标题：Sharpness-Aware Minimization and Muon: Robustness under the Spectral Norm
URL：https://arxiv.org/abs/2607.26001v1
arXiv ID：2607.26001v1
作者：Wenzhi Zhong, Edward Milsom, Michael Murray
发布日期：2026-07-28