AI消息速览

损失函数看不到基底，但 Adam 看得到

事件日期 2026-08-05 · 学术前沿 · 已接受

返回列表 打开来源
事件日期2026-08-05
信息日期2026-08-05
入库日期2026-08-06
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片：损失函数看不到基底，但 Adam 看得到

一句话结论

在分解模型 (W = UV^\top) 中，梯度下降隐式偏向低秩解，而 Adam 从相同的小初始化出发不具备这种偏置。研究者将差异追溯到损失函数的规范对称性（gauge symmetry），即 ((U, V) \mapsto (UQ, VQ)) 下的不变性；梯度流的低秩机制只有在优化器满足规范等变（gauge-equivariant）时才能迁移，而 Adam、RMSProp 等逐坐标方法不满足。

事件概述或研究问题

本研究是一篇 arXiv 预印本，研究问题是：为什么不同优化器在分解参数化下表现出不同的低秩隐式偏置？摘要指出，损失函数本身对基底选择不变，但 Adam 等优化器对基底敏感。文章尝试用规范对称性和优化器等变性解释这一现象，并比较多种更新规则在矩阵感知、Transformer 和高光谱数据上的表现。

方法/产品要点

  • 使用分解模型 (W = UV^\top)，损失函数在 ((U, V) \mapsto (UQ, VQ)) 下不变。
  • 提出优化器需要满足“规范等变”才能继承梯度流的低秩机制；该条件是必要的，但不充分。
  • 满足规范等变的优化器包括：梯度下降、动量、“共享标量”Adam、Muon、Shampoo。
  • 不满足规范等变的优化器包括：Adam、RMSProp 及其他逐坐标（coordinate-wise）方法。
  • 结构定理：无记忆等变更新规则恰好是“由 Gram 矩阵决定的左预条件”（Gram-determined left preconditioners）。（具体定义待核实）
  • 迁移定理：梯度流的路径性质可以迁移到“公共标量流”（common-scalar flows）。（具体表述待核实）
  • 通过从逐坐标到共享标量预条件的单参数族实验，单调恢复低秩偏置，说明各向异性（anisotropy）是原因。
  • 提出“谱调度”（spectral schedule）以协调关于 Muon 的相反报告：等速率更新能恢复严格低秩目标，但谱尾增长时会失去优势。

主要结果或产业意义

  • 在欠定矩阵感知（underdetermined matrix sensing）中，作者按对 planted ground truth 的恢复误差对九种更新规则排序。（摘要未给出完整排序，待核实）
  • 在 Transformer 实验中，Adam 在第一步就把两个规范等价的初始化区分开，而等变优化器保持在浮点精度内；最终逐头不变量 (W_Q^\top W_K) 的相对 Frobenius 距离相差 56%，且该差距无法通过逐头旋转消除。
  • 在两个高光谱数据集上，匹配训练损失时，梯度下降在最低采样密度下将留出误差降低 43–44%，并得到更低的有效秩。
  • 结论：基底选择不是调参细节，而是“选择哪个插值函数”的决策。
  • 产业意义：摘要未直接讨论具体产业应用；潜在影响是优化器选择会影响基础模型在低秩结构数据上的泛化表现。（推断，原文未展开）

为什么重要

  • 提供了一个新的优化器分类视角：不仅要看收敛速度或显存效率，还要看更新规则是否保持损失函数的规范对称性。
  • 对基础模型训练有启示：Adam 虽然常用，但可能缺少低秩隐式偏置；Muon、Shampoo 等规范等变优化器可能更适合需要低秩结构的任务。
  • “损失函数看不到基底，但 Adam 看得到”这一表述，把抽象的隐式偏置问题转化为优化器是否“看见基底”的问题，便于传播和理解。

与既有脉络的关系

本条不是对已有卡片的重复。已有卡片分别涉及视觉语言模型错误归因、模型多样性、时间序列预测中的频谱判断；本条增量在于：从优化器规范等变性出发，解释 Adam 与梯度下降在分解模型上的低秩偏置差异，并可为 Muon/Adam 在 Transformer 中表现差异提供新线索。

局限与不确定性

  • 目前可见内容只有 arXiv 摘要；定理证明、完整实验设置、数据集名称、超参数等需查看全文（待核实）。
  • 规范等变是必要但不充分条件，摘要未给出充分条件或完整反例刻画。
  • 九种更新规则在矩阵感知中的具体排序未在摘要中列出（待核实）。
  • “谱调度”的具体实现和普适性待核实。
  • 56%、43–44% 等数值来自特定实验设置，统计显著性和稳健性未在摘要中说明（待核实）。
  • 摘要未讨论训练成本、部署效率或大规模评测证据。

可用于图书/PPT/简报的角度

  • “损失函数看不见基底，但 Adam 看得见”：用一句话讲清优化器的隐式偏置。
  • 为什么 Adam 不总是最好：逐坐标预条件如何破坏低秩归纳偏置。
  • 从 GD 到 Muon/Shampoo：规范等变优化器家族。
  • Transformer 注意力头几何：Adam 与等价初始化的分离实验案例。
  • 低秩隐式偏置不是调参细节，而是插值选择。

原始材料

  • 英文标题：The Loss Does Not See the Basis, but Adam Does
  • 英文关键词：implicit bias; low-rank; gauge symmetry; gauge-equivariant optimizer; Adam; RMSProp; Muon; Shampoo; matrix sensing; Transformer
  • 作者：Devender Singh
  • 发布/更新：2026-08-05
  • arXiv ID：2608.05136v1
  • 分类：cs.LG
  • 来源：https://arxiv.org/abs/2608.05136v1
  • PDF：https://arxiv.org/pdf/2608.05136v1