知识卡片：一致稳定算法的无对数矩与泛化界

英文标题：Logarithmic-Free Moment and Generalization Bounds for Uniformly Stable Algorithms
英文关键词：uniform stability; generalization bounds; moment inequality; Rademacher cube; product distributions

一句话结论

本文证明了一致稳定算法的矩不等式可以去掉对数因子，得到在相应范围内与下界匹配的泛化误差上界。

事件概述或研究问题

均匀稳定性是控制学习算法泛化误差的经典工具。Bousquet, Klochkov 和 Zhivotovskiy（2020）将这一问题归约为独立随机变量弱相互作用函数之和的矩不等式，但得到的上界含有一个额外的 $\log n$ 因子，并询问该因子能否移除。本文对此给出肯定回答。

方法/产品要点

本文考虑具有独立坐标的随机向量 $Z=(Z_1,\ldots,Z_n)$，以及满足以下条件的函数 $g_i(Z)$：

• $\mathbb E[g_i(Z)\mid Z_{-i}]=0$；
• $\left|\mathbb E[g_i(Z)\mid Z_i]\right|\le M$；
• 改变任意其他坐标 $Z_j$（$j\neq i$）对 $g_i$ 的影响至多为 $\beta$。

本文证明对任意 $p\ge2$， $$ \left| \sum_{i=1}^n g_i(Z)\right|_p \le 16pn\beta+M\sqrt{2pn}. $$

证明思路是：先在 Rademacher 立方体上建立所需的估计，然后通过双副本随机化论证将其推广到任意乘积分布。

主要结果或产业意义

主要结果是去掉了此前上界中的 $\log n$ 因子，并在 Bousquet 等人构造所覆盖的范围内，与已知下界匹配到通用常数。该成果属于纯理论性质，直接的产业意义待核实。

为什么重要

该结果解决了 Bousquet 等人（2020）提出的开放问题，将均匀稳定算法的泛化界从含 $\log n$ 的差距改进为常数因子最优，有助于更精确地理解算法稳定性与泛化能力之间的关系。

局限与不确定性

• 结果仅覆盖 $p\ge2$ 的情形。
• 与下界匹配的范围限于 Bousquet 等人构造所覆盖的情形，更一般条件下是否最优待核实。
• 完整证明细节、常数优化以及实验验证等信息，基于当前摘要无法确认，待核实。
• 产业影响无法从材料中确认。

可用于图书/PPT/简报的角度

• “从 $\log n$ 到常数：均匀稳定算法泛化界的一项理论突破”
• “如何利用矩不等式与 Rademacher 立方体改进泛化界”
• “理论机器学习中的开放问题与解决示例”

与既有脉络的关系

本条与已有卡片主题不同，属于学习理论中均匀稳定性与泛化界的理论进展；相比 FlowMimic、机器人组合泛化、PDE 神经网络收敛性等，本卡片为纯理论结果。

原始材料

URL: https://arxiv.org/abs/2608.09870v1
Track: academic
Topics: foundation-model
Manual title: Logarithmic-Free Moment and Generalization Bounds for Uniformly Stable Algorithms