知识卡片：数据稀缺与模型稀疏：混合专家模型对重复数据更易过拟合

一句话结论

在数据稀缺、训练数据被重复使用的情况下，混合专家模型（MoE）比密集激活模型更快因过拟合而退化；稀疏度越高，这种退化越明显，且主要与总参数而非激活参数相关。

事件概述或研究问题

随着人类书面文本供应趋于耗尽，重复语言模型训练数据已成为常见做法。已有工作主要研究密集激活 Transformer 在数据重复下的表现，但对近年来占主导、计算效率更高的稀疏架构——如 Mixture-of-Experts（MoE）——数据重复的影响仍缺乏探索。本文研究数据重复率、单领域/多领域数据混合，以及专家数量和专家粒度等 MoE 设置如何影响过拟合与性能。

方法/产品要点

• 英文标题：Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data
• 改变数据重复率，覆盖单领域与多领域数据混合。
• 改变 MoE 设置，包括专家数量与专家粒度。
• 模型范围据摘要为 80M 到 1B active（8.5B total）参数。
• 测试已有正则化方法能否缓解重复数据带来的过拟合。
• 分析高重复训练下与 MoE 过拟合相关的内部机制，包括路由稳定性与专家专业化。
• 官方英文关键词待核实；据摘要可提取：Data Scarcity; Model Sparsity; Mixture-of-Experts (MoE); Data Repetition; Overfitting; Regularization; Expert Specialization; Routing。

主要结果或产业意义

• 在数据重复下，MoE 比密集模型退化更快。
• 这种效应随稀疏度增加而增强，并主要由总参数而非激活参数决定。
• 在 80M 一档，密集模型可重复数据超过 8x 而退化很小；MoE 在 4x 就开始受损，之后快速恶化。
• 在 all-unique 数据设置中 MoE 相对密集模型的性能优势，在重复 32x 后反转为低于密集模型。
• 一些已有正则化方法可缓解过拟合，例如 dropout；在强 masking-based regularization 下，MoE 即使数据重复超过 64x 也能超过密集模型。
• 但没有任何方法能完全匹配 all-unique 训练数据的表现。
• 机制分析显示：MoE 路由在训练早期普遍稳定；专家专业化与重复数据上的过拟合相关。
• 产业意义：在数据受限场景中，MoE 的计算效率优势不能简单等同于数据效率优势；模型架构选择、数据重复倍率、正则化策略和专家专业化控制需要一起权衡。

为什么重要

数据墙背景下，重复训练数据会越来越常见，而 MoE 又因计算效率被广泛采用。该文提示二者存在不利交互：稀疏架构可能更容易记忆重复数据，且风险随总参数/稀疏度上升。对模型训练而言，这意味着需要重新评估“激活参数少即更省数据”的直觉，并关注减少专家过度专业化、破坏记忆模式的新方法。

与既有脉络的关系：已有相关卡片讨论的是推理阶段“同等 token 成本下重复采样取多数答案”的实证；本条关注的是预训练阶段“重复训练数据”与 MoE 稀疏架构的交互，增量在于把数据重复风险从密集 Transformer 扩展到 MoE，并给出重复倍率、总参数/稀疏度、正则化与路由/专家专业化线索。

局限与不确定性

• 本卡片仅依据 arXiv 摘要与元数据，无法确认数据集名称、具体基准、评估指标、训练 token 数、模型架构细节、专家数量与粒度的具体取值、正则化方法实现、统计显著性和多随机种子结果，均待核实。
• “strong masking-based regularization”的具体形式与强度待核实。
• 模型规模范围据摘要为 80M 到 1B active（8.5B total）参数；更大规模、生产级 MoE、其他模态或不同数据域是否同样成立，待核实。
• 单领域与多领域数据混合下的具体差异、all-unique 数据的定义、重复数据采样方式待核实。
• 不能从摘要确认各正则化方法的完整排序，也不能确认是否有方法在特定设置下例外。
• 将结果外推为行业部署结论需谨慎，待核实原始论文全文。

可用于图书/PPT/简报的角度

• “数据墙”下的 MoE 隐藏成本：稀疏架构未必更省数据。
• 重复倍率阈值对比：4x、8x、32x、64x 在摘要中的不同表现，但需注明来自该文特定实验设置。
• 稀疏度与数据效率的分野：总参数 vs. 激活参数。
• 正则化能否拯救重复训练：dropout、masking-based regularization 的缓解空间与上限。
• 机制线索：MoE 路由过早稳定、专家专业化与重复数据过拟合的相关性。
• 训练策略讨论：在数据受限时，是否应调整 MoE 架构、专家粒度、重复倍率和正则化组合。

原始材料

• 英文标题：Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data
• 英文关键词：Data Scarcity; Model Sparsity; Mixture-of-Experts (MoE); Data Repetition; Overfitting; Regularization; Expert Specialization; Routing
• 原始来源：
  • URL: https://arxiv.org/abs/2609.11917v1
  • PDF: https://arxiv.org/pdf/2609.11917v1
  • arXiv ID: 2609.11917v1
  • Authors: Atindra Jha, Margaret Li, Jure Leskovec, Percy Liang, Luke Zettlemoyer
  • Published: 2026-09-10T17:57:33Z
  • Updated: 2026-09-10T17:57:33Z
  • Primary category: cs.LG
  • Categories: cs.LG, cs.CL
  • Track: academic
  • Topics: foundation-model
  • Manual title: Data Scarcity and Model Sparsity: Mixtures-of-Experts Overfit More to Repeated Data