知识卡片：不要丢弃Dropout：用层稀疏性优化高效LLM训练与推理

英文标题：Don't Drop Dropout: Optimizing Layer Sparsity for Efficient LLM Training and Inference

英文关键词：Layer dropout; Stochastic depth; LLM pretraining; Layer sparsity; Inference acceleration

一句话结论

在合适的层分布、时间调度与优化器超参数组合下，层dropout（stochastic depth）不应被排除在大规模LLM预训练配方之外：它能在相同训练FLOPs下实现更低损失，或在固定训练步数下节省最多约25%训练FLOPs，并支持最高约1.5倍推理加速。

事件概述/研究问题

• 背景：层dropout又称随机深度（stochastic depth），在语言与视觉Transformer中曾被证明可以加快训练、提升精度，并对零样本层剪枝具有稳健性。
• 问题：随着模型和数据集规模扩大，dropout尤其层dropout在LLM预训练配方中基本消失；虽有先前工作报道dropout会损害精度，但缺乏综合研究量化这种影响，更未提出缓解方法。
• 研究主张：本文认为先进LLM训练中应该使用层dropout，并建立相关最佳实践与扩展性分析。

方法/产品要点

• 研究对象：LLM预训练中的层dropout，而非传统神经元级dropout。
• 关键设置：需要优化“层分布（layer distribution）、时间调度（time schedule）、优化器超参数（optimizer hyperparameters）”。
• 实验规模：超过2,400次训练实验；模型参数规模从271M到8.2B；数据集规模最高达160B tokens。
• 计算平台：所有预训练实验在Cerebras CS-3系统上完成。

主要结果或产业意义

• 训练效率：在相同训练FLOPs下，采用层dropout可取得更低的损失。
• 固定步数收益：在给定训练步数下，LLM可实现更低或相当的验证损失，同时节省最多约25%的训练FLOPs。
• 推理优化：层dropout可支持训练后优化，如early exit、中间层跳跃、self-speculative decoding，在准确率损失可忽略的情况下带来最高约1.5倍推理加速。
• 规模化可靠性：从271M到8.2B参数、最高160B tokens，本文结果在较大规模训练中依然成立。
• 产业意义：对预训练成本敏感的LLM训练方而言，层dropout有望成为“降本增效”的训练策略；对推理部署方而言，它还能与早期退出、自推测解码等手段协同。

为什么重要

• 本文直接挑战“LLM预训练应丢弃dropout”的常见做法，并把层dropout重新定义为一种可优化的层稀疏性策略。
• 它同时覆盖训练阶段和训练后推理优化，说明层dropout的价值不只是正则化，而是贯穿预训练与推理效率。
• 与已有相关卡片相比，本卡属于foundation-model/LLM预训练效率方向，不与优化器、机器人VLA、贝叶斯网络分解等已有卡片重叠；其增量信息主要是“层dropout应在现代大规模LLM预训练中使用，并可取得训练与推理双重收益”。

局限与不确定性

• 当前可见材料为摘要级信息；具体层分布形式、时间调度策略、优化器超参数取值、损失降低幅度等需阅读原文——“待核实”。
• “节省最多25%训练FLOPs”与“最高约1.5倍推理加速”是上限表述，实际收益可能随模型、数据与配置变化。
• 摘要主要汇报验证损失；下游任务基准上的具体表现、以及“negligible accuracy loss”的评估范围需原文确认。
• 所有预训练实验在Cerebras CS-3系统上完成；在其他硬件或训练框架上的可迁移性，“待核实”。

可用于图书/PPT/简报的角度

• “不要丢掉Dropout”可作为反直觉标题：大模型预训练不一定需要彻底抛弃dropout。
• 可引用关键数字：2,400+次实验、271M–8.2B参数、160B tokens、25%训练FLOPs节省、1.5倍推理加速。
• 可展示“训练时稀疏化”与“推理时优化”的联结：层dropout既是预训练成本优化手段，也是早期退出等推理策略的基础。
• 可讨论“dropout从正则化手段到层稀疏性设计”的角色转变。

原始材料

• 原文英文标题：Don't Drop Dropout: Optimizing Layer Sparsity for Efficient LLM Training and Inference
• arXiv ID：2609.05275v1
• 作者：Mostafa Elhoushi, Alex Pretko, Nolan Dey, Bin Claire Zhang, Gavia Gray, Gurpreet Gosal, Abdulrahman Mahmoud, Shane Bergsma, Joel Hestness
• 发布/更新：2026-09-04
• 主要分类：cs.AI
• 期刊参考：Proceedings of the 43rd International Conference on Machine Learning (ICML 2026)
• 原文摘要链接：https://arxiv.org/abs/2609.05275v1
• PDF链接：https://arxiv.org/pdf/2609.05275v1