知识卡片：2026年前沿模型中的知识蒸馏范式

英文标题: Distillation in 2026 (so far): which frontier models use it and how
英文关键词: Distillation, Frontier Models, On-Policy Distillation, Self-Distillation, Post-Training
原始来源: https://huggingface.co/blog/sergiopaniego/distillation-2026

一句话结论

截至2026年中，知识蒸馏已从传统的“大教师-小学生”压缩演变为前沿模型后训练的核心技术，主流范式包括离策略蒸馏、一致性策略多教师蒸馏和自蒸馏，且教师模型往往不是更大，而是更专精或更具情境优势。

事件概述

2026年7月8日，Sergio Paniego在Hugging Face发布社区文章，梳理了当年主流前沿模型（如DeepSeek-V4、Gemma 4、GLM-5、Nemotron 3 Ultra、Qwen3、Cursor Composer 2.5等）在蒸馏技术上的三种实际应用，作为其“训练代理”系列课程的配套材料。文章指出蒸馏已广泛嵌入后训练配方，并对应课程中讲解的离策略（off-policy）、一致性策略（on-policy）和自蒸馏（self-distillation）三个阶段。

方法/产品要点

范式一：离策略蒸馏（传统教师-学生）
- 大教师模型生成软标签（白盒匹配下一词分布）或硬标签（黑盒直接使用教师生成的文本，如DeepSeek-R1-Distill通过SFT将推理轨迹蒸馏到小型Qwen/Llama）。
- 代表模型：Gemma 3/4（使用改进版知识蒸馏）、DeepSeek-R1-Distill。
范式二：一致性策略多教师蒸馏（MOPD）
- 针对单一模型难以通过RL在所有领域同时提升的问题，分别训练各领域RL专家（数学、代码、代理任务等），然后通过一致性策略蒸馏合并到同一个学生模型中（学生在自己生成rollout时，每位教师在每个token上提供密集信号）。
- 教师通常是相同大小的专项检查点，而非更大的模型。
- 代表模型：DeepSeek-V4（分域SFT+GRPO→一致性策略蒸馏）、MiMo-V2-Flash（提出MOPD术语）、GLM-5（跨训练阶段，用早期检查点恢复退化能力）、Nemotron 3 Ultra（十多个专家教师）、Qwen3（大教师蒸馏小模型，成本约RL的1/10，效果更好）。
- 原理：蒸馏可在每个token上提供密集反馈，而RL奖励是整次尝试的一个标量，因此蒸馏收敛更快。
范式三：自蒸馏
- 抛弃外部教师，让模型从自身更好版本学习。
- Cursor Composer 2.5：在上下文中注入行为提示，有提示的版本作为教师，无提示的版本作为学生，通过token级KL散度让模型学会无提示执行该行为。
- Thinking Machines：在领域数据微调后，从微调前的检查点蒸馏，以保留旧行为同时吸收新知识（持续学习）。
- 教师不需要更大，只需要在情境中更好——有时就是模型本身。

主要结果或产业意义

蒸馏已成为前沿模型后训练的标配技术，有效解决了RL多阶段训练中的能力退化问题（如GLM-5、Thinking Machines的持续学习场景）。
MOPD范式被多个实验室独立采用，证实了其通用性和效率：Qwen3报告蒸馏成本仅为RL的1/10且结果更优；Thinking Machines以远低于RL的计算量匹配RL基线。
自蒸馏降低了对外部教师模型的依赖，为持续学习和行为注入提供了轻量级替代方案。

为什么重要

本文是2026年蒸馏领域“活地图”，系统性地揭示了前沿模型实际使用的三种蒸馏变体及其背后的统一教师-学生机制。
与已有知识卡片无直接重复，可视为对蒸馏技术最新产业化应用的横向总结，尤其突出了“教师不一定是大模型”和“多教师一致性策略蒸馏”两个增量认知。

局限与不确定性

文章原文为社区博客，部分技术细节来自作者对公开技术报告的解读，未提供原始实验对比数据（如各模型具体蒸馏参数、性能指标）。
自蒸馏部分（如Cursor）的具体损失函数细节和是否匹配论文中的完整描述，待核实。
文中提到的“所有技术均可在TRL中复现”，但未提供具体复现门槛或成功率。
文章仅覆盖截至2026年7月的模型，后续可能有更新或未提及的模型未纳入。

可用于图书/PPT/简报的角度

技术演进图：从离策略→一致性策略→自蒸馏，展示蒸馏从压缩工具到能力集成再到自我演进的路径。
案例集：列举DeepSeek-V4的多教师协同、Gemma的传统蒸馏、Cursor的自蒸馏，说明不同场景下的设计选择。
教师本质：强调“教师不一定要大，但要更好合适”，可引出“利用规模 vs 利用专精度”的设计哲学对比。
产业趋势：蒸馏正在替代部分RL后训练，成本更低、信号更密，可能成为未来模型对齐的主流方法。

原始材料

URL: https://huggingface.co/blog/sergiopaniego/distillation-2026
文章配合“Training Agents”系列课程（Class 2: Distillation）发布，另附“A brief history of distillation”作为背景。