知识蒸馏
教材《人工智能导论》4.2.3 / 内部第3点 · 已审核
通俗解释
知识蒸馏的核心思想是将一个性能优异但计算复杂度较高的教师模型中的知识迁移到一个结构更小、计算更高效的学生模型中。 一般通过引导学生模型模仿教师模型的预测行为实现，使其以较小的计算代价实现较强的性能。
例子
让较小的学生模型学习大型教师模型对同一图片给出的类别分布。
容易混淆
学生模型模仿教师输出，并非复制教师模型的全部参数或能力。
检查理解
用自己的话解释“知识蒸馏”在“边端部署：模型轻量化”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：知识蒸馏的核心思想是将一个性能优异但计算复杂度较高的教师模型中的知识迁移到一个结构更小、计算更高效的学生模型中。 一般通过引导学生模型模仿教师模型的预测行为实现，使其以较小的计算代价实现较强的性能。 示例：让较小的学生模型学习大型教师模型对同一图片给出的类别分布。