模型剪枝量化蒸馏
教材《人工智能导论》4.2.3 · 已审核
通俗解释
剪枝删除较不重要的结构或权重，量化降低数值表示位宽，蒸馏让学生模型学习教师模型输出。三者都服务于效率，但会带来不同的精度与部署权衡。
例子
把图像模型压缩后部署到手机，比较压缩前后的实际推理体验。
容易混淆
参数变少不一定直接意味着端到端延迟同比下降。
检查理解
移动设备运行受限时，你会测量哪些指标？
查看参考答案
至少测任务质量、模型大小、内存占用、端到端延迟和能耗；参数减少不保证实际延迟等比例下降。
教材《人工智能导论》4.2.3 · 已审核
剪枝删除较不重要的结构或权重，量化降低数值表示位宽，蒸馏让学生模型学习教师模型输出。三者都服务于效率，但会带来不同的精度与部署权衡。
把图像模型压缩后部署到手机，比较压缩前后的实际推理体验。
参数变少不一定直接意味着端到端延迟同比下降。
移动设备运行受限时，你会测量哪些指标？
至少测任务质量、模型大小、内存占用、端到端延迟和能耗；参数减少不保证实际延迟等比例下降。