模型量化
教材《人工智能导论》4.2.3 / 内部第1点 · 已审核
通俗解释
模型量化的核心思想是用低精度整数或浮点数代替模型的高精度浮点数参数，以压缩模型的存储空间和提升计算效率。 对于动辄拥有数十亿参数的模型而言，模型量化能将其体积压缩至原来的四分之一甚至更小，使得原本只能在数据中心运行的模型，如今得以常驻于手机或机器人的嵌入式芯片之中。
例子
把模型权重改用较低位宽表示，再比较存储体积、速度和任务质量。
容易混淆
降低参数位宽能减小体积，但精度与实际延迟仍须测量。
检查理解
用自己的话解释“模型量化”在“边端部署：模型轻量化”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：模型量化的核心思想是用低精度整数或浮点数代替模型的高精度浮点数参数，以压缩模型的存储空间和提升计算效率。 对于动辄拥有数十亿参数的模型而言，模型量化能将其体积压缩至原来的四分之一甚至更小，使得原本只能在数据中心运行的模型，如今得以常驻于手机或机器人的嵌入式芯片之中。 示例：把模型权重改用较低位宽表示，再比较存储体积、速度和任务质量。