语言模型轻量化推理
教材《人工智能导论》4.2.3 / 内部第4点 · 已审核
通俗解释
除以上几种通用的模型轻量化思路外，这里另外介绍几种用于语言模型的键值缓存（KVCache）和推测解码（Speculative Decoding），其适用范围均为基于自回归进行预测的模型。 键值缓存通过“空间换时间”的策略减轻算力负担。
例子
生成长回答时缓存已算过的键和值，避免每生成一个词元都重复处理全部历史上下文。
容易混淆
键值缓存以空间换时间，不能说它同时无代价地节省显存。
检查理解
用自己的话解释“语言模型轻量化推理”在“边端部署：模型轻量化”中的作用，并举出教材中的一个例子或适用场景。对照原文检查条件、公式和图表。
查看参考答案
要点：除以上几种通用的模型轻量化思路外，这里另外介绍几种用于语言模型的键值缓存（KVCache）和推测解码（Speculative Decoding），其适用范围均为基于自回归进行预测的模型。 键值缓存通过“空间换时间”的策略减轻算力负担。 示例：生成长回答时缓存已算过的键和值，避免每生成一个词元都重复处理全部历史上下文。