知识卡片：语言模型的低位 N-Gram 嵌入

一句话结论

将 N-Gram 嵌入表以低精度（约 4 比特）存储，可在保留绝大部分性能增益的同时节省约 75% 的表格内存；在现有大模型上也可节省 47–55% 的表格内存且困惑度上升不超过 1.2%。

事件概述或研究问题

近期不少开放权重语言模型引入 N-Gram 嵌入表（存储连续 token 对或三元组等短序列的学习表示，推理时检索）以提升性能，但内存开销巨大——论文举例 DeepSeek-V4.1-Flash 为其 Engram N-Gram 记忆分配了 1960 亿参数。本文研究的问题是：能否在保留嵌入表带来的性能提升的前提下降低这部分内存成本。

方法/产品要点

• 提出以低精度存储 N-Gram 嵌入，并系统考察不同量化方法与跨表的比特分配策略。
• 在 nanochat、Llama、GPT-2 系列从零训练的模型上进行验证。
• 额外探索：将节省的内存重新投入更大的嵌入表；以及用短时间微调恢复低位带来的性能损失。
• 在已有大模型 DeepSeek-V4.1-Flash 与 Qwen3.8-Flash-Next 上评估迁移效果。

主要结果或产业意义

• 从零训练模型上，4 比特表节省约 75% 表格内存，同时保留超过 99% 的由加入嵌入表带来的验证损失改善。
• 比特数更低时性能下降更明显，但短时间微调可恢复相当一部分损失。
• 将节省的内存用于扩大表格规模，可在总内存更少的情况下超过原始全精度表的性能。
• 在 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 上，低位表节省 47–55% 的表格内存，困惑度上升小于 1.2%，下游任务性能基本保持。
• 作者据此认为低位精度是降低 N-Gram 嵌入内存需求、并把省下的容量用于提升性能的实用途径。

为什么重要

N-Gram/Engram 类嵌入表是近期开放权重模型提升性能的常见组件，但其参数量可达千亿级，成为显存与部署的瓶颈。本文表明仅靠存储精度调整即可释放大量内存预算，且释放的预算还能反哺模型容量，对模型压缩与推理部署具有直接参考价值。

局限与不确定性

• 具体量化方法细节、比特分配方案及各实验的完整配置无法从摘要确认，待核实。
• 4 比特结果主要来自从零训练的小型模型系列（nanochat、Llama、GPT-2 家族）；更大模型上的结论为 47–55% 内存节省与困惑度小幅上升，属迁移评估而非从头训练验证。
• 更低位数的性能损失及微调恢复程度的具体数值，待核实。
• 下游任务性能“基本保持”的具体评测范围与指标，待核实。

可用于图书/PPT/简报的角度

• “嵌入表也是压缩对象”：模型压缩讨论常聚焦权重与 KV 缓存，本文提示 N-Gram 记忆表是可观的独立内存池。
• 内存再利用的取舍框架：省下的内存是用于降本还是扩表提性能，可作为工程决策案例。
• 量化精度的边际收益曲线：4 比特近似无损、更低比特需微调补偿的规律，适合讲解量化实践中的精度—成本权衡。

原始材料

• 标题：Low-Bit N-Gram Embeddings for Language Models
• 作者：Stephen Chung, Wenyu Du
• arXiv ID：2610.31646v1（cs.CL, cs.AI）
• 发布：2026-10-22
• 摘要页：https://arxiv.org/abs/2610.31646v1
• PDF：https://arxiv.org/pdf/2610.31646v1
• 关键词：low-bit precision, n-gram embeddings, quantization, memory efficiency, language models