知识卡片：PagedWeight：基于动态质量感知权重量化的高效MoE大语言模型服务

英文标题：PagedWeight: Efficient MoE LLM Serving with Dynamic Quality-Aware Weight Quantization
英文关键词：Mixture-of-Experts, MoE, Large Language Models, Weight Quantization, KV Cache, LLM Serving
原始来源：https://arxiv.org/abs/2607.16184v1

一句话结论

PagedWeight 通过运行时动态量化 MoE 大语言模型的专家权重，在保持 FP16 等效精度的同时，最高可节省 72.0% 的 GPU 内存并提升 1.94 倍吞吐量；在相似内存预算下，模型质量比现有量化方法提升高达 39.3%，吞吐量损失不超过 4.1%。

事件概述或研究问题

Mixture-of-Experts（MoE）是大语言模型中一类流行的架构，兼具高效率和准确性。然而在 KV 缓存密集的服务场景中，模型权重的 GPU 内存需求与不断增长的 KV 缓存之间存在竞争。传统的静态量化方法无法动态适应负载变化，导致精度–内存–吞吐量之间的折衷难以最优。PagedWeight 提出一种运行时动态量化管理方法，实时调整 MoE 各专家权重的精度，以平衡 KV 缓存大小与任务精度。

方法/产品要点

动态量化：在推理服务过程中，根据当前 KV 缓存占用情况，在线决定每个专家权重的量化位宽（精度），而非使用固定量化策略。
权衡暴露与导航：显式建模任务精度、内存消耗和吞吐量/延迟之间的复杂权衡，并通过算法有效选择每时刻的最优精度分配。
与现有量化基线对比：在多个内存敏感的 MoE 服务场景中，PagedWeight 在质量–内存权衡上优于多个已有方法（具体基线名称待核实）。

主要结果或产业意义

内存与吞吐量：在保持 FP16 等效精度的前提下，GPU 内存节省最高达 72.0%，吞吐量提升 1.94 倍。
质量提升：在相似内存预算下，与现有量化方法相比，模型质量（任务精度）提升最高达 39.3%，而吞吐量损失控制在不高于 4.1%。
产业价值：为 MoE 大模型推理服务的部署提供了实用方案，允许在有限 GPU 内存中处理更大模型或更高并发，对降低云端推理成本有直接帮助。

为什么重要

解决了 MoE 服务中权重与 KV 缓存的内存竞争这一实际瓶颈，比静态量化更灵活。
量化精度可动态调整，避免了全局低精度造成的精度损失，也避免了全局高精度导致的内存不足。
命名“PagedWeight”借鉴了类似 PagedAttention 的分页管理思想，体现了系统与算法协同优化的趋势。

局限与不确定性

论文仅提供摘要，未公开实验细节（如测试的 MoE 模型种类、硬件平台、量化位宽范围等），需进一步查看全文确认。
动态量化会引入运行时决策开销，文中报告吞吐量损失最多 4.1%，但未说明在不同请求率下的具体表现。
是否适用于所有 MoE 架构（如 DeepSeek-MoE、Mixtral 等）尚待验证。

可用于图书/PPT/简报的角度

比喻式说明：将 PagedWeight 比作“内存精度的实时调音师”，根据场景动态调整每个专家的“音量”（精度），在有限硬件上奏出最佳性能。
行业趋势：结合“KV 缓存→内存瓶颈”与“MoE→模型规模增长”两大趋势，说明动态量化是未来推理优化的关键方向。
对比展示：用简单图表对比静态量化（一刀切）与动态量化（按需分配）的内存节省与精度差异，突出 PagedWeight 的优势。

原始材料

论文标题：PagedWeight: Efficient MoE LLM Serving with Dynamic Quality-Aware Weight Quantization
arXiv ID：2607.16184v1
作者：Yuchen Yang, Yifan Zhao, Anisha Dasgupta, Sasa Misailovic
发布/更新日期：2026-07-17
摘要原文：见 URL 提供的文本。
完整 PDF：https://arxiv.org/pdf/2607.16184v1