知识卡片：Windowed-MTP：消除百万级上下文中的全上下文草稿KV开销

一句话结论：Windowed-MTP通过对草稿头（draft head）的注意力计算引入滑动窗口与注意力锚点（StreamingLLM风格），在不影响目标模型验证结果的前提下，将每解码步骤的草稿KV读取量限制为常数，在百万级别上下文中降低每步解码成本28%–44%，且无需重新训练。

事件概述或研究问题：前沿大语言模型常内置多令牌预测（MTP/NEXTN）草稿头用于推测解码，但百万级上下文时，草稿头每一步都需对全部KV缓存执行完整注意力，使草稿计算成本随上下文线性增长，甚至导致推测解码净性能为负。该问题在混合注意力/线性注意力目标模型下更突出，因为更轻量的验证使草稿头的全注意力读取成本暴露。

方法/产品要点：

• 仅对草稿头的注意力应用StreamingLLM风格的滑动窗口 + 注意力锚点（attention sink），目标模型的完整注意力验证保持不变。
• 无需训练，即插即用；构造上无损：最终输出由目标模型全注意力验证，窗口化只改变提议的令牌，不改变被接受的令牌。
• 将草稿KV工作集限制为常数，在1M上下文丢弃约99%的KV条目。
• 未读取的草稿KV（占1M上下文总KV的7.7%–11%）通过紧凑环形缓冲区回收，不损失接受率或质量。

主要结果或产业意义：

• 在Qwen GDN-MoE 35B/122B和Mamba2-hybrid NoPE 120B三种架构家族上，单GPU SGLang环境、1M上下文下，每解码步骤成本相比原生MTP草稿降低28%–44%，且该优势随上下文增长而扩大。
• 端到端延迟改善幅度与成本降低一致（在接受长度匹配时），在窗口化提升接受率的场景下改善更大。
• 保持目标模型验证过的输出分布不变。

为什么重要：推测解码在长上下文场景中的效率瓶颈首次被系统性定位并解决。与现有KV缓存压缩方法（如DepthWeave-KV、FreqDepthKV）不同，Windowed-MTP不压缩或修改目标模型的KV缓存，而是专门优化草稿头的注意力计算，是一种独立且正交的加速思路。增量信息：表明即使目标模型采用混合注意力或线性注意力，草稿头的全上下文注意力开销仍可能使推测解码失效，而窗口化可有效消除这一“草稿KV税”。

局限与不确定性：

• 材料未提及在更大规模模型（如千亿参数以上）或更极端上下文长度（如10M）上的实验数据。
• 窗口大小与注意力锚点位置的超参数选择对接受率的影响尚未详细讨论；是否需要在不同任务上调整留待验证。
• 仅报告了单GPU SGLang环境的结果，多GPU或不同推理框架下的性能表现待核实。

可用于图书/PPT/简报的角度：

• 解释“草稿KV税”概念：长上下文使推测解码中的草稿头从“低成本”变为“高开销”，窗口化是轻量解决方案。
• 对比不同优化思路：KV缓存压缩 vs. 草稿注意力窗口化，说明两者可互补。
• 强调“无损”特性：目标模型验证保证输出完全一致，适合对输出质量要求高的场景（如金融、医疗报告）。

原始材料：

• 英文标题：Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context
• 英文关键词：Speculative Decoding, Multi-Token Prediction, Windowed-MTP, Long-Context, KV Cache, StreamingLLM, Draft KV Tax, Attention Sink
• 来源：arXiv:2607.21535v1, https://arxiv.org/abs/2607.21535v1