知识卡片：ReplaySSM——重新思考混合模型解码的状态存储

一句话结论

ReplaySSM 将 SSM（状态空间模型）的状态重新表示为“检查点 + 近期输入缓冲区”，把输出计算与状态更新解耦，从而降低状态内存流量、简化投机解码回滚，并支持低精度状态读取；在 NVIDIA Blackwell Ultra B300 上，批大小 256 时 SSM 解码内核提速 1.46×–1.80×。

事件概述或研究问题

混合模型（hybrid models）将 SSM 层与少量注意力层交错堆叠。文中举例包括 NVIDIA Nemotron 3、Qwen3.5–Qwen3.8、Kimi-K3、GLM-5.3-Flash，其 SSM 层分别采用 Mamba-2、Gated DeltaNet (GDN) 或 Kimi Delta Attention (KDA)。

SSM 层本应让解码更快：它用固定大小状态替代随上下文增长的 KV cache。但在服务批大小下，当上下文达到 10 万 token 时，SSM 层可能反而成为延迟瓶颈。它还给两项常用的注意力加速技术带来麻烦：投机解码与量化。

ReplaySSM 是 NVIDIA 与普林斯顿大学 Dao AI Lab 的合作成果，论文题为《ReplaySSM: Cache SSM Inputs, Not State》，已在 arXiv 发布，代码在 GitHub 上，并集成进 NVIDIA TensorRT-LLM、vLLM、FlashInfer，已在 GLM-5.3-Flash 和 Kimi-K3 中生产运行。

方法/产品要点

核心表示：SSM 状态 = 检查点（checkpoint）+ 近期输入记录（α_j, v_j, k_j）的小缓冲区。递归可在窗口 h 上展开： S_t = γ_h · S_ckpt + Σ_{j=1..h} γ_{j+1:h} · v_j k_jᵀ

两类步骤：

• 非 flush 步：把当前输入追加到缓冲区，从检查点+缓冲区计算输出，不写状态。
• flush 步：缓冲区填满（L 条记录）时，把缓冲输入折叠进检查点，一次性写入 HBM，清空缓冲区。

输出与传统解码在浮点误差范围内一致。

三项收益对应三大挑战：

1. 状态内存流量：传统解码每步读写完整状态，受 HBM 带宽限制；ReplaySSM 只在 flush 时写一次检查点，非 flush 步只写少量向量，主导状态流量约减半。
2. 投机解码回滚：把全部 T 个草稿 token 的输入追加到缓冲区，验证后推进指针提交接受前缀；无需为每个草稿 token 保存状态快照，也不需恢复状态。
3. 状态量化误差：量化状态同时作为输出来源和下一步更新输入，舍入误差每步重新进入递归；ReplaySSM 对递归使用高精度检查点、对读取使用低精度副本，限制误差累积。

输出专用求值（output-only evaluation）：非 flush 步只产出输出，可用 o = v(kᵀq) 形式避免构建完整状态；对 T 个草稿与 h 条已提交记录给出 O = S_ckpt·Q·D + V(W ⊙ (KᵀQ))，检查点对所有 T 个 query 只使用一次，节省片上内存与 FLOPs，KᵀQ 在组内所有 value head 间共享，且与 prefill 内核已有的 chunkwise 计算一致。GDN 也适用。

主要结果或产业意义

评估设置：四个混合模型（Nemotron 3 + Mamba-2、Qwen3.5 + GDN），从 4B 稠密模型（单张 H100）到 120B 级 MoE（单张 Blackwell Ultra B300），无张量并行。实现于 vLLM，对比 vLLM 自身内核的最佳启动配置。窗口 L=16（四个模型均为最佳）。性能测试保持 SSM 状态为 FP32。

结果：

• 批大小 256 时，内核提速 1.46×–1.80×，解码步提速 1.20×–1.47×（图 3，内核数字含 flush 成本）。批大小 1 时无提速（其他延迟来源主导），端到端收益随批大小增长，因为 SSM 在步内占比上升。
• 投机解码：120B 级模型上（GSM8K 提示，T=4），投机吞吐提升 1.85×–2.10×（原文此处被截断，具体批大小数据待核实）。
• 精度：使用高精度检查点递归 + 低精度读取，四个评估模型中三个在 GPQA-Diamond 上保持在 FP32 精度约 2 个百分点以内（第四个模型的具体表现待核实）。

为什么重要

• 混合模型（Mamba-2 / GDN / KDA + 注意力）正被多个前沿模型采用，SSM 层在高批大小、长上下文下的延迟瓶颈是实际服务问题。
• ReplaySSM 让“本应快速”的 SSM 层重新变快，同时解锁了此前对 SSM 几乎无效的投机解码与低精度状态，直接提升混合模型推理的吞吐与经济性。
• 已进入生产（GLM-5.3-Flash、Kimi-K3）并集成主流推理引擎（TensorRT-LLM、vLLM、FlashInfer），说明其工程可落地性。

局限与不确定性

• 批大小为 1 时未观察到提速，收益依赖服务批大小。
• 量化精度的完整评估细节（尤其第四个未落入 2 个百分点内的模型）需查阅论文核实。
• 投机解码吞吐的完整数据（图 4 被截断）待核实。
• 窗口大小 L 在四个模型上均为 16 最优，其他模型/负载下是否仍为最优待核实。
• 对 KDA 等具体 SSM 变体的适配细节（文中称 GDN 可用同一形式）待核实。

可用于图书/PPT/简报的角度

• “缓存输入而非状态”：用一个反直觉的表示切换解决三类系统问题（带宽、回滚、量化），适合讲系统设计中的解耦思想。
• 混合模型推理的服务经济学：为什么 SSM 层在批大小下会反成瓶颈，以及层数比例（SSM 层是注意力层的 5 倍）与状态尺寸（单层 FP32 状态 4 MiB/序列 vs FP8 KV 0.5 KiB/token）的量化对比。
• 投机解码在非 Transformer 架构上的适配难题与解法。
• 学术与产业的结合路径：NVIDIA × 普林斯顿，从论文到 TensorRT-LLM/vLLM/FlashInfer 集成再到生产部署。
• 量化误差在递归结构中的累积问题：为什么 KV cache 能容忍低精度而 SSM 状态不能。

原始材料

• 标题：ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding | NVIDIA Technical Blog
• URL: https://developer.nvidia.com/blog/replayssm-rethinking-state-storage-for-faster-hybrid-model-decoding
• 作者：Ze-Wei Liou, Harris Nover, Amey Naik, Andrii Skliar, Igor Shovkun, Ido Shahaf, Tri Dao
• 发布时间：Oct 12, 2026
• 论文：ReplaySSM: Cache SSM Inputs, Not State（arXiv，链接待补全）
• 代码：GitHub（链接待补全）
• 部署：TensorRT-LLM、vLLM、FlashInfer；生产环境 GLM-5.3-Flash、Kimi-K3
• 关键词：ReplaySSM, SSM, hybrid model decoding, Mamba-2, Gated DeltaNet, KDA, speculative decoding, state quantization, KV cache, NVIDIA Blackwell Ultra B300, Nemotron 3, Qwen3.5, Kimi-K3, GLM-5.3-Flash