知识卡片：EdgeRock-4B：将KV Cache压缩99%的固定内存长推理模型

一句话结论

岩山科技旗下岩芯矩阵联合港科大、CMU等高校开源EdgeRock-4B，通过“记忆岩锚”（Rock Memory Anchors，RMA）机制将KV Cache压缩99.1%（256K上下文下固定为72MiB），在单张80GB GPU上实现512路并发、输出吞吐12124 tokens/s（约为源模型Qwen3.5-4B的6.42倍），同时基本保持原模型推理能力。

事件概述或研究问题

大模型进入长推理与Agent时代后，上下文从4K扩展到256K甚至更长，KV Cache随token生成线性增长，导致显存占用膨胀、单卡可服务请求数下降、端侧内存被挤占。业界两条路线各有短板：MLA、KIVI、TurboQuant等压缩方法只降低单token成本，缓存总量仍随长度增长；RNN、Mamba、滑动窗口等有界状态模型内存固定，但远处细节保留能力弱、推理能力明显下降。EdgeRock-4B要解决的问题是：能否在固定内存下保留推理所需的关键细节。

方法/产品要点

• 核心机制RMA（记忆岩锚）：每条序列历史分三部分保存——循环状态（抓大意）、局部窗口（最近1024个token，管眼前）、锚点库（从更早历史中保留最有价值细节，记关键）。
• 锚点取舍：写入器为每个token生成候选记录并由评分网络打分；每累积256条候选与库中已有记录比较，仅保留得分最高的1024条，其余淘汰；四个KV组各自独立进行。锚点彼此独立、内容不变，即使来源已滑出局部窗口仍可直接读取。
• 内存固定：局部窗口加锚点库将每条序列的注意力KV固定在72 MiB，不随上下文长度变化；批量运行时每条序列全部历史状态固定为97.76 MiB。
• 架构改造：基于Qwen3.5-4B改造，保留24个Gated DeltaNet层，将8个全注意力层替换为1024窗口滑动窗口注意力，外加独立RMA模块；由Qwen3.5-4B分阶段转换而来，无需从头预训练。
• 开源与多模态：模型权重与推理代码均已开源、可商用，支持文本和图像推理。

主要结果或产业意义

• 吞吐：32K输入+32K输出设定下，单张Hopper 80GB GPU上EdgeRock-4B开到512路并发，输出吞吐12124 tokens/s；源模型Qwen3.5-4B最快配置为批大小64、1889 tokens/s；Gemma 4 E4B、MiniCPM5-2B、LFM2.5-2.6B在1700–2200 tokens/s区间。若让Qwen3.5-4B跑完同样512条序列，仅生成结束时的KV Cache就需约1 TiB（约13张80GB显卡），而EdgeRock峰值61.26 GiB（含模型权重）。
• 扩展性：4K–32K输入/输出共16种负载上，批大小从32增至512，加权解码吞吐从4128升至12497 tokens/s，显存峰值未触及单卡上限。
• 单请求稳定性：128K输入后生成128K token，速度稳定在233.7 tokens/s；Qwen3.5-4B则从约169降至151.3 tokens/s。
• 成本：同卡同负载下，4K输入时EdgeRock仅需Qwen3.5-4B 24.9%的GPU时间，32K输入时仅需15.6%；四种输入长度平均吞吐为Qwen3.5-4B的4.94倍、LFM2.5-2.6B的7.18倍，且上下文越长差距越大。
• 能力保持：AIME 2024–2026平均一次通过率82.9%，为Qwen3.5-4B的96.3%；MATH-500达97.5%；29项文本基准中8项反超源模型（含MMLU-Pro、SuperGPQA、HumanEval、MBPP）；六项视觉基准平均84.9%，保留源模型95.3%。
• 对比有界状态模型：与16个有界状态模型（含3个14B级别）比较，EdgeRock-4B在29项文本基准中24项排名第一，等权均值比最强基线AHN-GDN Qwen2.5 14B高23.8个百分点；对照组AIME最强仅18.8%（RWKV-7 G1j 13.3B），AHN-GDN Qwen2.5 14B为11.4%。
• 消融验证：关闭全部8个RMA模块后，在256段16K–130K token长上下文、每段4问共1024题上，准确率从94.1%（964题）跌至0.4%（4题），说明远距离信息读取确实依赖锚点。
• 产业意义：固定内存使每条请求的显存需求可在推理前算清，便于按请求数规划容量、端侧一次分配到位、智能体历史内存不随工具调用次数增长，甚至可将全部历史状态放入专用芯片片上存储；对需长时间运行的机器人场景有想象空间。

为什么重要

长推理与Agent工作负载下，KV Cache已成为推理成本与部署可行性的核心瓶颈。EdgeRock-4B的价值在于同时绕开了两条既有路线的取舍：既做到内存不随长度增长（此前主要由有界状态模型实现），又基本保住源模型推理能力（此前有界状态模型在AIME等任务上差距悬殊）。对推理服务商而言，这意味着单卡并发与单位token成本的数量级改善；对端侧与机器人而言，意味着内存预算可预测。团队透露更多参数规模的EdgeRock正在路上。

局限与不确定性

• 主要对比基线为源模型Qwen3.5-4B及若干小尺寸模型，与更大规模模型的表现对比待核实。
• AIME、MATH-500等为特定基准结果，真实业务负载下的能力保持程度待核实。
• 512路并发、12124 tokens/s等数据基于单张Hopper 80GB GPU与特定负载设定（32K输入+32K输出），其他硬件与负载下的表现待核实。
• 锚点评分网络在分布外任务上的取舍质量、锚点库容量（1024条/组）对超长上下文的适用边界待核实。
• “更多参数规模正在路上”尚未发布，其效果待核实。
• 论文与代码已公开，但独立第三方复现结果待核实。

可用于图书/PPT/简报的角度

• “推理再长，内存不涨”：固定内存长推理的机制图解（循环状态+局部窗口+锚点库三分法）。
• KV Cache优化路线对比：压缩类（MLA/KIVI/TurboQuant）vs 有界状态类（RNN/Mamba/滑动窗口）vs 锚点检索类（RMA）。
• 算账视角：一张80GB卡 vs 约13张卡的显存需求；4K/32K输入下GPU时间降至24.9%/15.6%。
• 消融实验的说服力：关掉RMA后长上下文准确率从94.1%跌至0.4%。
• 端侧与机器人：内存可预算、可片上化，智能体历史不随工具调用膨胀。
• 开源生态：模型权重、推理代码、论文均已公开且可商用。

原始材料

• 标题：KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
• 来源：量子位（QbitAI），作者：一水，2026-10-26
• URL：https://www.qbitai.com/2026/10/505407.html
• 论文地址：https://rockmatrix.ai/documents/edgerock-report-zh.pdf
• GitHub：https://github.com/rockmatrix-ai/EdgeRock
• Hugging Face：https://huggingface.co/rockmatrix-ai/EdgeRock
• 关键词：KV Cache、EdgeRock-4B、Rock Memory Anchors（RMA）、长上下文推理、有界状态模型、岩芯矩阵、岩山科技、港科大、CMU