岩山科技旗下岩芯矩阵联合港科大、CMU等高校开源EdgeRock-4B,通过“记忆岩锚”(Rock Memory Anchors,RMA)机制将KV Cache压缩99.1%(256K上下文下固定为72MiB),在单张80GB GPU上实现512路并发、输出吞吐12124 tokens/s(约为源模型Qwen3.5-4B的6.42倍),同时基本保持原模型推…
值得关注:长推理与Agent工作负载下,KV Cache已成为推理成本与部署可行性的核心瓶颈。EdgeRock-4B的价值在于同时绕开了两条既有路线的取舍:既做到内存不随长度增长(此前主要由有界状态模型实现),又基本保住源模型推…