知识卡片：结构化记忆用于边缘语言模型：通过O(1) SSM状态注入实现持久上下文与语料库检索

一句话结论

PRECOG 将检索增强生成（RAG）的 prefill 成本从与上下文长度成正比降为每次查询 O(1)，通过在状态空间模型（SSM）中将文档语料库预编码为隐藏状态并在查询时直接注入，在边缘硬件上实现约 4500× 的 prefill 延迟降低，同时保持与上下文 RAG 相当的答案质量。

事件概述或研究问题

传统 RAG 在检索到的上下文长度上产生线性 prefill 成本；若使用 Transformer 骨干，KV 缓存还会随生成 token 数增长。SSM 天然避免了第二种成本，但第一种仍然存在。本文提出 PRECOG（Pre-Computed Context Injection），利用 SSM 的固定大小、位置无关的循环隐藏状态作为模型所读取内容的完整摘要，将语料库离线编码为隐藏状态，查询时直接注入最佳匹配状态，从而完全绕过上下文重新摄入。同一状态注入机制还支持 SMC（Structured Memory Consolidation），实现分层持久记忆。

方法/产品要点

PRECOG：离线将文档语料库编码为 SSM 隐藏状态；查询时选择最匹配的隐藏状态直接注入模型，替代在上下文中重新读取检索文本。
SMC（Structured Memory Consolidation）：基于相同状态注入机制的分层持久记忆系统，包含认知域聚类、可调的保真度-存储权衡旋钮，以及 O(1) 的会话初始化；将短期情景记忆整合为长期语义记忆，并在查询时与检索到的语料库状态融合。
演示模型：TENNs-LLM，一个 1.2B 参数的 gated-SSM 语言模型，隐藏状态大小 192 KB。

主要结果或产业意义

PRECOG 在答案质量上匹配上下文 RAG 的检索结果。
Prefill 延迟从约 27 秒降至不到 6 毫秒（边缘硬件），约 4500× 加速，使该场景从“不可用”跨越到“可交互”。
该方法在架构上对 Transformer KV 缓存不可行，因为 KV 缓存与位置纠缠且随上下文长度线性增长。

为什么重要

对于边缘设备上的语言模型，检索增强往往受限于预填充长上下文的延迟和显存开销。PRECOG 将 SSM 的固定状态视为可计算的“记忆摘要”，使语料库检索变成一次状态查表和注入，大幅降低了边缘端长上下文检索的门槛。相较既有 SSM 检索适配器或状态测量工作，本条的核心增量是直接利用隐藏状态作为可注入的记忆载体，并实现了持久记忆的层次化整合。

局限与不确定性

摘要未提供具体检索任务、数据集、评测指标及与不同 RAG 方法的详细对比，质量“匹配”的具体依据待核实。
SMC 的记忆整合效果、保真度-存储旋钮的实际 trade-off 未给出量化结果，待核实。
实验仅基于 TENNs-LLM 单一模型，是否适用于其他 SSM 语言模型待核实。
预编码语料库的存储成本、更新机制和检索匹配方式在摘要中未展开，待核实。

可用于图书/PPT/简报的角度

边缘 AI 如何获得“可交互”的检索增强能力：从 27 秒到 6 毫秒的工程意义。
SSM 相对于 Transformer 在长上下文记忆上的结构性优势：固定状态即记忆。
语言模型的持久记忆：从短期情景状态到长期语义记忆的类脑分层设计。

与既有脉络的关系

已有相关卡片覆盖了选择性状态空间适配器（MaLoRA/MaRA）和状态使用测量工具。本条是 SSM 方向上的新进展：不再只是适配或剪枝既有状态，而是通过 O(1) 状态注入直接实现语料库检索与分层持久记忆，展示了状态作为“可移植记忆”的架构级应用，属于对前两条工作的延续与场景拓展。

原始材料

英文标题：Structured Memory for Edge Language Models: Persistent Context and Corpus Retrieval via O(1) SSM State Injection
英文关键词：State-Space Models, Retrieval-Augmented Generation, Edge AI, Persistent Memory, PRECOG, SMC
来源：arXiv:2608.02560v1
https://arxiv.org/abs/2608.02560v1