AI消息速览

LiveMem:维持长时运行LLM推理中的记忆状态连续性

事件日期 2026-08-03 · 学术前沿 · 已接受

事件日期2026-08-03
信息日期2026-08-03
入库日期2026-08-05
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:LiveMem:维持长时运行LLM推理中的记忆状态连续性

英文标题:LiveMem: Maintaining Memory State Continuity in Long-Running LLM Inference
英文关键词:Long-Running LLM Inference; State Continuity; Intrinsic Memory; Context Turnover; LongMemEval(原文未单独列出,按摘要提炼,待核实)

一句话结论

LiveMem 提出“上下文轮换下的状态连续性”(state continuity under context turnover):用一个固定容量的记忆状态把计算持续向前推进,使得支撑证据被移出当前上下文后,模型仍可能基于该记忆状态回答问题;在 LongMemEval 等评估中取得领先总体性能。

事件概述或研究问题

长期运行的助手和智能体会消费持续增长的交互流,最终超出上下文窗口。现有上下文保留、摘要、检索等方法可以保持对“被选中历史”的访问,但不能在上下文变化时提供覆盖整个生命周期的持久状态。作者将这一缺失能力定义为“上下文轮换下的状态连续性”,并为此提出 LiveMem。

方法/产品要点

  • LiveMem 在预训练的全注意力 LLM 上增加一个记忆状态(memory state),用于保存整个生命周期的历史信息。
  • 主注意力路径仍然只保留一个有界的 KV 窗口(bounded KV window)。
  • 记忆状态的寿命独立于当前激活上下文,不随来源 token 被释放而失效。
  • 关键组合包括:上下文轮换与记忆状态维护、面向记忆的后训练(memory-oriented post-training)、状态感知的服务(state-aware serving)。

主要结果或产业意义

  • 在评估系统与其他内在记忆方法中,LiveMem 取得领先的总体性能。
  • 在 LongMemEval 实验中,即使支撑证据已从当前上下文移除,LiveMem 仍能基于记忆状态回答问题。
  • 证据距离分析显示,有用信息可以持续存在于活动窗口之外。
  • 潜在产业意义:对需要跨长会话保持状态的助手/智能体,这可能提供一种不依赖无限上下文的持续记忆路径;具体部署收益、延迟和成本在摘要中未给出,待核实。

为什么重要

现有“上下文保留/摘要/检索”只是在当前上下文之外保留对选定历史的访问,而 LiveMem 把“状态连续性”作为持续 LLM 推理中一种独立且互补的抽象:计算可以通过一个固定容量记忆状态持续前进,其生命周期与当前激活上下文解耦。这为长期运行的智能体提供了一种记忆架构上的新选项。

与既有脉络的关系

已有相关卡片分别涉及 KV 缓存压缩、训练内存主机卸载、长篇电视剧说话人识别等;本条不是这些方向的重复,而是聚焦于长期运行 LLM 推理中的持久记忆状态,属于“状态连续性”这一增量概念。

局限与不确定性

以下内容在摘要中未披露,待核实:

  • 模型参数量、基础模型、记忆状态的具体结构和容量、KV 窗口大小。
  • 面向记忆的后训练的具体数据、目标和训练方式。
  • LongMemEval 的评估规模、基线系统名称和具体指标。
  • 记忆状态带来的计算、显存、延迟与服务化开销。
  • “intrinsic memory method”在原文中的具体定义。
  • 英文关键词需以原文正式版本为准。

可用于图书/PPT/简报的角度

  • 概念角度:长期 AI 助手如何做到“上下文会换,但记忆不断”?
  • 对比角度:摘要/检索 vs 持久记忆状态——前者保留访问权,后者延续计算状态。
  • 架构角度:有界 KV 窗口 + 独立记忆状态 + 面向记忆的后训练 + 状态感知服务。
  • 表述角度:把 LiveMem 形容为“让记忆状态在来源 token 被释放后仍然承重(load-bearing)”的推理期方法。

原始材料

  • 英文标题:LiveMem: Maintaining Memory State Continuity in Long-Running LLM Inference
  • 作者:Zhichen Liu, Ruihan Sun, Hengjie Yang, Zipeng Wu, Zhaohan Chen, Xiaofan Zhang, Yang Xu
  • arXiv ID:2608.02515v1
  • arXiv 分类:cs.CL, cs.LG
  • 原始来源:https://arxiv.org/abs/2608.02515v1
  • PDF:https://arxiv.org/pdf/2608.02515v1