知识卡片：MemT 1.0——把记忆原生焊进 Transformer 的参数化记忆模型

一句话结论

MemT 1.0 是记忆张量（MemTensor）开源的一类“记忆原生”大模型，通过在选定 Transformer 模块中增加与注意力并行的记忆计算通路，把经验编码为可训练、可更新的内部动态状态，并宣称这是记忆原生模型首次实现近 300B 参数规模的工程验证。

事件概述或研究问题

• 背景：RSI（递归自我改进）讨论升温，Hinton 的 RSI 论文作者阵容包括 Bengio、OpenAI 首席科学家 Pachocki、Anthropic 联创 Jack Clark 等。文章提出的基础问题是：一次改进如何成为下一次的起点——有效方法要被保留，走过的弯路要被识别，承接这件事的是“记忆”。
• 常规思路：给 AI 外接经验库，保存与检索操作方法、历史教训。
• MemT 的路线：记忆原生，即把经验的保留、更新和调用做成模型可学习的能力；经验编码成内部动态状态，通过训练学习写入、更新、读取，并经由记忆分支参与后续计算。
• 文章称其为记忆原生模型首次实现近 300B 参数规模的工程验证。

方法/产品要点

• 两个型号：
  • MemT-1.0-Nano：总计 36B 参数、激活 3B，基座为 Qwen3.6-35B-A3B。
  • MemT-1.0-Flash：288B 参数、激活 17B，基座为经进一步后训练的 DeepSeek-V4-Flash。
• 架构：在选定的 Transformer 模块里增加一条与原有注意力并行的记忆计算通路，分为三层：
  • 主干权重：承载通用能力，训练记忆时冻结。
  • 超记忆：读写投影、门控等可训练参数，决定如何编码、更新、读取记忆。
  • 局部记忆：动态矩阵状态，保存交互中新加入的信息。
• 读写机制：写入时隐状态经投影生成记忆键值，擦除/写入/遗忘门控调节已有矩阵关联；读取时当前输入映射为记忆查询，读出后经归一化和输出门控参与后续生成。
• 更新机制：基于 Gated DeltaNet-2 的逐 Token 生成并做稳定化处理；每轮结束后触发门控调整，轮内按 Token 顺序调整状态。文章称消融实验中把逐 Token 更新换成整轮聚合后，Nano 的记忆基准平均分从约 47.0 降到 41.0。
• MoS（Mixture-of-Storage）：将记忆原生模块扩展为多个记忆专家，采用稠密融合，所有专家参与计算、路由权重决定贡献，与基座 MoE 的稀疏专家路由不同。
• 训练语料：340 亿 Token 记忆训练语料，其中继续预训练 200 亿、后训练 140 亿。继续预训练先把长文本切段写入记忆再回答查询；后训练包含记忆原生语言建模、记忆存储与利用（摘要、续写、压缩等）和长程记忆任务数据。
• 蒸馏：冻结的主干作为教师模型看到完整历史，MemT 1.0 作为学生只看到自己的记忆状态，沿 off-policy 蒸馏对齐教师分布。

主要结果或产业意义

• SWE-bench Verified（500 项任务、每项独立运行三次）：MemT-1.0-Nano 关键断点平均成功率 69.73%，无经验基线 66.07%，文本经验组 69.13%；三次全成功率从无经验的 54.00% 提高到 62.80%，文本经验组为 61.80%。
• SWE-bench Multilingual：原生记忆组平均成功率 63.56%，无经验组 60.00%，文本经验组 63.00%。文章称优势主要体现在平均成功率和重复执行的可靠性上。
• 11 项记忆基准综合评估：Flash 和 Nano 平均得分分别为 50.6 和 47.0，位列参与评估的参数化记忆方法前两名。文章同时承认文本记忆系统整体仍有优势，尤其在长历史细节召回上。
• 效率：同样 128K 长历史下，Nano 端到端推理速度约为完整上下文方案的 1.86 倍，每条轨迹的持久状态占用是完整上下文 KV Cache 的六十六分之一。
• 演示：迷宫探索中，第二轮 MemT 1.0 借助上一轮归档的经验避开死胡同；多轮对话信息更新场景中，Nano 能区分正式决定与随口建议并保留未变内容。

为什么重要

• 文章把记忆原生定位为 Memory Scaling，即在推理增长之外寻找模型性能增长的“第三条曲线”：同样的经历，换一种内部表示、更新规则和读取方式，能否用得更好，使记忆效果成为一组可通过训练与架构设计调整的变量。
• 对 RSI 而言，文章称 RSI 有三块拼图：记忆、反馈、验证与更新机制；记忆让有效结果延续，后两者判断哪些改变值得进入下一轮。MemT 1.0 探索的是经验承接与复用，即“从模型层面补上第一块”。
• 对企业 AI：文章主张“经过验证的经验能复用多少次”应与“模型单次表现”一起进入选型标准；记忆原生提供模型侧的承载机制，在近似质量下有望通过经验复用减少返工。
• 文章明确认为记忆原生与外部记忆不是非此即彼：精确原文、来源或版本查询仍适合外部记录，后续执行的经验调用可检验原生机制。

局限与不确定性

• 文章自述：记忆原生才刚起步，效果与外部记忆“大差不差”；文本记忆系统在长历史细节召回上仍有优势。
• 原生状态若要精确删除、解释与恢复，需要额外机制；外部文本更方便检查与溯源。
• 长期上限是否高于外部记忆尚未证明；下一步需验证收益能否跨出当前训练分布，在更长交互和新任务中保持。
• “记忆原生模型首次实现近 300B 参数规模工程验证”为文章表述，独立复现与第三方评测待核实。
• 文中提及 Gated DeltaNet-2 作者参与相关讨论，属于“小道消息”性质，待核实。
• 论文编号 arXiv:2610.26825、GitHub 与 HuggingFace 链接的真实性与内容一致性待核实。

可用于图书/PPT/简报的角度

• 记忆的三种形态对比：上下文内记忆、外部检索记忆、参数化/原生记忆，各自在表示、更新、可解释性、成本上的取舍。
• “经验改变行动顺序”的案例：SWE-bench 中先构建复现测试再改代码，以及初次修改后回检边界条件——可作为“经验如何进入 Agent 执行轨迹”的图示素材。
• 成本视角：128K 长历史下 1.86 倍推理速度、1/66 KV Cache 状态占用，适合放入企业 AI 运维成本的简报页。
• RSI 三块拼图框架：记忆、反馈、验证与更新机制；MemT 1.0 对应第一块，可作为讨论持续学习路线的结构性幻灯片。
• Memory Scaling 作为“第三条曲线”的叙事，可与推理时计算扩展、训练规模扩展并列呈现。

原始材料

• 标题：RSI三块关键拼图，MemT 1.0从模型层补上「记忆」
• 副标题：把记忆原生焊进Transformer
• 作者：鹭羽
• 来源：量子位（QbitAI）
• 发布时间：2026-10-20 20:50:34
• URL：https://www.qbitai.com/2026/10/504456.html
• 论文：https://arxiv.org/abs/2610.26825
• GitHub：https://github.com/MemTensor/MemT-1.0
• HuggingFace：https://huggingface.co/collections/MemTensor/memt-1
• 英文关键词：MemT 1.0, Memory-Native Model, Memory Scaling, RSI, Gated DeltaNet-2, Mixture-of-Storage (MoS), SWE-bench Verified, SWE-bench Multilingual