知识卡片：MERLIN：多状态线性注意力的二阶路由

一句话结论

MERLIN 通过追踪每个上下文分段键的一阶与二阶矩，让查询能够同时恢复其与各分段对齐的均值与方差，从而实现更内容感知的多状态线性注意力聚合；元数据称其在长上下文任务上稳定优于现有聚合方法（正文未抓取，细节待核实）。

事件概述或研究问题

自注意力在长序列建模中作用关键，但其二次时间复杂度从根本上限制了大语言模型的扩展。多状态线性注意力（MSLA）通过把上下文切分为分段、并将每段压缩进各自的记忆状态来提升效率。问题在于：MSLA 聚合各记忆状态读出的信息时，仅使用查询与各分段键之间的平均对齐度，忽略了段内对齐度的分布情况，因而无法完整刻画分段与查询的相关性。

方法/产品要点

• 提出 MERLIN（MomEnt Routing for multi-state LINear attention），一种面向多状态线性注意力的路由方法。
• 核心做法：跟踪每个分段键的一阶矩与二阶矩；查询借助这些矩同时恢复其与各分段对齐的均值与方差。
• 基于均值与方差对逐状态读出做更内容感知的聚合，而非仅依赖平均对齐。
• 定位为简单、通用的路由机制，用于提升 MSLA 模型的长上下文能力。
• 实验载体：Gated DeltaNet-1.3B 与 Mamba-2-780M 的多状态变体（具体改造细节待核实）。

主要结果或产业意义

据元数据（正文未抓取，数值待核实）：

• 在多种长上下文任务上，MERLIN 一致优于现有聚合方法。
• RULER needle-in-a-haystack 与长上下文问答：Gated DeltaNet-1.3B 提升 +8.3%，Mamba-2-780M 提升 +7.0%。
• LongBench 多样子任务：分别提升 +13.5% 与 +12.0%。
• 甚至优于消耗 4 倍内存的基线方法。

为什么重要

MSLA 类模型以分段压缩换取效率，但聚合环节的信息损失是其长上下文能力的瓶颈。MERLIN 只增加键的矩统计（均值与方差）即可让路由更具内容感知，属于低侵入、可插拔的改进思路；若结果成立，意味着在不显著增加内存的前提下即可获得长上下文收益，对线性注意力与状态空间模型的工程落地有直接参考价值。

局限与不确定性

• 未能抓取正文，本卡片仅基于标题与摘要元数据；方法细节、实验设置、数据集配置与全部数值均待核实。
• 摘要未说明矩统计的额外计算/存储开销、分段大小敏感性、训练成本，以及是否与其他路由或检索机制兼容，均待核实。
• 结论主要来自两个模型系列的多状态变体，跨模型规模与架构的泛化性待核实。
• 与“4 倍内存基线”的对比条件（是否同等训练 token、同等参数量）待核实。

可用于图书/PPT/简报的角度

• “从均值到方差”：线性注意力状态聚合中被忽视的二阶信息。
• 长上下文效率路线图：分段压缩 + 内容感知路由的组合范式。
• 低成本改进案例：仅增加矩统计即可提升长上下文基准（RULER、LongBench）。
• 线性注意力与状态空间模型（Gated DeltaNet、Mamba-2）的横向对比视角。

与既有脉络的关系

既有卡片多聚焦线性注意力的效率实现（LeapQuant 的状态量化加速、SANA-Video 2.0 的混合线性注意力用于视频生成），本条补充的是 MSLA 内部“状态聚合/路由”环节的精度改进，属于同一高效长上下文脉络中针对信息损失环节的增量工作。

原始材料

• 标题：Multi-State Linear Attention with Generalized Second-Order Routing
• 来源：arXiv，https://arxiv.org/abs/2610.37645v1
• Track：academic；Topics：foundation-model
• 正文抓取状态：未能抓取，仅基于元数据，待核实。