知识卡片：T²MLR：具有时序中间层循环的Transformer

英文标题：T²MLR: Transformer with Temporal Middle-Layer Recurrence
英文关键词：Transformer, Temporal Middle-Layer Recurrence, Latent Reasoning, Autoregressive Decoding

一句话结论

T²MLR 通过在 Transformer 解码过程中引入前一个 token 的中间层表示到当前 token 的早期层，使中间推理状态得以跨时间步持久化，仅用少量网络层（约 20%）的局部循环即可在自然语言预训练和多跳推理微调中一致超越参数匹配的基线模型，且无需从零预训练，可直接改造现有预训练模型。

研究问题

自回归解码的 Transformer 在每步生成时反复将丰富的隐藏计算压缩到 token 空间，导致中间推理状态难以跨时间步保持，限制了模型的推理能力。如何在不显著增加推理开销的前提下，让 Transformer 在解码过程中保留和复用中间层抽象计算？

方法要点

核心机制：T²MLR 在 Transformer 中引入一个缓存机制——将前一个 token 的中间层表示直接注入当前 token 的较浅层，形成跨时间步的循环连接（Temporal Middle-Layer Recurrence）。
局部循环：并非所有层都参与循环，而是只对网络中间的一个局部块（仅占全部层的 20%）施加循环，这种做法通常优于全层循环。
轻量适配：不需要从零预训练。在已有预训练 1.7B Transformer 上，通过添加循环路径并短时微调，即可显著提升数学推理性能。

主要结果

在自然语言预训练和多跳推理微调设置下，T²MLR 始终优于数据量和参数量匹配的普通 Transformer 基线。
仅对中间 20% 的层施加循环，效果常优于对整个网络所有层施加循环。
在 1.7B 参数规模的预训练模型上改造后微调，数学推理能力获得实质性提升，降低了实际部署的门槛。

为什么重要

揭示了有效潜在推理的关键在于有针对性的局部循环，而非过去工作中遍历所有层的方式，为轻量化改进 Transformer 推理能力提供了新方向。
兼容已有预训练模型，无需从头重新训练，使得该架构更易于在现有系统中落地。
推理开销很小（仅缓存并注入少量中层表示），适合实际应用。

局限与不确定性

材料未明确讨论 T²MLR 在极长序列或超大规模模型（如 100B+）上的表现，需进一步验证。
局部循环的最佳层位置和比例是否对所有任务通用尚不清楚，可能需任务特定调整。
作者未提及与强化学习或思维链等推理增强方法的结合效果，待核实。

可用于图书/PPT/简报的角度

案例：展示如何通过“局部循环”这种轻量改造来提升 Transformer 的推理能力，适合作为“模型架构改进”章节的典型案例。
对比：强调“并非所有层都需要循环，中间层是关键”，与传统“深层循环”方案形成对比，突出效率优势。
实用价值：说明该方法可直接应用于现有预训练模型，降低研发成本，适合面向工业界的演示。

原始材料

arXiv ID: 2607.15178v1
URL: https://arxiv.org/abs/2607.15178v1
arXiv PDF: https://arxiv.org/pdf/2607.15178v1