知识卡片：LIFT：用教师监督预训练潜在信息反馈 Transformer

一句话结论

LIFT（Latent Information Feedback Transformer）通过把循环状态学习转化为教师强制预测问题，在预训练中让 Transformer 语言模型学会将深层信息反馈到浅层/后续生成步；在 135M–1B 参数范围、token 匹配预算下，它持续优于标准 Transformer 和基线，并在状态跟踪任务上表现出显著样本效率优势（具体指标待核实）。

事件概述或研究问题

标准 Transformer 语言模型是前馈的：深层表示不会反馈到浅层，跨生成步向下流动信息的唯一路径是已解码 token。该狭窄通道迫使模型重新计算中间结果，并丢弃替代续写。本文研究能否在预训练阶段移除这一瓶颈，使语言模型具备跨生成步传播状态的能力。为此提出 LIFT 架构与训练方法。

方法/产品要点

• 将循环状态学习转化为 teacher-forced prediction 问题。
• 每个输入 token 与一个信息密集状态配对；该状态来自一个现成预训练语言模型的 next-token 分布。
• 模型增加少量额外参数，训练目标同时预测下一个 token 和下一个状态。
• 由于输入状态可预计算，预训练在位置上保持完全并行。
• 推理时，模型自己预测的状态被反馈到后续步骤；计算开销较小，并随模型规模增大而降低。
• 教师模型身份、状态表示维度、额外参数规模、预训练数据与超参数等：待核实。

主要结果或产业意义

• 在 135M 到 1B 参数的预训练模型上，LIFT 在语言建模、下游推理任务和程序性任务中，于 token 匹配预算（token-matched budget）下持续优于标准 Transformer 和基线；与计算匹配预算（compute-matched）的 Transformer 相比持平或更好。
• 在状态跟踪任务上的受控研究中，一个小型 LIFT 优于同尺寸 Transformer 用 8 倍数据训练的结果；即使训练所用状态来自一个在该任务上失败的 Transformer，这一优势仍存在。
• 产业意义：若可复现，LIFT 提供了一种在预训练中学习跨生成步状态传播的可扩展方案，可能减少重复计算、保留替代续写信息，并提升样本效率；实际部署成本、吞吐量与适用范围待核实。

为什么重要

• 它直接挑战标准 Transformer 的前馈信息流限制，探索“深度到浅层反馈”能否在预训练中被学习。
• 通过教师监督预计算状态，把通常需要序列递归的状态学习变成可并行训练的目标，兼顾表达与效率。
• 状态跟踪任务的受控结果暗示：反馈结构可能比单纯扩大数据或模型更有效地解决某些程序性/推理任务。
• 与既有卡片的关系：现有 MMOE、DynoDINO、LEMUR 卡片分别关注扩散 Transformer 专家扩展、医学分割动态潜在信息、多目标 RL 对齐；本条 LIFT 聚焦语言模型预训练中的潜在信息反馈，与它们无直接事实重叠，增量在于 Transformer 内部跨层/跨步状态反馈与教师监督。

局限与不确定性

• 摘要未给出具体评估数据集、基线名称、指标数值、统计显著性与消融细节：待核实。
• “轻微计算开销”及“随模型规模增大而减少”的具体曲线、推理延迟与显存影响：待核实。
• 教师状态来自现成预训练 LM，教师质量、规模、任务匹配度对 LIFT 的影响：待核实。
• 状态跟踪任务的具体设置、失败 Transformer 的类型与规模：待核实。
• 135M–1B 之外更大模型、不同架构、多模态或非语言任务的泛化性：待核实。
• 是否开源代码、模型权重及可复现性细节：待核实。
• 预训练数据、token 预算与计算预算的具体定义：待核实。

可用于图书/PPT/简报的角度

• “Transformer 的信息流瓶颈”：前馈架构为何限制跨生成步状态传播。
• “教师强制不只用于 token，也可用于潜在状态”：把循环学习变成并行可训练的预测问题。
• “预训练阶段的架构创新”：不只在推理时改循环，而在预训练中注入反馈。
• “样本效率与状态跟踪”：小模型 + 反馈 vs. 更大模型 + 更多数据。
• “潜在信息反馈”作为 Transformer、RNN 与状态空间模型之间的中间路线。
• 可视化建议：前馈信息流 vs. LIFT 反馈回路；预训练并行 vs. 推理反馈。
• 引用具体数字和图表前需回到原文核实。

原始材料

• 英文标题：Pretraining Latent Information Feedback Transformers with Teacher Supervision
• 英文关键词：Latent Information Feedback Transformer (LIFT); teacher supervision; pretraining; language models; deep-to-shallow feedback; recurrent-state learning; next-token distribution; state prediction
• 作者：Dor Tirosh, Ido Amos, Mor Geva
• arXiv ID：2609.38149v1
• 发布时间：2026-09-29T17:57:40Z
• 更新时间：2026-09-29T17:57:40Z
• 主分类：cs.CL
• 分类：cs.CL
• 摘要 URL：https://arxiv.org/abs/2609.38149v1
• PDF URL：https://arxiv.org/pdf/2609.38149v1