LIFT(Latent Information Feedback Transformer)通过把循环状态学习转化为教师强制预测问题,在预训练中让 Transformer 语言模型学会将深层信息反馈到浅层/后续生成步;在 135M–1B 参数范围、token 匹配预算下,它持续优于标准 Transformer 和基线,并在状态跟踪任务上表现出显著样本效率优势…
值得关注:它直接挑战标准 Transformer 的前馈信息流限制,探索“深度到浅层反馈”能否在预训练中被学习。 通过教师监督预计算状态,把通常需要序列递归的状态学习变成可并行训练的目标,兼顾表达与效率。 状态跟踪任务的受控结果…