E²-TTT 通过封闭式状态转移,在分块级并行训练中保留逐 token 更新动态的时间结构,从而在 1.3B 参数规模上与此前 TTT 和混合注意力基线表现相当,并在“大海捞针”passkey测试中于 8 倍训练上下文长度下保持超过 90% 的准确率,同时训练吞吐量可与高效分块方法匹配。
值得关注:长上下文模型通常需要在“更精细的逐 token 更新”和“硬件友好的分块并行”之间做取舍。E²-TTT 给出了一个理论路径:在固定近似下,分块状态转移可以精确复现逐 token 递推的状态,而不是只能做近似替代。 与已…