本文将从有界工作记忆中驱逐哪些标记(token)的问题重新建模为一个对隐藏信号(该标记是否会被重用)的估计问题,并提出一种训练自由的策略RMM,它通过测量模型未来短时间内的实际注意力(demonstrated utility)来决定驱逐,但实验表明,在标准自然语言基准上,该方法并未显著优于现有方法(H2O、SnapKV),优势仅出现在具有尖锐内生重用模式的…
值得关注:**理论贡献**:首次将测试时记忆驱逐问题与信号估计中的固定滞后平滑建立联系,为理解现有方法提供了统一视角。 **相对已有脉络的增量**:与已有的“在线神经时空记忆”(侧重动态场景重建)和“代理上下文管理”(侧重生命周…