论文提出 On-Demand Attention(ODA),一种局部优先的解码方法:利用预训练模型解码状态中关于“全局读取收益”的预测信息,通过轻量 recall head 在生成过程中选择性调用全局注意力;仅训练 recall head,不改预训练权重,并保留完整历史 KV cache。据摘要,在 Qwen 与 Gemma(包括混合注意力骨干)上,选择性…
值得关注:长上下文推理的核心成本之一,是解码时反复进行全局注意力读取;ODA 把“是否读取全局历史”变成生成过程中的条件决策。 只训练轻量 recall head 而不改预训练权重,意味着该路线可能以较低适配成本叠加到已有模型上…