AsymSpec 提出一种“上下文不对称”的投机解码框架:轻量级 draft 模型读取完整输入,大型 verifier 只读取压缩后的输入,并通过对比式 δ-融合与分歧感知接受门来保持验证稳定性和高草稿接受率,从而在压缩上下文导致精度损失时,平均达到约 90% 的全上下文精度,同时带来 1.3–1.7 倍吞吐加速和 0.2–0.3 倍计算成本。
值得关注:现有投机解码通常被用于“无损加速”,但其前提是 draft 与 verifier 共享相同上下文;AsymSpec 将其扩展为“有损压缩下也可用”的不对称机制。 在压缩不可避免的现实 agent 系统中,它能利用廉价小…