知识卡片:演化缓存调度用于快速扩散策略推理
英文标题:Evolving Cache Schedules for Fast Diffusion Policy Inference
英文关键词:Evolving Cache Schedules, Diffusion Policy, Inference Acceleration, Training-Free, Evolutionary Search
一句话结论
EVO 是一种无需重训练的加速框架,通过进化搜索为扩散策略的迭代去噪过程全局优化缓存刷新调度,在保持近完整性能的同时最高实现 8.05 倍动作生成加速,并将 FLOPs 从 15.77G 降至 1.96G。
事件概述或研究问题
扩散策略通过迭代去噪动作块实现强视觉运动控制,但重复去噪导致实时部署计算开销巨大。现有基于缓存的加速方法通常均匀分配计算到各 Transformer 块,忽略了不同块之间冗余程度的异质性,导致性能与效率的次优权衡。本文提出 EVO,旨在通过无训练的全局缓存调度搜索解决该问题。
方法/产品要点
- 全局调度表示:将每个候选解表示为块-时间步格子上的完整调度,指明在哪些去噪时间步和哪些 Transformer 块可以复用缓存跳过计算。
- 进化搜索:利用进化算法优化该调度,保证闭环 rollout 性能不显著下降。
- 冗余感知初始化:用有潜力的调度方案初始化种群,加速搜索收敛。
- 目标条件早停:一旦达到预设性能目标即终止搜索,提升实用性。
- 即插即用:优化后的调度可直接插入预训练扩散策略,无需重训练。
主要结果或产业意义
- 在多种操作基准测试中,EVO 保留近满性能(near-full performance)。
- 动作生成加速比最高达 8.05 倍。
- 计算量从 15.77 GFLOPs 降至 1.96 GFLOPs。
- 源码已开源(https://github.com/pillom/EVO),便于复现和部署。
为什么重要
Diffusion Policy 是机器人操作中主流的高性能视觉运动控制范式,但其推理速度瓶颈限制了实时应用。EVO 提供了一种轻量级、无训练、可即插即用的加速方案,显著降低了计算需求,且不牺牲任务表现,有助于扩散策略在边缘端或实时场景中的实际部署。
局限与不确定性
- 材料未提及该调度在何种类型的扩散策略架构(如 UNet 或 DiT)上效果最佳,也未讨论对长 Horizon 动作序列的泛化性。
- 未给出与现有缓存方法(如均匀调度、随机调度)的具体性能对比数据。
- 未说明进化搜索本身的离线计算成本,以及搜索过程是否依赖特定环境或数据集。
可用于图书/PPT/简报的角度
- 机器人操作中的实时推理加速:从重复去噪到智能缓存。
- 进化计算在深度学习推理优化中的新应用。
- 如何在不重新训练模型的前提下提升模型部署效率 —— 以 Diffusion Policy 为例。
原始材料
- 论文标题:Evolving Cache Schedules for Fast Diffusion Policy Inference
- arXiv ID:2607.20293v1
- URL:https://arxiv.org/abs/2607.20293v1
- PDF:https://arxiv.org/pdf/2607.20293v1