知识卡片：曲率感知零阶优化用于内存高效的测试时适应
一句话结论
CAZO 是一种面向测试时适应（TTA）的改进零阶优化方法：通过滑动平均估计对角 Hessian 构造协方差矩阵，用各向异性扰动采样降低零阶梯度估计的方差，从而只用前向传播即可更新少量适配器参数，在节省内存的同时提升 TTA 性能（性能提升幅度待核实）。
事件概述或研究问题
- 测试时适应（TTA）希望利用无标注测试数据提升预训练模型的跨域表现。
- 现有 TTA 大多依赖反向传播（BP）微调模型，内存开销大；零阶（ZO）方法只靠前向计算估计梯度，更适合设备端部署，但梯度估计方差显著高于一阶方法。
- 本文要解决的问题是：如何在不做反向传播的前提下，降低 ZO 梯度估计方差，使基于 ZO 的 TTA 在精度和内存之间取得更好平衡。
方法/产品要点
- 观察：论文称在 TTA 适应过程中，损失函数存在持续的“低秩 Hessian 结构”。
- 基于该观察提出 CAZO：利用滑动平均估计对角 Hessian，构造协方差矩阵，用于各向异性扰动采样。
- CAZO 冻结预训练权重，只优化极少量适配器参数；参数更新所需的梯度估计仅靠前向传播完成。
- 与 BP 方法相比，CAZO 能明显降低内存开销；具体节省幅度待核实。
- 代码：https://github.com/Hollyming/CAZO
主要结果或产业意义
- 据摘要，CAZO 在大量实验中显著优于现有 TTA 方法，达到 state-of-the-art，并在精度与内存效率之间取得良好平衡。
- 产业意义：适合端侧/设备端场景，可能降低模型部署后在设备上进行测试时适配的内存和计算要求。
- 具体数据集、模型规模、精确率/内存数字等未在摘要中出现，待核实。
为什么重要
- 该方法把“Hessian 低秩结构”作为先验引入 ZO-TTA，用损失曲率指导扰动采样，直接针对 ZO 梯度估计方差高的痛点。
- 它延续了“测试时适应”这一技术路线，但区别于依赖 BP 的常见 TTA 方案，提供了一种面向内存受限场景的免反向传播替代路径。
与既有脉络的关系
- 已有相关卡片分别涉及测试时迭代优化用于图像生成、大语言模型的预算感知测试时模型选择、以及视觉语言模型的模态顺序测试时训练；本条不是这些方向的重复。
- 增量信息：本条关注“免反向传播 + 曲率感知”的 TTA 优化方法，强调在设备端内存约束下提升 ZO 梯度估计质量，而不是决策路由或模态顺序问题。
局限与不确定性
- 目前仅依据摘要/元信息生成卡片；未获取全文细节。
- “达到 SOTA”“显著优于”等是论文摘要中的作者表述，未经第三方独立核实。
- 低秩 Hessian 观察在哪些任务、模型和领域普遍成立，尚待核实。
- “最小适配器参数”的具体结构、内存节省倍数、扰动采样实现细节等，原文摘要中未展开，待核实。
可用于图书/PPT/简报的角度
- 角度一：从“反向传播瓶颈”到“前向传播适应”：设备端 TTA 为什么需要零阶优化。
- 角度二：用损失曲率降低零阶梯度方差：CAZO 的核心思路。
- 角度三：测试时适应的“内存-精度”权衡与低秩 Hessian 观察。
- 角度四：对比已有 TTA 方向：图像生成、模型路由、VLM 模态顺序，与参数高效 TTA 的差异。
原始材料
- 英文标题：Curvature-Aware Zeroth-Order Optimization for Memory-Efficient Test-Time Adaptation
- 英文关键词：Test-Time Adaptation; Zeroth-Order Optimization; Memory Efficiency; Curvature-Aware; Anisotropic Perturbation Sampling
- 作者：Junming Zhang, Shuyu Yin, Peilin Liu, Rendong Ying, Fei Wen
- 出处：CVPR 2026, pp. 836-846；arXiv:2608.12279v1
- 发布时间：2026-08-12
- URL：https://arxiv.org/abs/2608.12279v1
- PDF：https://arxiv.org/pdf/2608.12279v1
- 代码：https://github.com/Hollyming/CAZO
- Track / Topics：academic; foundation-model