AI消息速览

CoRA-NAS:面向神经架构搜索的粗排序与锚点残差精修

事件日期 2026-09-10 · 学术前沿 · 已接受

事件日期2026-09-10
信息日期2026-09-10
入库日期2026-09-11
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片:CoRA-NAS:面向神经架构搜索的粗排序与锚点残差精修

一句话结论

CoRA-NAS 用零成本代理做粗排序,再以少量锚点的早期验证曲线和 ExtraTrees 残差修正进行低成本精修;在多个 NAS 基准上取得跨空间较稳健的排序表现,精修成本约为全训练候选集的 1%。

事件概述或研究问题

零成本代理可以低成本地给架构排序,但其可靠性会随搜索空间变化。该 arXiv 预印本提出 CoRA-NAS: Coarse Ranking and Anchor-Residual Refinement for Neural Architecture Search,即“粗排序 + 锚点残差”两阶段框架,把静态排序先验与低成本学习曲线精修结合起来,目标是在不依赖全训练架构—精度标签拟合排序器的情况下,提高跨搜索空间的架构排序与选择能力。

方法/产品要点

  • CoRA-Rank:聚合 capacity 与 structure-at-initialization 两类代理,通过等权 log-rank 共识和 target-free consensus gate 形成静态排序先验。
  • CoRA-Refine:在该先验上采样 anchors,外推其早期验证曲线,并用 ExtraTrees 模型传播学习到的残差修正。
  • 精修阶段成本约为完全训练候选集的 1%。
  • 材料称,完全训练的架构—精度标签没有被用于拟合 ranker。
  • 跨空间使用一套配置,但每个搜索空间使用特定的架构编码。

主要结果或产业意义

CoRA-Refine 在四个基准上的平均 Spearman 相关系数为:

基准 平均 Spearman 相关系数
NAS-Bench-201 0.946
NAS-Bench-101 0.715
TransNAS-Bench-101 0.786
NATS-SSS 0.894
  • 其最差空间相关系数为 0.715,材料称这是对比方法中最高的。
  • 在 NAS-Bench-201/CIFAR-100 上,其选出的架构达到 73.32% 准确率,接近报告中 ground-truth best 的 73.37%。
  • 在 pure size space 上,精修恢复了静态先验相对于参数计数的不足,同时与最强 capacity proxies 在噪声范围内持平。
  • 产业意义:面向低成本架构选择,强调跨搜索空间的排序稳健性,而不只是单一空间上的峰值表现。

为什么重要

NAS 落地常受限于训练成本,而零成本代理虽然便宜,却可能在不同搜索空间间不稳定。CoRA-NAS 的增量在于:它不把零成本代理当作最终排序器,而是将其作为粗排序先验,再用极少量锚点和学习曲线残差修正来纠正排序。与已有相关卡片相比,本条补充的是“零成本代理粗排序 + 锚点残差精修”的路线,强调跨空间稳健性与统一配置;已有卡片分别侧重 Transformer+ABC 节俭 NAS、LP-NAS 可微搜索、以及最优控制启发的深度自适应,并非同一事实。

局限与不确定性

  • 本卡片仅依据 arXiv 摘要与元数据整理,未阅读完整论文正文。
  • 论文是否经过同行评审、是否被会议或期刊录用:待核实。
  • 代码、模型、数据是否开源:待核实。
  • 对比方法的完整名单、统计显著性、误差棒、硬件与时间成本细节:待核实。
  • “约 1% 成本”的计算口径、基准与硬件条件:待核实。
  • NATS-SSS 的全称、任务设置与评价协议:待核实。
  • “pure size space”具体指哪个搜索空间或数据集:待核实。
  • 报告中 ground-truth best 73.37% 的来源与测试设置:待核实。
  • 跨空间“one configuration”的超参数选择、空间特定架构编码细节、残差修正训练数据来源:待核实。

可用于图书/PPT/简报的角度

  • 零成本代理不是终点:粗排序先验 + 少量锚点精修的两阶段范式。
  • 跨搜索空间稳健性:最差空间表现比单空间峰值更值得关注。
  • 成本—精度权衡:约 1% 全训练成本,接近 ground-truth best。
  • 统一配置 + 空间特定编码:一种可迁移的 NAS 评估设计。
  • 基准视角:NAS-Bench-201、NAS-Bench-101、TransNAS-Bench-101、NATS-SSS 上的 Spearman 相关性对比。
  • 与可微 NAS、强化学习 NAS、深度自适应方法并列时,可作为“代理排序 + 残差修正”路线案例。

原始材料

  • 英文标题:CoRA-NAS: Coarse Ranking and Anchor-Residual Refinement for Neural Architecture Search
  • 作者:Yifan Yang, Zhaoyan Wang, Zheng Gao, Xiaoyu Li, Jiaojiao Jiang
  • arXiv ID:2609.11884v1
  • 发布时间:2026-09-10T17:49:19Z
  • 更新时间:2026-09-10T17:49:19Z
  • 主要分类:cs.LG
  • 分类:cs.LG, cs.CV
  • Abstract URL:https://arxiv.org/abs/2609.11884v1
  • PDF URL:https://arxiv.org/pdf/2609.11884v1
  • 英文关键词(依据标题与摘要提取):Neural Architecture Search; Zero-cost Proxies; Coarse Ranking; Anchor-Residual Refinement; Learning-curve Refinement; Spearman Correlation

发现内容有误?

免登录提交,管理员审核并完成修正后才会公开修订说明。

值得关注

NAS 落地常受限于训练成本,而零成本代理虽然便宜,却可能在不同搜索空间间不稳定。CoRA-NAS 的增量在于:它不把零成本代理当作最终排序器,而是将其作为粗排序先验,再用极少量锚点和学习曲线残差修正来纠正排序。与已有相关卡片相比,本条补充的是“零成本代理粗排序 + 锚点残差精修”的路线,强调跨空间稳健性与统一配置;已有卡片分别侧重 Transformer…

相关主题

对应的教材知识点

教材知识点匹配尚未完成。