知识卡片：基于线性规划的神经架构搜索

• 英文标题：LP-NAS: Linear Programming-based Neural Architecture Search
• 英文关键词：Neural Architecture Search; Differentiable NAS; Linear Programming; DARTS; Architecture Optimization

一句话结论

LP-NAS 将可微神经架构搜索中的架构更新方向建模为线性规划问题，利用验证损失梯度与训练损失 Hessian 构造更新方向；在 DARTS 搜索空间上得到 S-LP-DARTS 和 R-LP-DARTS 两个变体，在早期搜索迭代中比标准 DARTS 收敛更快、验证性能更高（具体数值待核实）。

事件概述或研究问题

神经架构搜索（NAS）旨在自动化设计神经网络结构，减少对人工经验的依赖。可微 NAS 因相对传统 NAS 更高效、更准确而受到关注，其将架构搜索空间松弛到连续域，从而可以引入连续优化思想。本文提出一种基于数学规划的框架 LP-NAS，适用于多种连续搜索空间，试图在保持模型参数最优性的同时提升泛化能力。

方法/产品要点

• 使用验证损失梯度与训练损失 Hessian 构造一个线性规划（LP），计算架构更新方向。
• 更新方向在改善泛化的同时，保持模型参数的最优性。
• 提出两种计算高效的变体：S-LP-NAS 和 R-LP-NAS（具体含义待核实）。
• 将 LP-NAS 应用于 DARTS 搜索空间，得到 S-LP-DARTS 和 R-LP-DARTS。
• 通过遵循 LP 导出的下降方向，在架构搜索空间中实现更高效的导航。

主要结果或产业意义

• 在 CIFAR-10 和 CIFAR-100 上，LP-DARTS 在架构搜索阶段和评估阶段均优于标准 DARTS。
• 在 CIFAR-10 上与 P-DARTS、PC-DARTS、STO-DARTS 等 DARTS 变体比较，证明了有效性。
• 通过 ImageNet 实验验证了所发现架构的可迁移性。
• 摘要未给出具体准确率、参数量、搜索耗时等数值，产业意义暂无法评估，相关细节待核实。

为什么重要

• 将线性规划引入可微 NAS，提供了一种不同于常规梯度下降的架构更新思路，拓展了 NAS 与数学规划结合的方向。
• 与已有相关卡片中的 NAS 工作相比，本条增量信息在于：LP-NAS 不采用 Transformer 强化学习、人工蜂群或最优控制方法，而是直接以线性规划求解架构更新方向；其具体实验数值和对比细节需进一步获取全文核实。

局限与不确定性

• 摘要中未披露 S-LP-NAS 与 R-LP-NAS 的完整定义和计算复杂度。
• 未给出 CIFAR-10/100 和 ImageNet 上的具体精度、参数规模、搜索成本等定量结果，待核实。
• 与 DARTS 变体的比较细节（如是否同训练设置、是否多次重复）待核实。
• 关于“保持模型参数最优性”的理论保证和约束条件，原文摘要未展开，待核实。

可用于图书/PPT/简报的角度

• 可微 NAS 与数学规划结合的典型案例：用线性规划替代或辅助梯度下降来更新架构。
• 从“连续松弛 + 梯度下降”到“连续松弛 + 线性规划”的方法演进。
• DARTS 改进方向之一：利用二阶信息（Hessian）构造更高效的架构搜索更新策略。

原始材料

• arXiv ID：2608.14472v1
• 作者：Abhishek Shukla, Ankur Sinha, Faiz Hamid
• 提交/更新日期：2026-08-14T16:53:11Z
• 分类：cs.LG, cs.AI
• 来源 URL：https://arxiv.org/abs/2608.14472v1
• PDF URL：https://arxiv.org/pdf/2608.14472v1