AI消息速览

Robust CurveMoE——基于模式连通性的混合专家多范数对抗防御

事件日期 2026-08-26 · 学术前沿 · 已接受

返回列表 打开来源
事件日期2026-08-26
信息日期2026-08-26
入库日期2026-08-28
通道学术前沿
状态已接受
来源arXiv 论文

知识卡片：Robust CurveMoE——基于模式连通性的混合专家多范数对抗防御

一句话结论

Robust CurveMoE 提出一种将模式连通性（Mode Connectivity）与混合专家（MoE）结合的防御框架，通过低损耗路径连接针对不同扰动范数特化的模型，在 CIFAR-100 和 ImageNet-100 上相比最强基线将 Union 准确率分别提升 2.37 和 2.13 个百分点。

事件概述或研究问题

多范数对抗防御旨在保护神经网络免受不同范数约束（如 L∞、L2、L1 等）下对抗扰动的影响。现有方法通常在一个参数配置中同时优化多个相互竞争的鲁棒性目标，导致训练成本高、鲁棒性权衡不佳。Robust CurveMoE 尝试利用模式连通性，让不同范数特化的模型通过低损耗路径连接，并借助混合专家架构实现高效的多范数防御。

方法/产品要点

  • 低损耗路径连接：通过模式连通性构建连接不同范数特化模型的低损耗路径，利用路径上模型的互补鲁棒性特征。
  • 鲁棒性约束的专家导出：从鲁棒性约束的曲线位置（curve locations）导出“干净专家”和“范数特化专家”。
  • 选择性专家化：只对影响较大的层进行专家化，其余参数在路由路径之间共享，降低计算和参数开销。
  • 贡献引导的部分更新：利用基于初始化的梯度分数选择影响较大的曲线参数，仅对部分参数做优化更新，进一步降低曲线构建成本。
  • 理论保证：给出了部分优化与全量优化之间目标差距的理论界。

主要结果或产业意义

  • 在 CIFAR-100 和 ImageNet-100 上，使用 WideResNet 和 Vision Transformer 架构进行实验。
  • 相比 MSD、ERMC 等基线，Robust CurveMoE 在干净准确率、范数特定准确率和 Union 准确率上均一致提升。
  • Union 准确率超过最强基线：CIFAR-100 上提升 2.37 个百分点，ImageNet-100 上提升 2.13 个百分点。
  • 消融实验验证了部分更新、选择性专家化和鲁棒性约束专家选择的有效性。
  • 产业意义：为需要同时防御多种对抗扰动的人工智能系统（如图像分类、安全监控）提供了一种可能更低成本、更优权衡的模型设计思路。

为什么重要

与已有混合专家相关卡片（如面向视频预训练、低秩适配、分布式微调）不同，本条信息的增量贡献在于：首次将“模式连通性”与“混合专家”结合，用于解决多范数对抗防御中的多目标冲突问题，避免在单一参数配置中强行走钢丝式的鲁棒性权衡，并分享了部分专家参数以降低训练成本。

局限与不确定性

  • 材料仅来自论文摘要，具体模型参数量、实际训练成本节省幅度、推理开销等细节待核实。
  • 实验仅覆盖 CIFAR-100 和 ImageNet-100，更大规模数据集或真实场景下的泛化能力待核实。
  • 与其他对抗训练方法（如标准 PGD 对抗训练、TRADES 等）的全面比较待核实。
  • 该框架对 MoE 路由本身的鲁棒性以及专家坍缩等问题是否有效，摘要中未详细说明，待核实。

可用于图书/PPT/简报的角度

  • 案例：如何用“模式连通性”连接不同扰动脉络下的模型，并让不同“专家”各司其职。
  • 图示推荐：低损耗路径曲线 + 不同范数特化专家的路由示意。
  • 一句话金句：与其让一个模型同时面对所有攻击，不如让专家走各自擅长的道路，再通过低损耗路径连接它们。
  • 对比图：传统单一模型多目标优化 vs. Robust CurveMoE 的专家化分工。

原始材料

  • 英文标题：Robust CurveMoE: Multi-Norm Adversarial Defense for Mixture-of-Experts Models via Mode Connectivity
  • 英文关键词：Multi-Norm Adversarial Defense; Mixture-of-Experts; Mode Connectivity; Adversarial Robustness
  • arXiv ID: 2608.26043v1
  • 作者：Xu Zhang, Ren Wang
  • 发布/更新：2026-08-26
  • 类别：cs.LG
  • 摘要原文：Multi-norm adversarial defense aims to protect neural networks against perturbations defined by different norm constraints, but existing methods typically optimize competing robustness objectives within a single parameter configuration, leading to substantial training cost and unfavorable robustness trade-offs. We propose Robust CurveMoE, an efficient mixture-of-experts framework that connects models specialized for different perturbation norms through a low-loss path and exploits the complementary robustness profiles of models along this path. Robust CurveMoE derives clean and norm-specialized experts from robustness-constrained curve locations and selectively expertizes only influential layers, while sharing the remaining parameters across routing paths. To further reduce curve-construction cost, we introduce contribution-guided partial updating, which selects influential curve parameters using initialization-based gradient scores. We also theoretically bound the objective gap between partial and full curve optimization. Experiments on CIFAR-100 and ImageNet-100 with WideResNet and Vision Transformer architectures show that Robust CurveMoE consistently improves clean, norm-specific, and Union accuracy over MSD and ERMC. In particular, it improves Union accuracy by 2.37 and 2.13 percentage points over the strongest baseline on CIFAR-100 and ImageNet-100, respectively. Extensive ablations further validate the effectiveness of partial updating, selective expertization, and robustness-constrained expert selection.
  • 来源 URL：https://arxiv.org/abs/2608.26043v1