HOPE(Higher-Order Pruning of Experts)把混合专家(MoE)模型的专家剪枝从“逐个专家独立打分”的一阶做法,升级为显式建模专家之间协作关系的二阶目标;论文摘要称其在高剪枝率与智能体类任务上优于现有方法,包括把 REAP 作为忽略交互项的特例包含在内。
值得关注:MoE 的“大总参数、小激活参数”结构使其服务成本主要由显存占用而非计算量决定,专家剪枝因此是直接影响部署可行性的杠杆。 既有剪枝方法若假设专家贡献可加,会在高剪枝率下系统性丢失协作信息——这正是压缩越激进、退化越快的…