知识卡片：MAESTRO：基于马尔可夫链的稀疏激活MoE专家剪枝框架

一句话结论

MAESTRO 是一种专为稀疏激活混合专家（MoE）语言模型设计的有结构剪枝框架，通过将自回归专家激活轨迹建模为遍历马尔可夫链，利用其平稳分布编码跨层依赖关系，从而获得全局重要性启发式，在50%压缩率下平均性能保留比现有最优方法高最多10.61%，且跨任务方差更低。

事件概述或研究问题

稀疏激活的MoE语言模型每次只激活一小部分参数，但所有专家始终驻留在内存中，带来巨大的部署瓶颈。现有的有结构剪枝方法大多针对稠密Transformer设计，使用局部启发式评估专家重要性，忽略了MoE路由的相互依赖性。MAESTRO旨在解决MoE架构剪枝中的全局依赖建模问题。

方法/产品要点

• 名称：MAESTRO（Markov-chain Approximated Expert Sparsification via Transition-based ROuting）
• 核心创新：将自回归专家激活轨迹建模为遍历马尔可夫链，其平稳分布编码了跨层依赖关系，从而得到全局感知的重要性启发式。
• 框架类型：有结构剪枝框架，专为MoE架构设计。
• 与现有方法的区别：现有方法使用局部启发式，MAESTRO全局感知路由一致性。

主要结果或产业意义

• 在五个不同领域（包括安全、偏见和伦理）上进行评估。
• 在严格50%压缩率下，MAESTRO平均性能保留比现有最优基线高出最多10.61%。
• 同时表现出显著更低的跨任务方差，表明全局、路由一致的剪枝产生的模型在异质任务上泛化更一致。

为什么重要

• MoE模型在大规模部署中内存瓶颈突出，剪枝是降低开销的关键手段。
• 现有剪枝方法忽视MoE路由的相互依赖性，MAESTRO首次利用马尔可夫链建模全局依赖，显著提升了剪枝后模型的性能保留和泛化一致性。
• 适用于安全、偏见、伦理等关键领域，具有实际部署价值。

局限与不确定性

• 仅针对MoE架构设计，适用性可能不扩展到其他架构。
• 文中未提及对推理速度的具体提升数据，仅报告了性能保留率。
• 训练/剪枝的计算开销相比现有方法如何变化，材料未明确说明。
• 实验结果基于arXiv预印本（ID: 2607.08601v1），尚未经过同行评审。

可用于图书/PPT/简报的角度

• 技术演进：从稠密模型剪枝到MoE专用剪枝，展示对路由依赖建模的必要性。
• 马尔可夫链的跨域应用：用概率模型解决深度学习架构中的依赖关系。
• 部署优化：如何通过全局剪枝在压缩MoE模型的同时保持高且稳定的性能。
• 案例对比：MAESTRO与局部启发式方法在安全、伦理等敏感任务上的性能差异。

原始材料

• 英文标题：It Takes a MAESTRO To Prune Bad Experts
• 英文关键词：Mixture-of-Experts, structured pruning, Markov chain, expert sparsification, routing
• 来源：arXiv预印本，ID: 2607.08601v1
• 作者：Palaash Goel, Ayush Maheshwari, Tanmoy Chakraborty
• 发表时间：2026-07-09
• 摘要原文：见上文Fetched text excerpt。