知识卡片：DistMoE——私有数据免重放的混合专家路由用于分布式指令微调

一句话结论：DistMoE 提出一种面向分布式视觉指令微调的混合专家（MoE）方法，在公共 FFN 之外为每个客户端添加私有 FFN 专家，并通过公共锚定的组合阶段实现跨客户端免重放的路由与领域组合，从而在无需集中数据和显式领域标签的情况下适配多模态大语言模型。

英文标题：DistMoE: Private-data Rehearsal-free Routing in Mixture-of-Experts for Distributed Instruction Tuning

英文关键词：Mixture-of-Experts; Distributed Instruction Tuning; Multimodal Large Language Models; Rehearsal-free Routing; Domain Adaptation; Private Data

事件概述或研究问题：多模态大语言模型（MLLMs）具有很强的多模态指令跟随能力，但将其适配到多样化的视觉-语言领域时，通常假设数据集中可访问并进行昂贵的联合训练。当数据分布在私有、领域特定或权限受限的客户端时，这种集中式假设不成立。DistMoE 旨在解决分布式场景下如何进行领域适配的问题，同时避免直接共享或集中私有数据。

方法/产品要点：

在语言解码器的每一层，为公共前馈网络（FFN）增加一个客户端特定的私有 FFN 专家，用于获取领域特定知识。
独立训练私有 FFN 会导致不同客户端专家表征的尺度和量级不一致，使专家合并困难。
为减少客户端特定漂移，提出“公共锚定的专家组合阶段”（public-anchored expert composition stage），仅更新路由器和轻量级私有投影适配器，并在本地客户端数据与公共数据的混合上使用各向同性正则化损失（isotropic regularization loss），从而实现跨客户端免重放（rehearsal-free）组合。
推理时，DistMoE 对公共专家和私有专家进行模块化路由，支持 token 级领域组合，且不需要显式领域标签。

主要结果或产业意义：论文报告，在多种视觉-语言基准上，DistMoE 实现了灵活的专家重用、有效的领域适应和具有竞争力的性能，同时保留对客户端特定知识的模块化控制。具体实验数值待核实。

为什么重要：DistMoE 针对的是隐私敏感或权限受限的分布式数据场景，避免集中式数据访问和昂贵的联合训练。它允许不同客户端拥有各自的私有专家，并通过公共锚定组合让这些专家可以协同工作，为多模态大模型的分布式适配提供了一条不共享原始数据、也不要求重放私有数据的路线。代码已公开，便于复现和扩展。

与既有脉络的关系：与已有关于混合专家路由的卡片相比，CARE 关注基于置信度自适应的低秩适配器路由，VI-MoLE 关注基于价值信息分配的不确定性路由，而 DistMoE 的增量信息在于：它针对跨客户端分布式数据场景，解决的是私有 FFN 专家在训练后如何被重新组合和路由的问题，核心贡献是“公共锚定 + 免重放”的专家组合机制。

局限与不确定性：

摘要未给出具体基准数值、模型规模或与集中式训练的量化差距，相关结果待核实。
摘要未说明隐私保证的正式机制（例如差分隐私、加密或安全聚合），因此“私有”的实现程度需以论文正文为准。
公共数据在组合阶段的具体作用、需求量以及客户端数据分布差异的鲁棒性，尚待核实。

可用于图书/PPT/简报的角度：

以“不共享数据也能协同训练大模型”为切入，介绍分布式指令微调中的私有专家设计。
对比集中式训练、联邦学习与 DistMoE 的异同，突出“免重放”和“模块化路由”两个关键词。
面向多模态大模型轻量化适配的工程实践，引用代码仓库说明其可落地性。

原始材料：

英文标题：DistMoE: Private-data Rehearsal-free Routing in Mixture-of-Experts for Distributed Instruction Tuning
arXiv ID：2608.09907v1
作者：Mainak Singha, Niccolò Biondi, Elisa Ricci, Subhankar Roy
提交时间：2026-08-10T17:52:14Z（待核实具体时区）
主分类：cs.CV
URL：https://arxiv.org/abs/2608.09907v1
PDF：https://arxiv.org/pdf/2608.09907v1
代码：https://github.com/mainaksingha01/DistMoE