知识卡片：Dense 与 MoE 模型：活跃参数、吞吐量与选择依据

一句话结论

NVIDIA 技术博客指出，Dense 模型每个 token 激活全部参数，MoE 模型通过路由只激活部分专家参数，从而把显存成本（总参数）与每 token 计算成本（活跃参数）解耦；实际选型取决于显存预算、并发需求、微调计划与量化行为，而不只是参数总量。

事件概述或研究问题

这篇文章回答的问题是：为什么一个 30B 总参数模型可以每 token 只激活 3B 参数，却仍利用较大模型的容量？文章对比 Dense 与 MoE 架构，讨论吞吐、内存、路由、微调、量化与部署选择，并以 Nemotron 3.5 Lightning（30B 总参数、3B 活跃参数）为 MoE 案例，同时比较 Gemma 4 31B、Qwen3.8-27B、Mistral Small 4 等模型。来源标注发布日期为 Sep 15, 2026，作者 Sophia Abbassi；该日期相对当前日期为未来日期，真实性待核实。

方法/产品要点

• Dense 模型：每个 token 经过所有参数；每个解码层使用单一共享 FFN。部署更简单，延迟更可预测。
• MoE 模型：用多个 FFN 专家替代共享 FFN；路由器/门控网络按每层独立选择 top-k 专家。现代 MoE 常包含一个所有 token 都会经过的共享专家。
• 路由决策逐层进行，token 不会在整网固定于同一专家；专家专长更多体现在语法和 token 类型模式（如标点、数字），而非传统学科，具体因架构和训练方式而异。
• token 仍经过完整注意力机制；“3B 活跃参数”包括注意力与嵌入权重，以及被选中的 FFN 权重。
• Nemotron 3.5 Lightning 采用 Mamba-2 + MoE + Attention 混合架构。Mamba-2 层在多数层替代注意力，以固定大小循环状态承载信息，而非不断增长的 KV cache；来源称它先把路由决策压缩到更小空间，以降低路由成本。
• MoE 的关键机制是解耦：总参数决定 VRAM 占用，活跃参数决定每 token FLOPs。所有专家需同时驻留 GPU 显存，可能压缩 KV cache 空间。
• 批大小 1 解码偏内存受限，MoE 因每 token 读取更少权重字节而表现较好；批大小增大后，延迟优势收窄，但吞吐优势仍可能保持。
• 微调：Dense 全参数激活，梯度流动均匀，较简单；MoE 全量微调可能使路由器不均衡，导致某些专家更受欢迎或被淘汰。LoRA/PEFT 或冻结路由器可缓解；NeMo 为 Lightning 提供监督微调 recipe。
• 量化：先确认 checkpoint 原生精度。Mistral Small 4 原生 FP8，因此 4-bit 只再压缩约 1.7 倍（121GB → 71GB），不是 4 倍。MoE 中路由器对量化敏感；混合注意力模型中循环投影层也敏感。来源提到 recipe 会保持路由器、嵌入和输出头为更高精度；量化的 Qwen3.8-27B 构建保留线性注意力块为 BF16。
• 来源称 Nemotron 3.5 Lightning 完全开放 weights、data、recipes，可在 build.nvidia.com、OpenRouter、Hugging Face、ModelScope 获取。

主要结果或产业意义

据来源中的 Table 1（Artificial Analysis，10K-token 输入，检索日期 Aug 31, 2026；仅覆盖 NVIDIA GPU 提供商；该检索日期为未来日期，待核实）：

• Gemma 4 31B：Dense、多模态；31B 总/活跃参数；BF16 约 61GB（1×H100），4-bit 约 16GB；Artificial Analysis Intelligence Index 30；输出速度 36.9–222.4 t/s；$0.40/M 输出。
• Qwen3.8-27B：Dense、混合线性/全注意力、MTP head、多模态；27B 总/活跃参数；BF16 约 56GB，4-bit 约 14GB；Index 52；46.8 t/s；$3.00/M 输出。
• Nemotron 3.5 Lightning：MoE + Mamba-2 attention hybrid；30B 总参数、3B 活跃参数；BF16 约 60GB（1×H100），4-bit 约 20GB；Index 24；235.7–494.2 t/s；$0.22/M 输出。
• Mistral Small 4：MoE、多模态；119B 总参数、6B 活跃参数（含嵌入 8B）；FP8 约 121GB（4×H100），4-bit 约 71GB；Index 20；147.3 t/s；$0.60/M 输出。

文章称，在总参数量相近时，MoE 的稀疏激活可带来更高 token 吞吐；但 Nemotron 3.5 Lightning 的 Mamba-2 层与 speculative decoding 也独立贡献性能。高并发下，MoE 相对优化良好的 Dense 模型，其延迟优势会缩小。产业含义是：MoE 适合以显存换吞吐、运行明确步骤的 agentic 执行层；不适合单次高难度推理决定结果的场景。

为什么重要

• 模型选型不应只看参数量：总参数影响显存，活跃参数影响每 token 计算，瓶颈可能完全不同。
• MoE 把“能力/显存”与“每 token 计算”拆开，使推理服务在吞吐、成本、延迟和显存之间出现新的权衡。
• 微调与量化策略会因 Dense/MoE 架构不同而不同；MoE 的路由器与混合注意力投影层是风险点。
• 与已有机器人/VLA 卡片没有直接事实重叠；本条增量是补充底层模型架构与推理部署视角，而非重复机器人应用事实。

局限与不确定性

• 来源为 NVIDIA 技术博客，且包含 AI 生成摘要；性能数据来自其引用的 Artificial Analysis 表格，可能随硬件、精度、推理框架、模型设计和测试条件变化。
• 文章标注日期 Sep 15, 2026，表格检索日期 Aug 31, 2026；这些日期相对当前日期为未来日期，真实性待核实。
• 表中模型、分数、价格和速度是来源材料给出的结果；未在材料中独立验证。
• “专家专长更多体现在语法/token 类型模式”来自来源表述；不同架构和训练方法下是否普遍成立，待核实。
• NeMo 对 Lightning 的微调 recipe、量化 recipe 的具体效果，材料未给出完整实验细节，待核实。
• AgiBot GO-1、Tencent Hy-Embodied-VLM-1.0 被来源称为物理 AI 工作负载的流行选项；流行度与适用性待核实。

可用于图书/PPT/简报的角度

• 用“同排量发动机：全缸点火 vs 按需点火”类比 Dense 与 MoE。
• 一页对比：总参数=显存，活跃参数=每 token 计算；MoE 用固定显存换可变计算。
• 案例页：Nemotron 3.5 Lightning 30B/3B 与 Gemma 4 31B、Qwen3.8-27B、Mistral Small 4 的吞吐、价格、能力指数对比。
• 部署决策树：显存预算 → 并发需求 → 微调计划 → 量化兼容性 → 选择 Dense 或 MoE。
• 风险提示页：MoE 路由器微调失衡、路由器/循环投影量化敏感、专家全驻留挤压 KV cache。
• 业务取舍：高吞吐、明确步骤的 agentic 执行层 vs 单次高难度推理。

原始材料

• 英文标题：Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose Each
• 来源：NVIDIA Technical Blog
• 作者：Sophia Abbassi
• 发布日期（来源标注）：Sep 15, 2026（待核实）
• URL：https://developer.nvidia.com/blog/dense-vs-moe-models-active-parameters-throughput-and-when-to-choose-each
• 英文关键词：Dense models, Mixture-of-Experts, MoE, Active Parameters, Throughput, Nemotron 3.5 Lightning, Mamba-2, routing, router, quantization, fine-tuning, concurrency, memory budget, inference
• 文中涉及模型/产品：Nemotron 3.5 Lightning, Gemma 4 31B, Qwen3.8-27B, Mistral Small 4, NeMo, AgiBot GO-1, Tencent Hy-Embodied-VLM-1.0