知识卡片：百度开源ERNIE 5.5 Flash Base，280B总参数每token仅激活14B

一句话结论

百度开源了ERNIE-5.5-Flash-Base的预训练终点权重，采用稀疏MoE架构，以280B总参数、每token仅激活14B的配置平衡模型容量与推理成本。

事件概述或研究问题

据腾讯研究院AI速递（2026年11月6日）报道，百度发布ERNIE-5.5-Flash-Base并开源其预训练终点权重。该模型为稀疏混合专家（MoE）架构，核心问题在于：如何在保持大规模参数容量的同时，控制每token的实际计算量，从而降低推理成本。

方法/产品要点

• 架构：稀疏MoE，总参数280B，每token激活14B。
• 预训练：33.5T tokens从零预训练。
• 上下文：训练上下文128K，推理支持1M。
• 注意力：共43层，其中37层采用压缩注意力，每128个token仅缓存一条。
• 专家路由：共512个路由专家，每token选择10个。
• 权重发布：FP8与BF16两版权重已上线Hugging Face；经后训练的版本将随后推出。

主要结果或产业意义

该模型以稀疏激活（280B总参数/14B激活）的方式，在开源模型中提供了较大参数容量与相对可控推理开销的组合；1M推理上下文与压缩注意力设计指向长上下文场景的部署需求。FP8与BF16双版本上线Hugging Face，便于不同硬件条件下的使用。后训练版本尚未发布，其实际能力表现待核实。

为什么重要

在开源大模型竞争中，MoE稀疏架构已成为平衡“参数规模”与“推理成本”的主流路径。ERNIE-5.5-Flash-Base以280B总参数、14B激活的配比加入这一赛道，与近期多个开源Flash级模型（如GLM-5.3-Flash的320B-A18B、MiniMax M3.1 Flash的428B-A23B）形成可比参照，进一步丰富了国产开源MoE模型的选择空间。

局限与不确定性

• 材料仅覆盖预训练终点权重，后训练版本的能力（如指令遵循、对齐水平）尚未发布，待核实。
• 材料未提供基准测试成绩、推理吞吐或成本数据，实际性能待核实。
• 压缩注意力“每128个token仅缓存一条”的具体实现细节与效果，材料未展开，待核实。

可用于图书/PPT/简报的角度

• 开源MoE模型的“总参数vs激活参数”配比趋势对比（可与其他Flash级开源模型并列）。
• 长上下文推理的工程优化手段：压缩注意力与KV缓存策略。
• 预训练权重先行开源、后训练版本跟进的发布节奏及其对社区微调的意义。

原始材料

• 来源：腾讯研究院AI速递 20261106
• URL: https://m.sohu.com/a/1097767586_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334
• 条目：三、百度开源ERNIE 5.5 Flash Base，280B总参数每token仅激活14B