百度于 2026 年 11 月 5 日在文心 ERNIE 博客发布 ERNIE-5.5-Flash-Base 开源权重。官方描述为稀疏 MoE 语言模型：总参数 280B，每 token 激活 14B，在 33.5T tokens 上从零预训练。训练上下文最长 128K，微调与推理支持 1M tokens 上下文。
本次放出的是预训练终点 checkpoint，未经中训练与后训练。百度称其可作为领域适配、指令微调与强化学习研究的共同起点，并表示经过后训练的 ERNIE 5.5 Flash 将随后推出，但未给出日期。
关键事实
| 项目 | 内容 |
|---|---|
| 发布时间 | 2026 年 11 月 5 日（百度 ERNIE 博客） |
| 架构 | 稀疏 MoE；43 层（1 稠密 + 42 MoE） |
| 参数 | 总参数 280B；每 token 激活 14B |
| 预训练 | 33.5T tokens；Muon 优化器；FP8 混合精度 |
| 上下文 | 训练最长 128K；微调与推理 1M |
| 权重 | Hugging Face / ModelScope；FP8 与 BF16 safetensors |
| 阶段 | 仅预训练终点（无中训练/后训练） |
| 许可证 | ERNIE 5.5 Flash Base Model License Agreement v1.0 |
百度公布的同套评测对照 DeepSeek-V4-Flash-Base（284B-A13B）、Hy3-preview-Base（295B-A21B）、MiMo-V2.5-Base（310B-A15B）。在其表格中，ERNIE 在多项考试、理科、代码与长上下文条目上领先。例如官方表：MMLU 93.3、MMLU-Pro 78.4、HumanEval+ 82.3、LiveCodeBench 40.1。上述为百度数字，发稿时未见独立第三方复现。
背景
官方称 ERNIE 5.5 Flash 采用混合注意力（多数层 Heavily Compressed Attention，少数层 Multi-head Latent Attention 加稀疏注意力）、Multi-Router Latent MoE（每层 512 路由专家 top-10 加 1 共享专家），并称训练系统与结构协同设计。Hugging Face 模型卡在参数、激活量、预训练 token 与上下文长度上与博客一致。
IT之家、智东西等同日报道复述了上述核心规格。推理侧指向 SGLang 与带百度插件的 vLLM。
尚待确认
- 后训练版 ERNIE 5.5 Flash 的具体发布日期
- 百度统一评测管线之外的独立基准复现
- 自定义许可证对大型商业部署的实际适用边界