百度文心开源 ERNIE 5.5 Flash Base 基座模型 总参数 280B

11月6日，据报道，百度文心大模型发布 ERNIE-5.5-Flash-Base，开放 ERNIE 5.5 Flash 预训练终点的权重。这是一个稀疏 MoE 语言模型，总参数 280B，每 token 激活 14B，在 33.5T tokens 上从零完成预训练，最长训练上下文 128K，微调与推理支持 1M tokens 上下文。

本次发布的权重未经中训练与后训练，可作为领域适配、指令微调和强化学习研究的共同起点。官方表示，经过后训练的 ERNIE 5.5 Flash 将随后推出。训练采用 Muon 优化器与 FP8 混合精度，预训练语料覆盖网页、代码与长文三个方向。评测方面，官方在 30 项 Benchmark 上对同等规模 Base 模型 DeepSeek-V4-Flash-Base、Hy3-preview-Base 与 MiMo-V2.5-Base 做了对比，长上下文维度上 43 层中 37 层在 128 倍压缩序列上做注意力，6 层 MLA-DSA 已足以支撑细粒度检索。