百度开源 ERNIE 5.5 Flash Base：280B MoE 基座，同尺寸 SOTA

百度文心 11 月 5 日开源 ERNIE 5.5 Flash Base：稀疏 MoE 语言模型，总参数 280B、每 token 激活 14B，在 33.5T token 上从零完成预训练，最长训练上下文 128K、微调与推理支持 1M token。官方称在知识、推理、数学、代码、多语言、长上下文等多个基准上取得同尺寸 SOTA，超过 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 等。

本次发布的是预训练终点权重（未经中训练与后训练），可作为领域适配、指令微调与强化学习研究的共同起点；官方表示后训练版 ERNIE 5.5 Flash 将随后推出。训练采用 Muon 优化器与 FP8 混合精度，语料覆盖网页、代码（含 commit/issue/PR/代码评审/CI 验证修复）与长文三类。

权重已上架 Hugging Face（baidu/ERNIE-5.5-Flash-Base）；HF 仓 10 月 21 日建库、11 月 5 日更新。

原文链接：百度文心官方