Ai2 发 Olmo-core 3：开源 MoE 训练栈称能撑到万亿参数
Allen AI 10 月 1 日发布 Olmo-core 3——重写过的开源大模型训练框架，卖点是把混合专家（MoE）模型的训练规模推到万亿参数级，同时保住计算效率；技术报告、代码与一个可交互的演示页一起放出。官方给的实测是：把专家池从 8 扩到 128，而每个 token 仍只选 4 个专家，激活参数稳定在约 3.2B，总参数容量从 4.6B 涨到 47B；训练吞吐下降不到 5%。同一套基础设施还在超过 1 万亿总参数上跑过基准。
改动主要在并行策略：上一代 MoE 实现用完全分片数据并行（FSDP），每个小批次都要把权重收集起来再重新分片；Olmo-core 3 换成基于分布式数据并行（DDP）的方案，让专家常驻在 GPU 上、把数据路由过去，省掉反复搬运。这条线可以追溯到 OlmoE（64 个路由专家），而 Olmo 3 本身是稠密架构，训练栈是围绕稠密模型搭的；Olmo-core 3 是这套栈第一次真正按 MoE 的通信与显存特性重做，官方称它是下一代 Olmo 的核心系统之一。
边界要写清：这是训练框架，不是模型——仓库里没有新的模型权重，官方也没给出任何模型级的能力对比，因此它不进本站的模型时间轴。它值得收的理由是另一件事：把「训练出万亿参数 MoE」所需的那套系统也开源了，降低了小实验室复现的门槛。
原文链接：Allen AI 官方博客
核验记录
Hugging Face 博客 huggingface.co/blog/allenai/olmocore3 直读 200 / 117,627 字节，页内可见 Published October 1, 2026，作者署名 Ai2Comms；文末技术报告链接指向 allenai.org/papers/olmocore3、代码指向 github.com/allenai/olmo-core（本机未逐一打开，故只以 HF 博客页的内嵌链接为准）。数字（8→128 专家、每 token 4 个、约 3.2B 激活、4.6B→47B 总参数、吞吐降幅 <5%、超 1 万亿总参数基准）逐项取自博客正文段落。⚠ HF 博客的 pubDate 为 Thu, 01 Oct 2026 15:01:43 GMT（RSS 交叉），与页内可见日期一致；未直读 allenai.org 的技术报告 PDF。配图 cdn-uploads.huggingface.co/…gZSxRv34VBkkUCXDoq7UE.png 裸请求与带站内 Referer 各一次均 200 / 408,618 字节 PNG 2048×1463。