微软完成 MAI-Base-2 预训练:2.8T 总参只激活 80B,称预训练效率比 DeepSeek-V4-Pro-Base 高 4 倍以上

10 月 15 日,微软 AI 公布自研基座 MAI-Base-2 的预训练结果:一个 2.8 万亿总参、800 亿激活参数的 MoE 基础模型,规模大于今年 6 月 MAI-Thinking-1 所用的 MAI-Base-1。官方称该模型在其留出评测上超过所有被测的开源权重模型(含总参超过 1 万亿的同类),并给出一个效率口径——达到 DeepSeek-V4-Pro-Base 同等性能所需的预训练算力,MAI-Base-2 只要 1/4.2 到 1/12.3。
训练侧披露得比多数厂商更细:整个预训练在 1.6 万块 GB200 上跑了 38 天(2026 年 8 月至 9 月),平均 MFU 21%、goodput 89%(MFU 按 GB200 的 BF16 峰值 2.5 PFLOPS 归一,不含重算与优化器算力)。官方把提升归因于三件事:面向重复训练数据的 scaling ladder 与超参缩放律、MoE 与 Muon 的实现改进加激活梯度裁剪、以及扩大的数据管线并首次纳入视觉数据。
需要分清的是,这一条是「预训练完成」而非「模型已可用」:微软没有公布权重,也没有说会开源,官方对后训练只说「结果即将公布」。所以「强于所有被测开源权重模型」目前是厂商在自家留出集上的自述口径,本站未做独立复现;它对开源阵营的直接含义是——3 万亿参数级基座的门槛又多了一家自研选手,且这家把效率叙事放在了参数规模之前。
原文链接:Microsoft AI 官方博客
核验记录
定日:官方页 microsoft.ai/news/frontier-pre-training-at-microsoft-ai/ 本机直读 933,593 字节,JSON-LD `datePublished 2026-10-15T16:09:01+00:00` + 页内可见 `October 15, 2026` 双证(dateModified 16:15:27,同一小时内)。数字(80B 激活 / 2.8T 总参、4.2–12.3x 与 6.3–12.7x FLOPs 效率、16k GB200 / 38 天、MFU 21% / goodput 89%、BF16 峰值 2.5 PFLOPS)逐项取自页内正文;一手 URL 先由 Techmeme 261015/p59 的标题与 Mustafa Suleyman 帖定位,再回 microsoft.ai 站点自身列表页取真实 href(未按 slug 猜路径)。⚠ 四处未被本站独立验证:① 「outperforms every open-weight model we tested」是厂商自家留出集口径;② FLOPs 效率为拟合曲线外推(官方自述把 MAI-Base-2 终点纳入拟合);③ 官方站给的是结果叙述 + 图,本轮未读其 PDF 附图数据;④ 权重与后训练版本均未放出,页内用词是 pre-training completed。配图取官方 og:image,WebP 1,020×620、151,832 字节,裸请求与带站内 Referer 双 200。
← 上一篇IBM 开源 Granite Switch 4.1:30B 基座加两个适配器,一个端点里切换聊天、决策与语音转写下一篇 →Simons 基金会联合 Anthropic、OpenAI 投 1500 万美元,帮数学界立 AI 评估标准