Aleph Alpha 开源 Kolibri 1:78B MoE 主权开放权重,德英双语 1M 上下文

德国 AI 公司 Aleph Alpha 10 月 3 日放出 Kolibri 1 的开放权重,官方博文把发布时间写在德国统一纪念日这一天。模型是英德双语的 MoE 推理模型:总参数 78B(78,103,074,560)、每 token 激活 3.46B,支持最长 1,048,576 token 上下文(官方建议服务时不超过 262,144),显式推理模式与工具调用都支持,许可 Apache-2.0。权重精度是 128×128 分块的 float8_e4m3fn,激活动态量化,MoE 路由器、embedding、LM head 与归一化层保留 bfloat16——这是一套为推理成本设计的选择,不是简单的量化转存。
训练规模写在模型卡的 Model overview 表里:预训练用了 20 万亿 token 的双语句料(约 62.5% 英文、23.9% 德文、13.6% 代码),之后另有 3.44 万亿 token 的中期训练与 2010 亿 token 的长上下文扩展;架构为 50 层 MoE、4:1 的滑动窗口注意力与分组查询注意力。知识截止时间英文与德文都是 2026 年 6 月 18 日。
评测部分是这条发布最实的部分。后训练总评 Kolibri 1 英文 75.5、德文 70.8,而同表里的 30B-A3B 基线(GLM-4.7 Flash 30B-A3B 64.7/50.4、Nemotron 3 Nano 65.6/59.3、Qwen3.5 35B-A3B 74.7/69.8、Qwen3.6 35B-A3B 71.4/67.3)明显更低;官方给的对照是 Kolibri Origin 这个自研前代,英文 54.1、德文 46.4。数学平均英文 96.5、德文 88.8,AIME 2026 英文 96.0。
评测表把密集模型整体置灰且不打标记——官方写明原因是密集模型每 token 激活的参数是 MoE 的数倍,这个口径限定了上面那些比较能说明什么。有几项 Kolibri 1 并不领先:MMLU-Pro CoT 英文 80.0 低于 Qwen3.5 35B-A3B 的 84.6,GPQA Diamond 德文 81.3 低于 Qwen3.5 的 84.2,TerminalBench 2.1 为 27.7 而 Qwen3.5 为 39.7。官方自评里带负面的一项是 AA-Omniscience 非幻觉率——Kolibri 1 为 44.0,同表 GLM-4.7 Flash 为 56.7、Qwen3.6 为 62.7。
部署侧:模型内存占用约 78GB,最低需要 2× A100 80GB、2× H100 SXM5、1× H200、1× B200 或 1× B300,推荐 2× H100 SXM5。HF 上是两个仓——Aleph-Alpha/Kolibri-1(量化版,建仓 2026-10-02T05:54Z)与 Kolibri-1-BF16(建仓 2026-10-02T08:08Z),后者的 README 里 base_model 指向自己。官方技术报告 PDF 同步放在官网 downloads 下。