AI 资讯聚合 · 开源生态

Aleph Alpha 开源 Kolibri 1:78B MoE 主权开放权重,德英双语 1M 上下文

海外开源生态开源权重MoEAleph Alpha · 2026-10-03 · 约3分钟 · 来源:Aleph Alpha 官方博文 / HF 模型卡
Aleph Alpha 开源 Kolibri 1:78B MoE 主权开放权重,德英双语 1M 上下文

德国 AI 公司 Aleph Alpha 10 月 3 日放出 Kolibri 1 的开放权重,官方博文把发布时间写在德国统一纪念日这一天。模型是英德双语的 MoE 推理模型:总参数 78B(78,103,074,560)、每 token 激活 3.46B,支持最长 1,048,576 token 上下文(官方建议服务时不超过 262,144),显式推理模式与工具调用都支持,许可 Apache-2.0。权重精度是 128×128 分块的 float8_e4m3fn,激活动态量化,MoE 路由器、embedding、LM head 与归一化层保留 bfloat16——这是一套为推理成本设计的选择,不是简单的量化转存。

训练规模写在模型卡的 Model overview 表里:预训练用了 20 万亿 token 的双语句料(约 62.5% 英文、23.9% 德文、13.6% 代码),之后另有 3.44 万亿 token 的中期训练与 2010 亿 token 的长上下文扩展;架构为 50 层 MoE、4:1 的滑动窗口注意力与分组查询注意力。知识截止时间英文与德文都是 2026 年 6 月 18 日。

评测部分是这条发布最实的部分。后训练总评 Kolibri 1 英文 75.5、德文 70.8,而同表里的 30B-A3B 基线(GLM-4.7 Flash 30B-A3B 64.7/50.4、Nemotron 3 Nano 65.6/59.3、Qwen3.5 35B-A3B 74.7/69.8、Qwen3.6 35B-A3B 71.4/67.3)明显更低;官方给的对照是 Kolibri Origin 这个自研前代,英文 54.1、德文 46.4。数学平均英文 96.5、德文 88.8,AIME 2026 英文 96.0。

评测表把密集模型整体置灰且不打标记——官方写明原因是密集模型每 token 激活的参数是 MoE 的数倍,这个口径限定了上面那些比较能说明什么。有几项 Kolibri 1 并不领先:MMLU-Pro CoT 英文 80.0 低于 Qwen3.5 35B-A3B 的 84.6,GPQA Diamond 德文 81.3 低于 Qwen3.5 的 84.2,TerminalBench 2.1 为 27.7 而 Qwen3.5 为 39.7。官方自评里带负面的一项是 AA-Omniscience 非幻觉率——Kolibri 1 为 44.0,同表 GLM-4.7 Flash 为 56.7、Qwen3.6 为 62.7。

部署侧:模型内存占用约 78GB,最低需要 2× A100 80GB、2× H100 SXM5、1× H200、1× B200 或 1× B300,推荐 2× H100 SXM5。HF 上是两个仓——Aleph-Alpha/Kolibri-1(量化版,建仓 2026-10-02T05:54Z)与 Kolibri-1-BF16(建仓 2026-10-02T08:08Z),后者的 README 里 base_model 指向自己。官方技术报告 PDF 同步放在官网 downloads 下。

原文链接:Aleph Alpha 官方博文 / HF 模型卡

核验记录
日期三证:HF 模型卡 Model overview 表内 Release Date 字段写 3rd of October 2026;官方博文 https://www.aleph-alpha.com/en/blog/kolibri-has-landed-a-sovereign-open-weight-model/ 正文署名行写 03/10/2026(德式日/月写法,与 10 月 3 日一致);HF 权重仓 createdAt 2026-10-02T05:54:02Z 与 BF16 仓 08:07:59Z。注:该博文页无 JSON-LD datePublished,日期取自正文可见署名与模型卡字段。78B/3.46B/1M 上下文/Apache-2.0/20T+3.44T+201B 训练量、全部评测数字逐项取自 https://huggingface.co/Aleph-Alpha/Kolibri-1/raw/main/README.md(237,193 字符)的 Model overview 与 Evaluation 表。配图取自官方博文页 og:image(1200x413 JPEG),裸请求与带 Referer 各测一次均 200。**未读到新闻稿**:Aleph Alpha 官网 /news 列表页与 /blog 列表页在本轮抓取中均未返回带日期的条目体(正则命中 Kolibri 15-21 次但日期命中 0),未逐页回读,故日期不取自新闻稿。官方同时在 10 月 2 日宣布与 Cohere 组成跨大西洋主权 AI 方案,属商业事件,按时光机边界不收。 10-15 巡检发现原 astro 配图已 404(三条通路均 404),改用站方 /kolibri 页声明的 og:image(JPEG 64,352 字节,裸请求与带站内 Referer 双 200);该页博客 slug 未定位到单篇封面,故取站点级 og:image。