Mirendil 首发 Fern 0.1：从零预训练的 10M 上下文模型，检索撑住、推理掉队

Mirendil 发布首个模型 Fern 0.1：从零预训练的基座，参数区间 0.1–0.5T，上下文最长 10M token——官方换算约 23MB 代码、50 万行，或数十到数百条完整 agent 轨迹。它的论点是「上下文是第二条扩展轴」：参数量买静态知识与推理步数，窗口买任务内信息。定位很窄也很明确：给做 AI 研发的人审计训练数据、从日志里 debug 训练、通读 agent 轨迹。

证据分两层。第一层是 next-token 预测：在自己仓库拼成的 42.9MB 流上，Fern 的 bits-per-byte 从 32KB 窗口的 0.2456 一路降到 23MiB（约 10.2M token）的 0.1552；但同窗口下它不是更好的预测器——1M 字节窗口时 Kimi-K3 是 0.1400、Fern 0.1647，Fern 的优点是曲线在别人停下之后还在往下走。第二层是 RULER：32K 到 10M 六个档位，单针检索全部 100%，多键检索在 10M 时降到 90%；而多跳问答从 65% 单调掉到 45%（10M 档只有 20 个样本）。检索能力与推理能力，在同一张表上分开了。

编码类任务上差距很明显：DeepSWE v1.1 44.2（Beam 43.3、Kimi-K3 67.3、Claude Opus 5.5 74.2），SWE-Bench Verified 73.4、SWE Atlas Codebase QnA 53.2，但 Terminal Bench 4.0 只有 6.1%，同表 Opus 5.5 是 66.4%。所以它不是「更强的编码模型」，而是「能把整个仓库塞进窗口、并在里面找得到东西」的模型。官方说 Fern 0.1 只是短周期后训练的结果，两个更大规模（0.5–2T、2–10T）仍在预训练，当前只有 early access 申请，没有权重也没有 API。

原文链接：Mirendil 官方页