Ai2 的字节级模型 Bolmo 登上 Nature：把 Qwen3 与 Llama3 8B 直接「字节化」

Ai2（Allen Institute for AI）10 月 7 日宣布，Bolmo 这一族完全开放的字节级语言模型背后的研究已在 Nature 发表，同时放出新检查点，把底层方法从作为起点的 Olmo 模型推广到其他模型家族；另外开源了 Stage 1 检查点，这一版冻结原全局模型、只训练新增的字节级组件，让研究者有个更省事的起点去试改架构。

方法上的关键叫 byteifying：主流模型靠固定词表把文本切成子词块，遇到拼写、生僻串、罕见词或映射不干净的文字就会变脆，字节级模型直接处理字节，不绑固定词表；但历史上要让字节级追上子词级，得从头训练。Bolmo 的做法是用一段较短的追加训练，把已经能干的子词模型转成字节级——先用它从 Olmo 做出 Bolmo 1B 与 Bolmo 7B，官方称这是首批在广泛任务上与强子词模型有竞争力的完全开放字节级模型。Nature 论文里把同一流程套到 Qwen 3 8B 与 Llama 3 8B 上，得到 Bwen 8B 与 Blama 8B，两者都接近各自来源模型，且 Bwen 8B 是迄今最强的字节化模型、在官方聚合评测上超过 Bolmo 7B。

它改变了什么：这条线把「换文本表征」的成本从「重训一遍」降到「加一段短训练」，开源社区可以拿现成的强模型直接转成不依赖固定词表的版本，官方也把这条路写成未来跨语言、跨模态统一表征的基础（字节本身不止于文本）。边界要写清：新模型对各自来源模型是「接近」而非超过，本机未直读 Nature 论文正文（本篇日期取 Ai2 官方博客的发布日，不是 Nature 上线日），新检查点也未逐仓核对，全部数字来自 Ai2 官方博客自述。

原文链接：Ai2 官方博客