Hugging Face 发 tokenizers v1 RC：以比特流替换正则预切分，吞吐常达 v0.23 的数十倍
9 月 21 日，Hugging Face 发布 tokenizers v1 的发布候选：核心变化是用比特流替代正则预切分，加上词缓存与更紧的合并循环，自述吞吐相对 v0.23「常快数十倍」，而产出的 token ID、API、词表与合并秩完全不变——旧模型照加载，结果逐位一致。基准套件 tokbench 一并开源，读者可在自己硬件上复跑。
这篇博客的罕见之处在于它把功劳还给了生态：作者点名 gigatoken、tiktoken、kitoken 等一批竞品库，说明多个「别人证明值得做」的优化被吸收进来；IBM、NVIDIA 与 ExecuTorch 团队参与了跨硬件测试。十族被测模型里八族走 BPE，这正是新预切分方案收益最大的区域。
它改变了什么：模型推理越来越快之后，分词这一层在长上下文与高并发场景开始「饿住」GPU——训练数据吞吐、服务时延都会被它卡住。v1 把分词从「够用就行」推进到「跟随工作负载扩展」，对大规模训练与推理服务的隐性成本是直接削减。边界：官方给的是相对倍数与图表而非逐项表格，具体到各语言/各模型的倍数需要用 tokbench 实测；库仍保持通用而非 BPE 专用。
原文链接：Hugging Face 官方博客
核验记录
日期核法：官方博客页直读「Published September 21, 2026」，RSS 同条目同日；博客自述 v1 产出与 v0.23 完全一致的 token ID、十族模型八族走 BPE、以比特流替代正则预切分。**未读过的一环**：博客正文给的是相对倍数（often by tens of times）与图表，未逐项抄录各语言/各模型倍数；「数十倍」来自博客自述口径，官方图表数据点未读。
← 上一篇阿里云百炼上线 Qwen3.8-Omni-Flash-Realtime：实时音视频交互，支持多通道音频与远程 MCP 工具调用下一篇 →AWS Strands 团队开源 Strands harness：通用智能体骨架一条命令跑，六项基准省 28% token