i14 发 Sugar Glider 120B：百万上下文只占固定内存，单机吞吐 32 倍
澳大利亚公司 Intelligent Silicon（i14）10 月 20 日发布 Sugar Glider 120B：120B 稀疏 MoE、12B 激活、100 万 token 上下文。它改的不是参数量，是注意力。自研的 Cerbearus 架构把已读内容压进一个固定大小的循环状态，逐 token 更新，于是内存占用与单 token 计算量对上下文长度都是 O(1)——读到第 100 万个 token 时占用的内存，和读第一个 token 时一样多。
官方给出的关键数字有三组：100 万 token 时 RULER 13 项合计 73.3 分，称是「所有 O(1) 类模型里最高」；同一台服务器上，它能承载的百万 token 请求数是对比基座模型的 32 倍，四张 H100 上是 36 倍。状态大小是运行时参数而非训练期常量，同一套权重可以在内存紧张处用小状态、宽裕处用大状态，部署方不必为每个显存预算各留一份模型。
模型不开源：走 i14 云、客户 VPC 或本地部署，目前需申请等待名单，技术细节在白皮书里以 Cerbearus-120B 之名给出。同日 AWS 博客披露同门 3B 模型 Laplace 3B 在 Trainium2 上用原生 PyTorch 完成训练与推理（单序列状态 29.5 MB、1,280 并发下每秒 11,544 个输出 token）。它真正动摇的是「长上下文成本随长度线性上涨」这个默认前提：若这类架构站得住，价格锚点会从 KV cache 容量变成一块固定内存。
原文链接：i14 官方发布页
核验记录
i14.ai 是纯客户端渲染站点：/news/sugar-glider-120b 裸 HTML 仅 2,206 字节、正文命中 0，渲染后内容经 r.jina.ai 取得（3,547 字符）。发布日期两处一手互证：官网 /news 列表项写「Release 20 October 2026」，同一站的 JS 包（/assets/index-Y-sAoXB3.js）里该 slug 的字段为 date:'2026-10-20'；同日 AWS Machine Learning 博客（pubDate Tue, 20 Oct 2026 21:14 GMT、页内可见 20 OCT 2026）发布同门 Laplace 3B 的训练与部署记录。120B/12B 激活取自官网 /models 表格；73.3、32 倍、36 倍、4×H100、29.5 MB、120k tok/s、11,544 tok/s、1,280 并发均逐字取自官网正文或 AWS 博文。白皮书 PDF（/papers/cerbearus-whitepaper.pdf，201,736 字节）存在，但本机无 PDF 解析库，未直读其内容——文中数字全部来自 HTML 文本，不来自 PDF。权重未放出：HF api/models?search=cerbearus 返回 0 条，sugar-glider 仅命中一个无关的 2022 年 Stable Diffusion 仓库。官方口径的「O(1) 模型里最高」与吞吐倍数均为厂商自测，本轮未见第三方复现。配图 https://i14.ai/og-image.png 裸请求与带站内 Referer 双向 200（PNG 1200×630，28,179 字节）。