小米官宣 MiMo-V3 换全新架构：HySparse 2 把 1M 上下文的预填充砍掉 5 倍

9 月 23 日，小米 MiMo 大模型负责人罗福莉官宣 MiMo-V3 将采用全新架构，其核心 HySparse 2 当日发布：在 1M（100 万）token 长度下，预填充计算量（FLOPs）降低 5.02 倍，KV 缓存缩小 4.5 倍，MRCRv2 与 RULER-v2 长文检索分更高，AgentPPL 与 LongPPL 更低。

技术要点有二：KV 桥接（KV Bridging）遵循 YOCO 思路，交叉解码器中的全注意力层直接用自解码器的隐藏状态构建 K/V；KV 重用（KV Reuse）让混合块内的稀疏层复用上一层全注意力的 KV 缓存与选择索引。另外用 Token 级选择替代块级选择、用近期 token 强制窗口替代独立 SWA 分支，让本地与全局 token 共享同一份 KV 缓存。

它改变了什么：智能体工作负载把「预填充成本 × KV 缓存 × 检索准确率」同时压上关键路径——每一轮交互都可能带入需要重新预填充的长观察结果，HySparse 2 是国产厂商第一次为这个三难问题做专门架构设计，而不是在现有注意力上打补丁。边界：目前发布的是架构与论文，MiMo-V3 本体模型未发，性能承诺有待实机验证。

原文链接：IT之家 / arXiv