Moondream 发 Parakeet Redux 与 Ultra：三值权重压到 178MB，CPU 上 113 倍实时识别

9 月 22 日，Moondream 在官方博客发布两款语音识别模型 Parakeet Redux 与 Parakeet Ultra。两者都基于 NVIDIA 的 parakeet-tdt-0.6b-v3，架构与分词器不变，支持 25 种语言的自动语音识别；差别在走法：Redux 压权重，Ultra 保精度再训练。

Redux 把编码器权重压成 -1、0、+1 三个值（三值量化），体积从 1.2GB 降到 178MB。因为 CPU 与 Apple Silicon 上推理瓶颈常是内存带宽，权重变小同时也更快：在 8 核 AMD EPYC 9575F 上达到 113 倍实时，官方称是同类最快 parakeet.cpp 的 2.5 倍；MacBook Air 的 M2 CPU 为 38 倍、GPU 43 倍。代价是精度——官方称英文上与原始模型差距在 0.3 WER 以内，25 语种上反而更好。

Ultra 保留全精度权重，靠继续训练把准确率顶上去：Open ASR Leaderboard 的 7 个英文集 WER 从 6.26 降到 5.80，25 语种的 FLEURS 从 11.62 降到 9.55，并称在背景噪声与长音频上提升明显。它改变了什么：端侧语音识别出现两条可复制的路径——用极低比特权重换 CPU 吞吐，或用后训练换准确率，而两者共用同一基座与自家推理引擎 Photon。边界：吞吐与 WER 数字均来自官方博客与模型卡，本条未独立复现。

原文链接：Moondream 官方博客