苹果把流式神经音频编码器压到 2.8 倍：蒸馏目标放在量化器之前，学生模型几乎不用微调

9 月 24 日，苹果机器学习研究博客发布《Compressing Streaming Neural Audio Encoders via Latent-Space Distillation》。核心设计是把蒸馏目标放在**量化器之前、也在语言模型桥之前**——因为目标是先于两者存在的，这样一套配方就能同时覆盖他们支持的两种 token 接口，而且既适用于单独预训练的 tokenizer，也适用于与语言模型联合训练的 tokenizer。作者名单里出现了 NVIDIA 与 Anthropic 的贡献者，另有标注为在苹果期间完成的工作。

官方数字：2.8 倍压缩下，蒸馏出的学生模型在六组师生配对中的五组里，相对 WER 与教师相差不超过 1.9%，且全程不做微调；相比一个同容量的独立训练 tokenizer，改进 3.9%（相对值）。这解释了为什么是「几乎不用微调」——难点在教师-学生宽度不匹配，而他们选择在潜空间里解决。

这条属于训练方法而非模型发布：文章没有发布任何可下载的模型权重，所以我没有把它写进时光机（模型轴）。日期是官方 RSS 的 pubDate（Thu, 24 Sep 2026）与官方页同时确认，页面内的 2.8 倍、1.9%、3.9% 三个数字是我从官方页正文逐字读到的。

原文链接：Apple 机器学习研究博客