苹果用「蒸馏到隐层」压流式语音编码器：2.8 倍压缩后，词错率只差 1.9%

苹果的系统级听写在设备上完成，语音要经一个 tokenizer——把短波形窗映射成语言模型读取的表示——才能到达基础模型。由于基础模型在 Instruction-Following Pruning 下稀疏激活，任一时刻只有少数专家驻留 DRAM，常驻的 tokenizer 与之争抢同一块内存，其参数量直接决定功耗与延迟。

这项工作研究如何蒸馏压缩这样的 tokenizer，监督目标既不是离散 token 也不是输出分布，而是模型实际消费的量化前隐层——两种 token 接口共享的最后一个表示。因为目标位于量化器与语言模型桥接之前，同一套配方可同时覆盖两种接口，对单独预训练的 tokenizer 和与语言模型联合训练的 tokenizer 都适用。训练时只更新学生编码器，以平方误差回归教师的逐帧隐层，用单个仿射层吸收师生宽度差。

结果是：2.8 倍压缩下，蒸馏学生在六组师生配对中的五组与教师的相对词错率差距在 1.9% 以内且无需任何微调；相较同等容量的独立训练 tokenizer，改进 3.9%。

原文链接：Apple Machine Learning Research