Compressing Streaming Neural Audio Encoders via Latent-Space Distillation

通过潜在空间知识蒸馏压缩流式神经音频编码器，研究提出仅以教师模型的每帧潜在表示为监督目标，无需微调即可在五个教师-学生对中保持1.9%相对词错误率（WER）以内，且优于相同容量的独立训练编码器3.9%。该方法适用于单独预训练的编码器和与语言模型联合训练的编码器，仅需训练学生编码器并使用单个仿射层吸收宽度差异。研究还提出了一种基于计算预算分配的蒸馏扩展定律，以优化教师和学生的计算资源分配。