通过语音基础模型中的语言选择性维度检测语言切换

本文提出一种轻量方法，利用预训练语音编码器的帧级语言信息直接从语音中检测语言切换，Whisper-small 编码器在 CS-FLEURS 数据集上实现 14 组语言对的平均 F1 分数 0.798。该方法无需依赖多语言转录，通过单语录音识别语言选择性隐藏状态维度并聚合帧级激活值进行预测。研究显示预训练语音编码器已包含识别语言切换所需信息，为构建更具代表性的多语言语料库提供工具。