论文研究普通
Six Layers Less:Whisper 编码器剪枝与无标签恢复方法
原始标题:Six Layers Less: Encoder Pruning for Whisper with Label-Free Recovery
内容摘要
研究者提出按"留一法"对 WER 影响排序来剪除 Whisper 编码器层,去掉影响最小的 6 层,占编码器堆栈的 18.5%,剪枝后模型无需自定义推理代码。再用无标签单语语音数据蒸馏恢复性能,四种语言平均 WER 从零样本剪枝的 21.9% 降至 20.1%,基线为 18.2%。代码与剪枝模型已开源。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-1506965dea00c2b399445e4c