AI圈报
论文研究普通

MOPD-Router:多教师在线蒸馏中的令牌级路由新框架

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:MOPD-Router: Rethinking Teacher Routing in Multi-Teacher On-Policy Distillation

内容摘要

针对多教师在线蒸馏(MOPD)中依赖提示词级领域标签进行硬路由的局限,研究者提出 MOPD-Router 框架。该框架无需领域标签或独立路由模型,即可在每个令牌级别对全教师池的监督信号进行路由。其中提出的 ExpertAlign 指标通过评估教师纠正是否体现其专业化能力来加权信号。实验显示,ExpertAlign 在无标签和有标签数据的四种设置下均取得最佳性能,相比均值聚合提升显著,证明了令牌级路由能有效利用跨域互补监督。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-31568b04bb5a1d01538510f2