论文研究普通
D^3-MOPD:面向高效多教师蒸馏的自适应动态域调度
原始标题:D^3-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation
内容摘要
D^3-MOPD 提出一种零开销调度器,利用训练中已有的逐域反向 KL 信号在线调整数据混合比例,解决固定混合在域收敛速率差异下的算力浪费问题。在 Qwen3.6-35B-A3B 学生模型从四个域专家教师蒸馏的实验中,该方法将平均学生-教师性能差距缩小 97%(vanilla MOPD 为 63%),以约 3 倍更少的 rollout 步骤达到相同峰值性能,并在七项基准中三项超越专家教师。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-c73e729d10dcba0bc1928f1f