AI圈报
论文研究普通

超越教师分配:领域归一化多教师同策略蒸馏(DN-MOPD)

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation

内容摘要

针对多教师同策略蒸馏(MOPD)中指令跟随反馈的离散度是数学反馈的数倍、从而主导学生更新的问题,研究者提出领域归一化 MOPD(DN-MOPD),按各领域实测离散度重新缩放反馈。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-b019472d4b151e06f4c52427