论文研究普通
同族同策略蒸馏的缩放规律:弱到强、同基座与强到弱教师-学生设置研究
原始标题:Scaling Properties of Same-Family On-Policy Distillation
内容摘要
研究揭示同策略蒸馏(OPD)在弱到强、同基座、强到弱教师-学生设置中的缩放规律:早期训练中,留出准确率(gold score)随学生初始化 token 级反向 KL 散度平方根近似线性上升,形成"有效迁移"区间。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-e5fbf2ba141378baf999ffd3