AI圈报
论文研究普通

用在线蒸馏缓解长度缩放税:Length Self-Distillation(LSD)方法

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Mitigating the Length-Scaling Tax with Online Distillation

内容摘要

针对 RL 后训练中已解出问题回答变得冗长的"长度缩放税"(LST),研究者提出 Length Self-Distillation(LSD),将已解出的提示词路由到 on-policy 蒸馏,未解出的仍保留原 RL 目标,并以在线策略的指数移动平均作为教师,无需外部模型。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-2c0dfd86ce93b2c69403c795