论文研究精选
Thinking Machines Lab 提出 On-Policy Distillation:以 RL 约 1/10 的成本达到相近性能
原始标题:On-Policy Distillation
内容摘要
Thinking Machines Lab 发布博客介绍 on-policy distillation 方法,从学生模型采样轨迹并由教师模型对每个 token 按 reverse KL 打分,结合了 on-policy 训练的相关性与蒸馏的密集奖励信号。
内容分类AI 论文与研究
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Thinking Machines Lab:官方博客(RSS)
站内情报编号intel-778b38407e54bf0e99cbb159