AI圈报
论文研究精选

Thinking Machines Lab 提出 On-Policy Distillation:以 RL 约 1/10 的成本达到相近性能

信息来源:Thinking Machines Lab:官方博客(RSS)·
原始标题:On-Policy Distillation

内容摘要

Thinking Machines Lab 发布博客介绍 on-policy distillation 方法,从学生模型采样轨迹并由教师模型对每个 token 按 reverse KL 打分,结合了 on-policy 训练的相关性与蒸馏的密集奖励信号。
内容分类AI 论文与研究
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Thinking Machines Lab:官方博客(RSS)
站内情报编号intel-778b38407e54bf0e99cbb159