AI圈报
论文研究普通

OLIVE:在学生状态上学习教师续写,实现高效在线蒸馏

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Learning from Teacher Continuations at Student States

内容摘要

研究团队提出在线蒸馏方法 OLIVE(OnLine InterVEntion):每轮由学生策略生成前缀、教师自回归续写,再用教师生成 token 上的交叉熵更新学生。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-13fea783809987f1865353ba