AI圈报
论文研究普通

SAKI:面向同策略蒸馏的最大耦合路由教师监督方法

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:SAKI: Maximal-Coupling-Routed Teacher Supervision for On-Policy Distillation

内容摘要

SAKI(Supervision Allocation with KL-constrained Interpolation)将 KL 约束的教师引导 rollout 与最大耦合结合,按 token 级接受/纠正事件路由监督:接受位置保留采样 token 的反向 KL 监督,纠正位置直接监督教师最高概率 token。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-9bfecd09bb8aa53f281a4276