论文研究普通
S²D-OPD:按 JSD 筛选状态的选择性蒸馏监督
原始标题:Not Every Token Is Worth Distilling: Selective Supervision for Direct-OPD
内容摘要
针对 Direct-OPD 的 token 级 log-ratio 只衡量相对变化、在概率质量消失时仍可能不变的缺陷,研究者提出 S²D-OPD,按教师参考 JSD 对学生采样状态排序,屏蔽低散度状态的监督,每条回复只保留前 10% 状态。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-5a7237603afe00202524810d