论文研究普通
研究提出 Switch Distillation:中训练阶段知识蒸馏更利于推理而非事实记忆
原始标题:Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall
内容摘要
研究发现前向 KL 蒸馏在 pre-training 阶段同时提升推理与事实记忆,但在 mid-training 阶段会拖慢事实记忆习得,同时推理仍持续提升。作者提出 Switch Distillation,以教师预测熵作为路由信号,仅在教师置信的 token 上蒸馏,其余回退到交叉熵。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-04757cec87b8cf44c874dd0c