AI圈报
论文研究普通

通过位置选择性自蒸馏从语言反馈中训练 LLM 评判模型

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Training LLM Judges from Language Feedback via Position-Selective Self-Distillation

内容摘要

研究提出基于熵位移的位置掩码方法,从自然语言反馈中训练 LLM 评判模型,通过保留熵位移分布低尾位置来区分"上下文锐化"与"上下文扩散"两种机制。实验显示,掩码高熵位移位置可提升分布外泛化能力,所得自蒸馏评判模型在主观任务子类上比 GRPO 等结果监督 RL 方法高出 2-9 个百分点,在客观任务上保持竞争力。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-d7f7bdeaf1c547304bebe525