AI圈报
论文研究普通

Neighborhood OPSD:用邻近参数扰动改进数学推理模型的在线自蒸馏

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation

内容摘要

研究者提出 Neighborhood OPSD(N-OPSD),通过局部参数扰动构建冻结专家池,在相同参考解上下文下提供互补的参考对齐修正,并用 MaxPeak 选锚点 token、分位数选择匹配专家,学生仍用 OPSD 的 clipped forward-KL 目标学习。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-99136176e4887f3c965062c7