AI圈报
论文研究普通

选择多样化的 SFT 轨迹可提升后 RL 泛化能力

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Selecting Diverse SFT Traces Improves Post-RL Generalization

内容摘要

一项研究提出用轻量级规则指纹筛选 SFT 数据中的"推理路径多样性",即推理步骤序列的差异。在合成实验中,路径多样化的 SFT 让 OLMo3-7B 在 SFT 未见过环境上的 pass@8 提升 16.9 分;单模型条件下,跨 10 个数学基准的平均 pass@8 最高提升 6.2 分。该仅用 CPU、无需模型调用的选择器在 3 个开源语料上均优于更昂贵的替代方案。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-c9c25e47ebc859b073ce3ecf