论文研究普通
NVIDIA 论文提出在首个让测试通过的编辑处评估 base 模型,预测编码智能体后训练表现
原始标题:New Nvidia paper shows scoring base models on every step of an agent run works worse than scoring them only on the edit that first makes ...
内容摘要
NVIDIA 论文提出,相比逐步打分,只在首个让测试通过的决定性编辑处评估 base 模型更能预测其智能体后训练潜力。方法回放成功智能体轨迹并在每次编辑后重跑测试,检查 base 模型是否会写出该编辑、在失败编辑中选中它并写出可通过的实现。模型写出该编辑的概率排序与十个模型后训练后的 SWE-bench Verified 得分相关性达 0.964,且只需基准的成功轨迹和测试即可运行。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-0ebff61e35aa64ee80f83561