论文研究精选
METR 研究:约半数通过 SWE-bench Verified 的 AI PR 不会被维护者合并
原始标题:Many SWE-bench-Passing PRs Would Not Be Merged into Main
内容摘要
METR 让 scikit-learn、Sphinx、pytest 的 4 位维护者盲审 296 个 AI 生成的 PR,发现约一半通过 SWE-bench Verified 自动评分的补丁不会被合并进主分支;经金标准基线归一后,维护者合并率平均比自动评分低 24.2 个百分点。研究强调 AI 补丁未像人类开发者那样获得迭代反馈,不应据此断言是能力上限,但直接按基准分数推断智能体实际用处可能高估。