AI圈报
论文研究精选

METR 研究:约半数通过 SWE-bench Verified 的 AI PR 不会被维护者合并

信息来源:METR:Notes(网页)·
原始标题:Many SWE-bench-Passing PRs Would Not Be Merged into Main

内容摘要

METR 让 scikit-learn、Sphinx、pytest 的 4 位维护者盲审 296 个 AI 生成的 PR,发现约一半通过 SWE-bench Verified 自动评分的补丁不会被合并进主分支;经金标准基线归一后,维护者合并率平均比自动评分低 24.2 个百分点。研究强调 AI 补丁未像人类开发者那样获得迭代反馈,不应据此断言是能力上限,但直接按基准分数推断智能体实际用处可能高估。
内容分类AI 论文与研究
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源METR:Notes(网页)
站内情报编号intel-016fd8bdeacf53960057c055