AI圈报
论文研究普通

SWE Refactor Bench:编码智能体全仓重构存活率仅5.4%

信息来源:X:Kim (@kimmonismus)·
原始标题:Coding agents can pass tests and still miss the task. In SWE Refactor Bench, 340 of 520 runs comple…

内容摘要

Einsia 发布 SWE Refactor Bench,测试编码智能体完成 C→Rust、Maven→Gradle 等全仓库系统迁移的能力。520 次运行中仅 28 次通过全部三阶段评估,存活率 5.4%,13/20 任务无人解决。测试覆盖 SQLite、zlib 等 20 个真实项目,表明系统级重构仍是开放难题。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Kim (@kimmonismus)
站内情报编号intel-800ea0f74846ba8b0d7892ad