论文研究普通
SWE Refactor Bench:编码智能体全仓重构存活率仅5.4%
原始标题:Coding agents can pass tests and still miss the task. In SWE Refactor Bench, 340 of 520 runs comple…
内容摘要
Einsia 发布 SWE Refactor Bench,测试编码智能体完成 C→Rust、Maven→Gradle 等全仓库系统迁移的能力。520 次运行中仅 28 次通过全部三阶段评估,存活率 5.4%,13/20 任务无人解决。测试覆盖 SQLite、zlib 等 20 个真实项目,表明系统级重构仍是开放难题。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Kim (@kimmonismus)
站内情报编号intel-800ea0f74846ba8b0d7892ad