AI圈报
论文研究普通

SWE-Bench Pro Verified:修复答案泄露与任务质量问题的软件工程智能体评测基准

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents

内容摘要

研究团队发布 SWE-Bench Pro Verified,一个包含 731 个实例的软件工程智能体评测基准,通过仓库重建、测试工件隐藏、元数据匿名化和代码托管域名封堵来阻断答案泄露,并由人类专家最小化修订 102 个存在质量问题的任务。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-457de3e96a0d26146f62251e