AI圈报
产品发布 / 更新精选

NatureBench:AI编码智能体能否匹配Nature系列论文已发表SOTA?

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?

内容摘要

NatureBench是一个跨学科基准测试,包含90个从Nature系列同行评审论文中提取的任务,用于评估AI编码智能体能否超越复现、实现发现。基准基于NatureGym自动化管线,为每个任务提供标准化容器化环境,解决环境碎片化问题。在严格禁用网络搜索的协议下评估10种前沿智能体配置,最强模型仅在17.8%任务上超过已发表SOTA(g>0.1准则)。分析表明,智能体成功主要依赖方法论翻译,失败主因为方法选择错误和计算预算不足。已发布基准、NatureGym管线及公共排行榜。
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-f43fc7a8dfbeedf46c0b04aa