AI圈报
论文研究精选

Anthropic 量化智能体编码评测中的基础设施噪声

信息来源:Anthropic:Newsroom(网页)·
原始标题:Quantifying infrastructure noise in agentic coding evals

内容摘要

Anthropic 研究发现基础设施资源配置会显著影响 SWE-bench 和 Terminal-Bench 等智能体编码评测的得分。在 Terminal-Bench 2.0 上,从严格按任务规格执行到完全不设上限,成功率提升 6 个百分点(p < 0.01),基础设施错误率从 5.8% 降至 0.5%;在 3x 资源上限时错误率降至 2.1% 而分数变化在噪声范围内。
内容分类AI 论文与研究
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Anthropic:Newsroom(网页)
站内情报编号intel-e2d77a8ef0f6992ec9cf0c63