论文研究普通
FrontierHarness Eval v1.1:27,280 次编码智能体运行中 64% 推理花费流向失败任务
原始标题:In 27,280 coding agent runs, 64% of inference spend went to runs that failed
内容摘要
Runta 与 Baseten 合作发布 FrontierHarness Eval v1.1,用 83B tokens 跑了 27,280 次智能体运行,覆盖 22 个 harness × 5 个模型 × 62 个任务 × 4 次尝试,规模是 v1.0 的 76 倍。