AI圈报
论文研究普通

FrontierHarness Eval v1.1:27,280 次编码智能体运行中 64% 推理花费流向失败任务

信息来源:Hacker News:AI 热帖·
原始标题:In 27,280 coding agent runs, 64% of inference spend went to runs that failed

内容摘要

Runta 与 Baseten 合作发布 FrontierHarness Eval v1.1,用 83B tokens 跑了 27,280 次智能体运行,覆盖 22 个 harness × 5 个模型 × 62 个任务 × 4 次尝试,规模是 v1.0 的 76 倍。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Hacker News:AI 热帖
站内情报编号intel-2390a951d39fc86f8e44d515