产品发布 / 更新普通
Epoch AI 推出 Benchmark Reviews 计划,首批审计 15 个 AI 基准
原始标题:Great initiative to eval the evals. It incentivizes the industry to build genuinely high-quality ben…
内容摘要
Epoch AI 推出 Benchmark Reviews 计划,用于审计 AI 基准,首批覆盖 15 个基准:4 个 Verified、9 个 Flawed、2 个信息不足以评审。Verified 包括 WeirdML v2、ExploitBench v0.1、PostTrainBench v1.1、SimpleQA Verified,Flawed 包括 Terminal-Bench 4.0.0、SWE-Bench Verified、SWE-Bench Pro 等。作者 Karina Nguyen 转发并称赞该举措能激励行业构建真正高质量的基准,并感谢其审计 PostTrainBench 和挖掘旧的 SimpleQA。
内容分类AI 产品发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Karina Nguyen(@karinanguyen)
站内情报编号intel-2903b5945d31e26299e07b04