AI圈报
论文研究普通

AutomationBench Verified 发布:600 个任务中 206 个评分器确认有 bug

信息来源:X:Rohan Paul (@rohanpaul_ai)·
原始标题:Agent benchmarks need audits of the graders, not only the tasks.

内容摘要

AutomationBench Verified 发布,对 Zapier AutomationBench 全部 600 个公开任务的评分器逐一审计,Agent 标记 323 个可疑项,人工确认 206 个真实 bug 并全部修复。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-32f8e47fa0506d0aaf61d265