AI圈报
论文研究精选

Epoch AI 审计 Humanity's Last Exam:抽样 48 题中 46% 存在影响准确率的错误,判定为 Flawed

信息来源:Epoch AI:研究、数据与评测·
原始标题:Humanity's Last Exam - Benchmark Review

内容摘要

Epoch AI 对公开征集题目的知识型基准 Humanity's Last Exam 进行审计,按 8 个类别随机抽样 48 题,发现 22 题(46%)存在会实质改变准确率的错误,将该基准判定为 Flawed。其中 12 题按题面本就无法正确作答,10 题可能产生误判正确答案为错或错误答案为对的情况;其余 26 题答案正确,审计方法与错误明细已在原文公开。
内容分类AI 论文与研究
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Epoch AI:研究、数据与评测
站内情报编号intel-59406dad14810a0c705e428c