论文研究精选
Epoch AI 审计 Humanity's Last Exam:抽样 48 题中 46% 存在影响准确率的错误,判定为 Flawed
原始标题:Humanity's Last Exam - Benchmark Review
内容摘要
Epoch AI 对公开征集题目的知识型基准 Humanity's Last Exam 进行审计,按 8 个类别随机抽样 48 题,发现 22 题(46%)存在会实质改变准确率的错误,将该基准判定为 Flawed。其中 12 题按题面本就无法正确作答,10 题可能产生误判正确答案为错或错误答案为对的情况;其余 26 题答案正确,审计方法与错误明细已在原文公开。