观点 / 方法普通
Browser Use 复盘 LLM-as-a-Judge 只读了五分之一答案导致的评测假阳性
原始标题:LLM-as-a-Judge Bug: Our Judge Read a Fifth of Each Answer
内容摘要
Browser Use 复盘一次 agent 评测中的 LLM judge bug:判分器只读 FINAL ANSWER: 标记后的文本,200 个任务中位数只读 2,102 字符中的 433 字符,其中 +5.1 分的提升有 1.8 到 2.6 分来自这个 bug。