AI圈报
观点 / 方法普通

Browser Use 复盘 LLM-as-a-Judge 只读了五分之一答案导致的评测假阳性

信息来源:Browser Use·
原始标题:LLM-as-a-Judge Bug: Our Judge Read a Fifth of Each Answer

内容摘要

Browser Use 复盘一次 agent 评测中的 LLM judge bug:判分器只读 FINAL ANSWER: 标记后的文本,200 个任务中位数只读 2,102 字符中的 433 字符,其中 +5.1 分的提升有 1.8 到 2.6 分来自这个 bug。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Browser Use
站内情报编号intel-2c5952ed2c7b79004cff5b8b