论文研究普通
论文:低基准分可被精确制造,难证模型能力
原始标题:This paper finds that a low benchmark score can be manufactured precisely, so a low score alone says little about what a model can do.
内容摘要
一篇论文发现低基准分可以被精确制造,因此单看低分几乎无法说明模型能力。研究者训练了一个 LoRA“旋钮”,把 Qwen 模型拉向更小的 Qwen 模型,其对未见目标分数的误差在 1.9 分以内,而提示词诱导欠佳的偏差达 42 至 47 分。但在多选题上,该旋钮最多 97% 的新增错误集中在同一个字母选项上,这一比例远超其模型池中任何自然模型。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-677d5b63b61f6f4e0b64aa11