AI圈报
论文研究普通

马克斯·普朗克研究:推理让LLM错误更趋同

信息来源:X:Rohan Paul (@rohanpaul_ai)·
原始标题:New Max Planck paper finds that turning on reasoning makes different LLMs agree more, even on mistakes, while long traces mark where they...

内容摘要

马克斯·普朗克论文发现,开启推理后不同LLM的一致性上升,连错误也更趋同。作者用9个Qwen和GPT模型在3个基于美国人口普查调查的预测任务上测试,开启推理后全部9个模型都答错的人群比例上升2.0至2.4个百分点;对推理链最长的人群,校正后一致性降至约0.31至0.39。作者建议在涉及人的决策中检查模型集合里是否有人能给出正确答案,因为更高一致性也可能意味着更多共同错误。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-4a1d06813a5262a504ea09d4