AI圈报
论文研究普通

推理模型缺乏系统性?规则归纳任务上的评估

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Thought without systematicity? Evaluating reasoning models on rule induction tasks

内容摘要

研究将认知科学中的规则归纳任务扩展到推理模型,通过重组、替换等任务同构方式构造结构等价的变体。结果发现,模型虽能正确解出某个任务,却常在结构等价的变体上失败,表明其行为缺乏系统性,难以在评估语境之外稳健确立推理模型的认知能力。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-e2cb9f22dcf41fed62527bac