AI圈报
论文研究普通

Google Research 发布 Fuse:评估 LLM 社交推理

信息来源:X:DAIR.AI (@dair_ai)·
原始标题:Banger paper from Google Research. This one is on how LLM assistants reason about the people in a u…

内容摘要

Google Research 提出 Fuse 框架,用模拟构建社交推理的 ground truth:带隐藏动机的目标智能体与其他智能体(含扮演用户的智能体)互动,助手需从用户转述中推断动机。团队用 24k 条人工标注验证模拟,测试了 12 个 LLM,发现用户带偏见的叙述会改变助手答案,更长的对话并未可靠提升表现。框架与 21k 条样本已开源。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:DAIR.AI (@dair_ai)
站内情报编号intel-1d3a8491c31cc07a0c4eb926