AI圈报
论文研究普通

Amazon 论文提出 FEB-30 基准:仅靠 QA 分数无法评估智能体记忆系统

信息来源:X:Rohan Paul (@rohanpaul_ai)·
原始标题:New Amazon paper shows that teams shipping agent memory should check what actually got stored, since QA scores alone did not reveal which...

内容摘要

Amazon 论文提出 FEB-30 基准,用 30 条脚本化事实轨迹生成 147 篇文档,在每步已知正确记忆状态的前提下直接对比存储事实与 QA 分数。在类 Mem0 和 Hindsight 的记忆系统上,两种评估平均相差 16.8 分,21% 的事实轨迹通过/失败判定不一致,系统选对更新、强化等记忆操作的比例仅 20.1%,而 QA 评估无法发现这一点。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-20482168416f3039accb8eb3