产品发布 / 更新普通
Accio 开源 CommerceAgentBench 评测基准
原始标题：Accio has open-sourced CommerceAgentBench， a 107-task benchmark spanning procurement， product listin…
内容摘要
Accio 已开源 CommerceAgentBench，这是一个包含 107 个任务的评测基准，涵盖采购、商品上架、运营、订单履约和售后。 该基准根据智能体在模拟电商技术栈中留下的变更来对得分进行排名，例如应用的标签、保存的草稿、发布的商品以及返回的运单号。 该公司在三个测试框架上测试了十三个不同的模型家族。 最高得分仅为 61.7% 👀
内容分类AI 产品发布与更新
内容层级普通情报
发布时间（北京时间）
本站收录时间（北京时间）
信息来源X：Testing Catalog (@testingcatalog)
站内情报编号intel-72c447c410ece916ba8648d8