AI圈报
论文研究普通

UndoBench:区分工具调用 AI 智能体的任务能力与故障恢复能力

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:UndoBench: Separating Task Competence from Recovery Capability in Tool-Using AI Agents

内容摘要

UndoBench 是一个覆盖 8 个企业领域、36 个基础工作流与 36 个故障场景的基准,通过同种子反事实配对试验,将任务能力与恢复能力解耦。在 12 个留出测试工作流、5,760 次执行(2,880 对配对试验)中,名义任务能力达 83.54%,但条件恢复成功率(CRSR)仅 46.72%,朴素重试在 53.33% 的试验中产生重复外部副作用。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-42a5cc41e09edb1a35653198