论文研究精选
StartupBench:面向市场验证端到端工作流的通用智能体基准测试
原始标题:StartupBench: Benchmarking General-Purpose Agents on Market-Validated End-to-End Workflows
内容摘要
StartupBench 是一个基于市场验证的 AI 初创公司产品构建的端到端智能体基准,从真实采用的产品工作流中提炼任务,而非研究者预设任务。在统一智能体框架下,最强模型也仅能完成约 30% 的任务,复杂指令遵循和领域专业知识是主要失败来源。该基准揭示了当前通用智能体在真实用户任务上的能力边界。
内容分类AI 论文与研究
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-b992f030c1d4f6e94b070254