论文研究精选
METR 用 5305 份 Claude Code transcript 估算 AI 编码时间节省为约 1.5x 至 13x 的软上界
原始标题:Analyzing coding agent transcripts to upper bound productivity gains from AI agents
内容摘要
METR 基于 2026 年 1 月 7 名技术人员的 5305 份 Claude Code transcript,用 LLM judge 估算无 AI 完成同样任务所需时间,得出时间节省倍数约 1.5x 至 13x。作者认为该数值因任务替代、任务选择、员工专业化和 judge 验证有限(仅 34 个人工标注)而高估真实提升,只是软上界;并发 agent 数更高的员工时间节省倍数更高。