AI圈报
论文研究普通

WebDev-Skills-Bench:技能注入反而拉低编码表现

信息来源:X:Rohan Paul (@rohanpaul_ai)·
原始标题:Attaching a skill file to every prompt in a coding session is usually a net loss. A skill file hur…

内容摘要

一项基准研究发现,在编码会话中为每个提示附加技能文件通常弊大于利。在全部 4 个模型上,注入技能使堆栈匹配对的平均 Pass@2 降低 1.3 至 4.2 个点,同时 token 成本至少增加 72%,损失集中在简单早期任务上(4.0 至 10.7 个点)。研究建议将注入视为按后端衡量的路由决策,而非通用增益。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-f1e295ad8c2e3c30518a21ba