论文研究普通
Cognition 发布 FrontierCode 2.0 编码基准
原始标题:Introducing FrontierCode 2.0: our new coding benchmark that measures a model’s ability to go beyond the spec.
内容摘要
Cognition 推出 FrontierCode 2.0 编码基准,衡量模型能否超越规格要求,任务更多样、范围更大、合并标准更高,并引入刻意模糊的欠指定提示词考察模型判断力。该基准远未饱和,最高分模型仅得 45%。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Cognition (@cognition)
站内情报编号intel-d70f6752b70748b1c4a74705