论文研究普通
HarnessDev 基准研究 LLM 能否自建并迭代进化 Agent harness
原始标题:HarnessDev Can LLMs Create and Evolve Their Own Agent Harness? paper: https://huggingface.co/paper...
内容摘要
HarnessDev 是一个将评测单位从任务输出转为可执行基础设施的基准,分 Creation 和 Evolution 两阶段,覆盖六个创建 LLM、四个领域和五个下游基准共 2,207 个实例。结果显示自建 harness 在代码及搜索研究任务上仍落后成熟人工方案,进化带来的提升不稳定且跨模型迁移有限,论文见 https://huggingface.co/papers/2609.01437。