Jev-as-a-Judge 实战教程：用 Jev 评估智能体执行轨迹

Elvis Saravia 建议不要等待厂商修复 bug 或解决安全顾虑，而是自己构建个人 AI 智能体，从 traces 到记忆到所有输出完全归自己所有。他认为 AI 让构建和维护智能体变得简单，可以从零开始保持极简、按需演进，也可以基于开源方案 Pi Durable 起步。

ContextQa 推出 Ship，定位为自主质量工程师，可测试已部署的 PR、从 Slack 和 Linear 复现 bug，并把上下文交给 Claude Code 或 Codex 修复。作者 Elvis Saravia 认为验证 agent 写的代码比自己写代码花的时间更多，是所谓软件工厂的主要瓶颈，编码 agent 需要这类反馈循环来改进自我修 bug 的能力。免费试用入口 https://ship.contextqa.com

用Tavily拉取arXiv近7天论文，由部署在Nebius Token Factory上的NVIDIA Nemotron 3 Ultra读取并排序，约10秒即在终端得到本周智能体记忆方向Top 5论文。

刚刚发布了一些关于使用 Jev 和 Pi 构建自定义 harness 的思路。 这是系列的第一篇。 其中一些思路包括 gates、routing 和 verifiers。 但在后续文章中，我计划更深入地探讨更新的思路，并对成本和效率进行基准测试。

作者发布交互式教程，演示用 Pi SDK（TypeScript Agent 工具包）和 TypeSafe AI 的小模型 Jev 构建自定义 Agent harness。

DAIR.AI 发布 Jev 新手指南，Jev 是 TypeSafe 推出的通用 System One 模型，专为快速、聚焦的判断设计，而非长推理或开放式写作。

Elvis Saravia 用 Jev 为智能体框架的 /goal 功能构建自定义验证器，每轮对话后检查目标是否真正完成，使持续验证成本低到可规模化。此前这类验证由另一个昂贵的推理模型承担，现在可更频繁运行以让智能体保持正轨。

Elvis Saravia 将 Jev 集成进自建 harness，认为它不只是更快更便宜，而是能解锁此前受成本、延迟或缺少合适原语限制的智能体体验。Jev 可用于分类、控制流、确定性工作流和大规模标注，并通过智能决策、结构化智能与按需上下文管理提升可靠性。他还看好 Jev 在动态 UI、LLM 评审、验证器与合成高质量数据上的潜力，完整指南即将发布。

NVIDIA 论文对比了 8 种模型选择策略，在路由、多数投票和 LLM-as-judge 三种设置下测试模型池对多智能体系统的影响。结果显示，混用不同开源模型虽能提高理论最优准确率，但实际表现常低于池中单一最佳模型；用同一模型的多个副本反而更好。多数投票将 HLE 准确率从 29.4% 提升至 32.2%，而几乎每个混合模型组合都出现下降；从单一模型家族中选候选模型带来的提升最大。

Agent harness 构建者 Elvis Saravia 认为子智能体仍是 harness 的有用原语，但当前最佳实践是一个 orchestrator 加一个 executor 子智能体，再加一个就开始崩溃。