Jev 如何进化智能体 harness 体验

Elvis Saravia 用 Jev 为智能体框架的 /goal 功能构建自定义验证器，每轮对话后检查目标是否真正完成，使持续验证成本低到可规模化。此前这类验证由另一个昂贵的推理模型承担，现在可更频繁运行以让智能体保持正轨。

NVIDIA 论文对比了 8 种模型选择策略，在路由、多数投票和 LLM-as-judge 三种设置下测试模型池对多智能体系统的影响。结果显示，混用不同开源模型虽能提高理论最优准确率，但实际表现常低于池中单一最佳模型；用同一模型的多个副本反而更好。多数投票将 HLE 准确率从 29.4% 提升至 32.2%，而几乎每个混合模型组合都出现下降；从单一模型家族中选候选模型带来的提升最大。

Agent harness 构建者 Elvis Saravia 认为子智能体仍是 harness 的有用原语，但当前最佳实践是一个 orchestrator 加一个 executor 子智能体，再加一个就开始崩溃。

DAIR.AI 的 Elvis Saravia 分享从零构建 agent harness 的入门指南，建议用 TypeScript 或 Python 实现包含 LLM 模块、tools 模块和 agent loop 三部分的最小 harness，并以 ReAct 作为入门循环。

Pocket FM CEO Rohan Nayak 发文复盘公司从约 0 到 $500M ARR、年新增 $250M 且 EBITDA 盈利的增长打法。

GPT-6 Astra 的价值在于让原本跑不通的工作流终于能运行，一次响应即可成为完整工作会话。评估重点应从"百万 token 成本"转向"预算内能完成什么"，推理返现（如 Straitly 提供 5%-10% 现金返还）值得关注，但目标应是同预算下获得更多可验证成果，而非消耗更多 token。

什么鬼！？ GPT-6 Astra 刚刚完成了这个 3D 相机的制作，包含 122 个组件组和 1，877 个建模部件。 我甚至都不知道还能在 Three.js 里构建这些东西。

Elvis Saravia 提出 harness 并非千篇一律，好的 harness 应解决上下文工程问题，关键在于理解并优化系统提示词、缓存和有效工具调用等底层细节。他建议用自己喜欢的语言构建一个带基本 agent 循环、系统提示词和工具调用能力的最小 harness，在用例上测试验证并迭代，掌握这些可调旋钮后再迁移到生产级 harness。

Elvis Saravia 回应人们常问的 harness engineering 从何入手，建议起初跳过框架，构建尽可能小的 harness：一个 agent 循环、少量工具和自己从零写的 system prompt。他认为这比一个月读教程学到更多。

我越是拥抱开放且更廉价的模型，就能负担起越多的自动化。 前沿模型负责编排与协调。 开放且更廉价的模型负责执行。这里的 token 使用量正在迅速增长。 这让我比以往任何时候都更能倚重主动型智能体。