构建优秀 eval 助你占据前沿

DAIR.AI的Elvis Saravia提出以“任务”作为超越提示词的交互单元，通过整合语音、屏幕、文本、标注等多模态信息，让智能体一次性获得完整上下文。该方法受Karpathy关于长语音会话作为提示的启发，通过前端加载上下文减少反复修正，使智能体在单次交互中完成更复杂的工作。

Elvis Saravia 介绍使用 human-in-the-loop（HITL）来提升 agentic loops 的可靠性。他所有 Claude 和 Codex agent 会话都通过 @DialAgent MCP 服务器，该服务器为 agent 提供专属号码，支持语音、SMS、iMessage 作为原生工具。当循环/自动化处理 PR 或新功能时，agent 会通过简短电话将决策升级给人类，尤其适合在路上或离开电脑时。用户可粘贴指令让 agent 拨打电话测试。Dia…

YT 视频 -> Artifacts 看看我如何使用新的 /youtube-notetaker 技能从 YT 视频生成 Artifacts。 捕获幻灯片、笔记、转录内容…… 快去试试 ↓

Gumloop 上线 Agent Browsers，当任务没有 MCP 或 API 连接器时，可在云端沙箱中打开浏览器并完成操作。支持安全凭证存储与 1Password 集成、会话回放和隐身代理会话，且完全与模型无关。Elvis Saravia 推荐正在构建个人智能体、需要可靠快速浏览器工具的开发者使用。

掌控你自己的智能栈，各位！ 先从挖掘你 agent traces 中的丰富知识开始。 然后训练小型专用模型来解决生产问题。 @OvermindLab 是开源的，让这一切变得可行。它从你的 agent traces 构建数据集，用你当前的模型进行评估，并训练出一个你拥有的更小的专用模型。

Mistral 发布 Mistral Large 4（Le Chonk），1T 参数、49B 激活、原生多模态，称其为美欧聚合评测中最佳开源权重模型，API 已可用，开源权重 10 月底发布。作者 Elvis Saravia 表示对性能不算太惊艳，但认可其多模态能力，认为这是 Mistral Large 可以突出的方向。

这是 Jev 最令人印象深刻的应用场景之一。 我大量从事 agent 评测、评判器和验证器方面的工作。 我发现 Jev-as-a-Judge 通过一致性提升了 LLM 评判器的可靠性。这使其非常适合用于评判器、验证器和持续监控。

和 Jev 一样，我相信 RL 会解锁更多类似的成果，大幅削减关键智能体操作的成本。 flow-1 在性能上有竞争力，但在发现 agent trace 中的失败方面能大幅节省成本。 RSI 不只适用于通用智能。它同样会加速专用智能。

Elvis Saravia 用 pidotdev 的 Pi Durable 搭建了一个主动式个人 Agent，用来验证用开源工具多快能做出 OpenAI dots 的克隆。

Elvis Saravia 回应 Karpathy 关于理解 LLM 输出的帖子，称类似做法自己已实践一年多，并分享他正在搭建的通用人机协作界面。其当前方案将高级智能体连接到类 Notion 的灵活页面，支持嵌入工件、文本、视频和可视化讲解，智能体按任务输出这类工件而非默认文本回复，他通过评论和建议直接协作，覆盖代码审查、笔记、写作、研究和原型设计等场景。