BenchShield 论文提出基于形式化模型的 LLM Agent 评测奖励破解检测方法

Microsoft 研究者提出 environment-probing curation 方法，让记忆管理器在保存前用只读世界工具核对候选记忆与实时环境，无需重训模型，任务智能体、检索器和记忆格式保持不变。

Meta 发表 A-MLE 论文，部署了一个自主 LLM 智能体，在多个生产级广告排序模型组合上执行研究、实现、训练、调试、评估和发布的 ML 迭代循环。

Microsoft 与 Ben Gurion 大学等的研究者展示一种新攻击，通过监视 detokenization 时的 CPU 缓存活动，重建本地 LLM 生成的文本。

微软发布 FrogNano 报告，训练出一个 4B 编码智能体，在约 1，500 个软件工程环境上纯用 RL 后训练，全程不依赖更大模型蒸馏。关键是在线任务合成流水线，按当前 checkpoint 的可学习性前沿生成任务，作者认为校准而非合成数据量是成效所在。

如果你正在寻找关于harness工程的优质资源，从这里开始。 Harness工程是目前的一项顶级技能。 我在最近一次YC Paper Club的演讲中看到了一个关于harness工程的精彩概述。 那是一个非常棒的顶级论文列表。 所以我决定把它整理成一个合集。尽情享用吧！

Sierra 与普林斯顿大学发布 τ^τ-Bench（hyper-tau-bench）基准，把智能体构建本身设为任务：开发者智能体获得真实业务记录、掌握需求的客户、生产 API、待继承代码库和服务成本与模型限制，需交付一个可用的客服智能体，并用保留的模拟用户部署评分，共 4 个领域 53 个任务。

DAIR.AI 发布对智能体 AI 的批判性综述，提出将模型能力、harness 集成与部署授权分离评估的框架。综述发现，论文证据更充分支持行动接口扩展，而非稳健完成、恢复、授权或独立验证；MCP 与 Agent2Agent 提升互操作性，但未证明委托可信，多智能体组织带来专业化同时伴随成本与相关性故障。

LinkedIn 论文《Does Your Agent's Memory Survive a Model Upgrade？》用 48 条合成历史比较四种记忆格式在更换读写模型后的可迁移性。

一篇论文提出可验证的自我建模评测基准，测试模型能否回答关于自身行为的问题（如特定提示词修改是否改变最终答案）。当前模型在该基准上表现有限，对简单反事实问题存在一致错误。通过可扩展合成数据管道与强化学习，三个开源模型家族的综合得分提升，并部分迁移至保留任务；但作者指出得分提升未必源于对内部决策过程的特权访问，不能作为内省能力的证据。

研究团队研究模型能否察觉自己正在被测试，发现能力较强的模型可以区分被测试与真实部署，这会削弱安全评估结论的效力。论文提出两种技术：critique refinement 用额外推理时算力让模拟器动作更贴近部署，DISH（Deployment-Imitating SWE-Agent Harness）用真实 agent harness 缩小模拟编码环境与生产环境的差距。