新基准揭示LLM裁判在真实对话中不可靠

新论文证实，隐藏的AI智能体技能文件无法通过"保密"得到保护--攻击者仅通过正常使用服务即可重构技能。在最弱的访问级别下，Daydreaming方法在7个技能和4个受害者模型上恢复了原始技能86.8%的能力，约为SigLeak的4倍，中位仅需32次调用，且披露防御机制开启时依然有效。

DAIR.AI 的基准测试让 15 个前沿 LLM 智能体通过 26 个工具、约 340-400 次决策运营足球俱乐部 20 个游戏年，全部存活，而脚本基线大多失败。规模、价格、供应商或 token 消耗均无法预测排名，顶尖模型差异在于管理行为。所有模型存在两个普遍失败：无法从被拒报价中学习隐藏价格，自我管理记忆退化为只增不减的存档或每赛季重写的计划。

一项新研究称，其 AI 系统在两位人类工程师仅提供硬件规格后，自主完成了性能模型、RTL、UVM 验证、形式化证明、固件及内核的全部设计，并在两周内部署，规格以下无人工干预。

Google DeepMind 新论文将 Co-Scientist 从模拟带入真实实验。在计算机科学中，它发现的推理时扩展架构在盲审下击败了 HealthBench Hard 和 Professional 上的六个前沿模型。

Google 发布论文 WikiSkill，将智能体技能进化系统拆分为原始执行轨迹、持久知识 wiki 与可执行技能三部分，经验先沉淀进 wiki，后续技能更新基于该知识库。消融实验显示 wiki 是主要增益来源：小模型配进化技能可超越规模大得多的无技能模型，且一个模型进化出的技能可跨模型家族迁移，有时甚至优于自进化技能。论文地址：arxiv.org/abs/2608.27454。

新研究将智能体轨迹语料库压缩为单一紧凑有限状态机，在12个公开数据集上仅用7至43个状态，以0.997适应度重放留出数据，毫秒级构建。FSM状态上下文在下一步预测上全面优于Agent Workflow Memory，失败预测AUROC最高达0.94，并支持在线监控提前停止。作者认为行为拓扑更多由部署框架而非底层LLM塑造。

DAIR.AI 介绍一种智能体递归自改进新方法：Meta^n 保持元操作固定、对其输入递归，而非让系统编辑自身机制，从而避免失稳并突破约两层的元深度上限。该方法在两种骨干模型上超越此前自改进智能体，覆盖全部八类基准；在 ARC-AGI-2 上为唯一得分高于零的方法，且随深度出现无需预设的分层角色。

一项研究让12个开源权重模型在26种同等合理的基准配置下回答ARC、HellaSwag、MMLU和TruthfulQA的3，679道题，仅改变选项顺序、提示词措辞及答案读取方式。gemma4-31b的得分随配置在31%至89%间波动，四个模型在某种配置下排名第一。配置敏感题目承载了相邻模型间95.7%的差距，基准压缩方法筛选出的题目恰是最易受配置影响的。

WebDev-Skills-Bench 在 50 个 Web-Bench 项目和 1000 个有序任务上测试 31 个公开 WebDev 技能，发现注入目标技能使平均 Pass@2 下降 1.3% 至 4.2%，token 成本增加 72% 至 394%。对照实验将损害归因于长度干扰和内容误导两类失败模式，且技能排名在模型间迁移性弱。

DAIR.AI 介绍一种名为加权记忆树的新方法，为长时运行智能体实现可恢复记忆。它将执行组织为任务、子任务和动作，并为每条记忆赋予动态保留分数，事件更新提升分数、选择衰减降低分数。在 GAIA-Text 上，该方法搭配 Qwen3-8B、Gemma 4 E4B 和 Llama-3.1-8B，平均比线性记忆高出 9.97 分，同时提示词 token 使用量减少 32.8%。