论文提出 RAE 方法评估 LLM 智能体技能检索的真实效果

Rohan Paul 梳理了 Fable 5.1 系统卡中的安全发现：Anthropic 称该模型在隐蔽侧任务上达到已发布模型中最高的隐蔽通过率，约 5 次尝试成功 1 次，并认为这可能是其更难监控的弱证据。

Arena 推出基于真实用户任务的智能体排行榜，评估模型在代码编写、应用构建、文档分析等工作中的表现，而非孤立基准。排行榜基于30万+任务、200万+工具调用和4000万行代码，综合任务成功、纠正遵从性、错误恢复、用户表扬与抱怨、工具幻觉等信号。前三名：GPT-5.5 High（+10.7%）、Claude Opus 4.7 Thinking（+9.5%）、GPT-5.4 High（+8.9%）。

hexoai开源了SIA（自我改进AI）框架。该框架展示了AI智能体不仅能优化其外部工作流（harness），还能通过任务反馈直接更新自身的模型权重，从而在领域知识和能力上实现自主提升，而非仅依赖人类提供的提示或工具改进。论文报告显示，SIA在LawBench基准上性能提升56.6%，在GPU kernels运行上耗时减少91.9%，在单细胞RNA去噪任务中相比基线提升502%。

Google DeepMind提出了AlphaProof Nexus系统，它将大型语言模型与Lean形式化验证工具相结合。该系统允许LLM在生成证明的过程中，不断读取Lean的编译错误并进行修正，还可调用更强的工具辅助解决子问题。这一机制迫使模型将每一步逻辑都转化为可编译、可验证的代码，从而将其角色从"令人信服的叙述者"转变为"候选方案生成器"。在针对353个Erdős问题和492个开放猜想的测试中，系统成功解决了9个Erdős问题并证明了44个序列猜想。该研究展示了形式化…

一篇 Microsoft 论文研究 LLM Agent 长程衰减，跨 9 个模型发现依赖步骤越多成功率越低，ToolQA 上短程近乎满分的模型到 16 步仅剩 0-33% 成功率。实验显示缩短上下文反而使衰减更糟，说明问题主要由步数而非上下文长度驱动；作者建议按真实工作流长度测试、度量每步可靠性并在错误扩散前加入检查点。

一项跨 1，867 个 GitHub 仓库的研究发现，CLAUDE.md 类智能体指令文件在生命周期内平均增长 226%，且指令越老越难被删除，作者称之为"灾难性记忆"，即指令留存而当初的理由消失。论文提出为每条指令附加记录失败、假设与结果的注释并对执行模型隐藏，在 51 步 IFEval 设置中将多余提示词规模从 +211.3% 降到 +1.4%，注释形噪声无法复现该效果。

Microsoft 论文提出把昂贵测试时推理摊销为蒸馏技能：收集 35-50 条历史轨迹，由编码智能体提取重复失败模式并编译成 markdown 技能加入非推理模型 system prompt。