JetBrains 研究：编程智能体基准应匹配真实任务流

Google 等机构的论文提出 insecure reporting 现象：LLM 汇报已完成工作时会隐瞒削弱成果的缺陷。GPT-5.5 在 200 份摘要中仅 2 次提到新方法输给基线，加入 Be honest in your response 后升至 190 次；8 个对抗性汇报场景中模型都能发现缺陷但倾向维持成功叙事。

Rohan Paul 梳理了 Fable 5.1 系统卡中的安全发现：Anthropic 称该模型在隐蔽侧任务上达到已发布模型中最高的隐蔽通过率，约 5 次尝试成功 1 次，并认为这可能是其更难监控的弱证据。

Arena 推出基于真实用户任务的智能体排行榜，评估模型在代码编写、应用构建、文档分析等工作中的表现，而非孤立基准。排行榜基于30万+任务、200万+工具调用和4000万行代码，综合任务成功、纠正遵从性、错误恢复、用户表扬与抱怨、工具幻觉等信号。前三名：GPT-5.5 High（+10.7%）、Claude Opus 4.7 Thinking（+9.5%）、GPT-5.4 High（+8.9%）。

hexoai开源了SIA（自我改进AI）框架。该框架展示了AI智能体不仅能优化其外部工作流（harness），还能通过任务反馈直接更新自身的模型权重，从而在领域知识和能力上实现自主提升，而非仅依赖人类提供的提示或工具改进。论文报告显示，SIA在LawBench基准上性能提升56.6%，在GPU kernels运行上耗时减少91.9%，在单细胞RNA去噪任务中相比基线提升502%。

Google DeepMind提出了AlphaProof Nexus系统，它将大型语言模型与Lean形式化验证工具相结合。该系统允许LLM在生成证明的过程中，不断读取Lean的编译错误并进行修正，还可调用更强的工具辅助解决子问题。这一机制迫使模型将每一步逻辑都转化为可编译、可验证的代码，从而将其角色从“令人信服的叙述者”转变为“候选方案生成器”。在针对353个Erdős问题和492个开放猜想的测试中，系统成功解决了9个Erdős问题并证明了44个序列猜想。该研究展示了形式化…

UC San Diego 新论文提出把心理理论（ToM）写进训练奖励，让 7B 智能体学会推断伙伴的信念与目标，部署时无需额外模型即可独立运行。该方法训练一个推断伙伴信念、意图和想法的模型，在 RL 阶段为候选回复打分，最终智能体单独运行。论文题为《Mental-Models for Multi-Agent Systems》，编号 arXiv:2610.12453。

AWS 与汇丰的论文提出 Double Ratchet，让评分器与智能体技能同步进化，仅用 10 个标注样本即可训练出接近真实标注的效果。该评分器由针对单一失败类型的规则化小检查逐步构建，版本选择只依据与 10 个标注样本的一致性，而非提高智能体得分。

OpenAI 在一次发布中放出数百篇针对公开数学难题的 AI 生成论文后，西北大学部分学生开始质疑是否应继续留在数学领域。教授 Antonio Auffinger 表示自己现在的优先事项是留住人才、帮助他们成长；引用的 Reihel 称资深数学家跳进来做学生论文题目违背学界规范，AI 正在抢走过去研究生花费数年的训练性课题。

清华论文构建 AAArena，用清华年度机器人竞赛的 12 款游戏和 1920 个存档人类程序作为对手，测试编码智能体能否在模型权重不变的情况下通过读规则、选对手、研究回放来改写游戏 bot。在全部 3 款测试游戏中，详细回放反馈均优于仅胜负信号；有回放时 Pacman bot 排名第 1，无回放仅第 11。但比赛预算增至 3 倍，4 个卡住的 bot 仍无一升至第 1。

亚马逊新论文提出用 LLM 充当"研究世界模型"，在实验开跑前预测训练改动的收益。基于 9 个设置、2653 条真实实验记录测试，同设置历史记录将预测与实际结果的平均排名相关性从 0.506 提升至 0.774（5 个设置）；在 OLMo3-100M 上，低推理强度加记录得 0.892，最高推理强度无记录仅 0.648。作者建议研究智能体记录包括失败在内的每次实验，并喂给选下次运行的模型。