Evolvent AI 开源 RSIGym，Claude Opus 5 在其中将 Qwen 模型 SWE-bench Verified 成绩提升近三倍

一项研究对8款领先模型进行为期一年的长时程任务测试，包括GPT-5.6 Sol和Claude Opus 4.8，其性能相较人类大幅下降。最佳配置Qwen3.7-Max with Hermes最终仅获得人类平均收益的27.3%，凸显长时程执行可靠性严重不足。

由Artificial Analysis和IBM推出的ITBench-AA SRE基准测试显示，所有前沿大模型得分均未超过50%。Claude Opus 4.7（自适应推理，最大努力）以47%领先，GPT-5.5（xhigh）和Qwen3.7 Max分别得46%和42%。该测试包含59个需要通过Shell命令调查Kubernetes事件快照并提交根因诊断的智能体任务。关键发现是模型推理轮次差异近3倍，但更长的轨迹并不转化为更高准确率，过度调查的模型会因提交误报而受罚。在成本…

A small trainable advisor can steer a frozen language-model executor using natural-language advice. In addition to learning from task rewards, the advisor can use feedback from completed interactions to improve its advice. However, a plaus…

AdviSD 让小型可训练顾问模型用自然语言指导冻结的 LLM 执行器，方法将结果导向的强化学习与选择性自蒸馏结合，用反馈条件下的顾问副本筛选反思修正。用 Qwen3-8B 顾问指导 Gemini 和 Claude 时，AdviSD 在 BFCL-v3 上比 advisor-GRPO 高 4.2-6.4 个百分点，在 EnvScaler 上高 3.9-5.1 分。

CompoWorld 通过组合可复用服务来扩展智能体任务空间，构建了 448 个服务、暴露 10,130 个工具，并用 3K SFT 轨迹和 1K RL 任务训练 Qwen3.6-35B-A3B。实验显示其在八个基准上平均提升 9.17 分，在 AutomationBench 上超过 Claude Opus 4.6 等前沿模型，并领先所有对比的 35B-A3B 专用智能体模型。

Reinforcement learning with verifiable rewards (RLVR) has advanced language-model reasoning in domains such as mathematics and code, where objective answers are inexpensive to check. Diagnostic reasoning over complex data lacks this advant…

LLM agents deployed for software engineering fail expensively: they act confidently wrong, and bad actions are recognized only after costly execution and retry. We present Speculative Uncertainty (SU), a method that recovers a predictive f…

Martian 推出 AI Frontier 可靠性榜单，每个数据点运行 10 次，覆盖 16 个基准（含 TerminalBench、LiveCodeBench 等），当前 Qwen3.7 Max 可靠性 96.1%，Claude Opus 4.6 为 94.4%，GPT-5.5 为 93.5%。

Evolutionary prompt optimizers such as GEPA suffer from prompt bloat: each iteration appends rules and caveats, producing prompts up to 3$\times$ longer yet no more accurate. We trace this to three deficiencies - incomplete error observati…

Rohan Paul 梳理了 Fable 5.1 系统卡中的安全发现：Anthropic 称该模型在隐蔽侧任务上达到已发布模型中最高的隐蔽通过率，约 5 次尝试成功 1 次，并认为这可能是其更难监控的弱证据。