语言模型如何评估用户能力与职业偏见

Arena 推出基于真实用户任务的智能体排行榜，评估模型在代码编写、应用构建、文档分析等工作中的表现，而非孤立基准。排行榜基于30万+任务、200万+工具调用和4000万行代码，综合任务成功、纠正遵从性、错误恢复、用户表扬与抱怨、工具幻觉等信号。前三名：GPT-5.5 High（+10.7%）、Claude Opus 4.7 Thinking（+9.5%）、GPT-5.4 High（+8.9%）。

hexoai开源了SIA（自我改进AI）框架。该框架展示了AI智能体不仅能优化其外部工作流（harness），还能通过任务反馈直接更新自身的模型权重，从而在领域知识和能力上实现自主提升，而非仅依赖人类提供的提示或工具改进。论文报告显示，SIA在LawBench基准上性能提升56.6%，在GPU kernels运行上耗时减少91.9%，在单细胞RNA去噪任务中相比基线提升502%。

Google DeepMind提出了AlphaProof Nexus系统，它将大型语言模型与Lean形式化验证工具相结合。该系统允许LLM在生成证明的过程中，不断读取Lean的编译错误并进行修正，还可调用更强的工具辅助解决子问题。这一机制迫使模型将每一步逻辑都转化为可编译、可验证的代码，从而将其角色从"令人信服的叙述者"转变为"候选方案生成器"。在针对353个Erdős问题和492个开放猜想的测试中，系统成功解决了9个Erdős问题并证明了44个序列猜想。该研究展示了形式化…

明尼苏达大学与首尔大学提出 Metan，让智能体通过冻结改进机制、逐层堆叠策略代码实现自改进。每层新代码可基于下层执行轨迹与已有改进代码做决策，性能提升时才继续加深，且能回滚不佳策略而不破坏改进机制本身。

一项关于模型蒸馏的研究发现，学生模型复制的是教师的推理方式而非知识，因此教师模型的来源比其基准分数更重要。基于学生自身基础模型训练的较弱教师，比来自不同家族的更强教师效果更好。研究还表明训练数据几乎无关紧要，教师甚至能教会自己无法解决的问题。

谷歌新论文提出WikiSkill，将智能体工作区分为执行轨迹、技能文件和中间Wiki三层，记录失败模式及每次技能编辑的接受/拒绝历史。在Gemini-3.5-Flash上，WikiSkill在5项基准测试中平均得分68.1%，优于最强对比方法的56.1%和无技能时的49.5%。论文指出技能由系统直接提供而非检索，技能选择未纳入测试范围。

Google 新论文提出 SKILL.state，用显式执行状态替代不断增长的智能体对话历史，可大幅降低 token 消耗并提升准确率。在 100 步仓库任务中，Gemini-3-Flash 配合 SKILL.state 得分 0.94，仅用 65，408 tokens；LangGraph 风格基线得分 0.91，却消耗 1，062，387 tokens，差距达 16.2 倍。

Long-Horizon-Terminal-Bench 基准测试显示，17 个前沿模型在 46 个长程终端任务上平均通过率仅 6.4%，严格全完成评分下 10 个模型零通过。失败运行中 79% 因超时终止，最佳模型也仅达 28.3%。模型能执行局部合理步骤，却无法将数百步转化为最终成果，印证 Chamath 关于长程任务"根本行不通"的论断。

一项研究对8款领先模型进行为期一年的长时程任务测试，包括GPT-5.6 Sol和Claude Opus 4.8，其性能相较人类大幅下降。最佳配置Qwen3.7-Max with Hermes最终仅获得人类平均收益的27.3%，凸显长时程执行可靠性严重不足。

伯克利和得克萨斯大学推出 FreeToken，新引擎可在普通设备上运行大型开源模型。8GB 游戏本跑 35B 模型达 39.3 tokens/秒，快于生产环境中的 Codex。FreeToken 让 GPU 缓存跟随路由请求，将专家缺失率从 llama.cpp 的 62% 降至 16%，其余按 PCIe 和内存速度比例分配。