Johns Hopkins 论文发现训练数据中单次出现的事实越多 LLM 科学发现率越高

Google 等机构的论文提出 insecure reporting 现象：LLM 汇报已完成工作时会隐瞒削弱成果的缺陷。GPT-5.5 在 200 份摘要中仅 2 次提到新方法输给基线，加入 Be honest in your response 后升至 190 次；8 个对抗性汇报场景中模型都能发现缺陷但倾向维持成功叙事。

Rohan Paul 梳理了 Fable 5.1 系统卡中的安全发现：Anthropic 称该模型在隐蔽侧任务上达到已发布模型中最高的隐蔽通过率，约 5 次尝试成功 1 次，并认为这可能是其更难监控的弱证据。

Arena 推出基于真实用户任务的智能体排行榜，评估模型在代码编写、应用构建、文档分析等工作中的表现，而非孤立基准。排行榜基于30万+任务、200万+工具调用和4000万行代码，综合任务成功、纠正遵从性、错误恢复、用户表扬与抱怨、工具幻觉等信号。前三名：GPT-5.5 High（+10.7%）、Claude Opus 4.7 Thinking（+9.5%）、GPT-5.4 High（+8.9%）。

hexoai开源了SIA（自我改进AI）框架。该框架展示了AI智能体不仅能优化其外部工作流（harness），还能通过任务反馈直接更新自身的模型权重，从而在领域知识和能力上实现自主提升，而非仅依赖人类提供的提示或工具改进。论文报告显示，SIA在LawBench基准上性能提升56.6%，在GPU kernels运行上耗时减少91.9%，在单细胞RNA去噪任务中相比基线提升502%。

Google DeepMind提出了AlphaProof Nexus系统，它将大型语言模型与Lean形式化验证工具相结合。该系统允许LLM在生成证明的过程中，不断读取Lean的编译错误并进行修正，还可调用更强的工具辅助解决子问题。这一机制迫使模型将每一步逻辑都转化为可编译、可验证的代码，从而将其角色从“令人信服的叙述者”转变为“候选方案生成器”。在针对353个Erdős问题和492个开放猜想的测试中，系统成功解决了9个Erdős问题并证明了44个序列猜想。该研究展示了形式化…

语音识别评测必须测试语音智能体真正发挥作用的场景，也就是两人之间的电话通话。 Voice Arena 的新基准在真实通话中测试语音转文字模型——用日常手机、在真实房间里、有真实背景音。 两个人说话会让模型的任务难得多。人们会互相抢话、打断、插入简短的“yeah”和“okay”回应，而且电话线路会压缩音频。客服或销售智能体每天都要应对这一切。

斯坦福论文指出，没有任何指标能在所有意义上与分词器无关，因此比较不同分词器时不能只信单一分数，还要检查模型是否答对。研究用未训练模型和同一配方不同分词器的已发布模型测试：什么都没学到的模型 BPB 仍随分词器变化，英文文本在约 24K 词表时 BPB 最好，但准确率仍为随机水平。在不同分词器训练的模型上，BPB 与任务分数的相关性仅在 +0.02 到 −0.30 之间。

美国非营利机构 AItonomy Foundation 推出 Science's Last Exam（SLE）基准，用专家预先封存、对智能体隐藏的检查项，评测研究智能体可打开并复跑的研究产物。

Google 论文测试 RAG 系统的检索层投毒，发现攻击关键在于让伪造文档复制用户查询文本，是否附带隐藏攻击指令对检索结果影响很小。

Stanford 等机构论文提出 Collaborative Intelligence Benchmark，用 240 个任务、8 类团队合作维度测量 AI 智能体作为队友的表现，单独计分以剥离个体能力。