AI 论文与研究

Meta-reinforcement learning aims to train agents that adapt quickly to unseen tasks from limited interaction, but this requires representing task evidence over long interaction histories. Classical recurrent agents compress experience into…

Tool-using language model agents rely on environmental facts to decide whether an action is permitted. When a tool response omits a safety-relevant fact, an agent may carry out a prohibited action even though the user request is benign and…

Many recent open-weight language models use n-gram embedding tables to improve performance. These tables store learned representations of short token sequences, such as pairs or triples of consecutive tokens, which the model retrieves duri…

Standard implementations of softmax, log-softmax, and cross-entropy have two numerical bugs. The first bug, Softmax Collapse, rounds the target logit's gradient to zero if that one logit is much larger than the others, resulting in gradien…

Chain-of-thought (CoT) prompting elicits step-by-step rationales that appear to explain model predictions, but there is no guarantee these steps causally drive the final answer. In standard autoregressive generation, dense attention allows…

Multilingual pipelines such as FineWeb2 apply one recipe across a thousand languages, leaving the failure modes of individual languages unanticipated. We use an LLM once, as a corpus debugger rather than a classifier: a tool-using agent ex…

Looped architectures scale quality while keeping parameter count fixed by repeatedly passing activations through the same block of layers. During inference, each recurrence generates independent KV-caches, causing memory to grow linearly. …

Instrumental convergence is often invoked as a general reason to expect capable agents to acquire or express power-seeking subgoals: self-preservation, resource acquisition, deception, or resistance to oversight which poses an important th…

While monolingual language model (LM) surprisal is widely established as a predictor of reading times, it cannot capture the non-native (L2) reading dynamics that are shaped by the reader's first language (L1). In this work, we investigate…

On-policy distillation has been widely adopted for alleviating the distribution mismatch of off-policy distillation. Self-distillation further removes the need for an external teacher by using the student's own outputs, enhanced with extra…

We study learning a discrete distribution under person-level differential privacy in the batched setting. Given $n$ users, each contributing $m$ i.i.d. samples from an unknown distribution $μ$ over $[k]$, we seek an estimate of $μ$ with to…

Purpose: To describe an evidence-aware retrieval evaluation protocol for a clinical retrieval-augmented generation (RAG) system over breast lesion management literature, addressing the dependence of retrieval scores on annotation coverage.…

Counterfactual explanation methods have been introduced for unimodal settings, with dedicated frameworks for tabular, timeseries, text, and image data, yet no post-hoc method has been designed for classifiers that learn from multimodal inp…

Control evaluations measure whether safeguards can prevent an AI model from causing undesired outcomes even when it is intentionally trying to do so. These evaluations typically use purpose-built control settings and extrapolate their resu…

METR 和 Redwood Research 各一名员工今年夏天在 OpenAI 驻场三周，评估其内部智能体错位监控系统，简报现已公开。

严重推荐！ FrontierCS 2：计算机科学研究基准

Anthropic 发布对 Claude Mythos 5 对齐问题的评估报告。

METR 与 Redwood Research 各派一名员工，于 7 月 21 日至 8 月 11 日对 OpenAI 内部失准监测系统开展三周高权限试点压力测试，产出 61 页内部报告。

Google DeepMind 与 Google Research 联合 World Resources Institute 和 IIASA 发布 Forest Typology（ForTy）2020 全球地图，以 10 米分辨率将地球每块土地划分为 FAO 定义的六类森林与土地类型，并首次提供 2017 至 2025 年逐年变化时间序列，展示天然森林被种植园或农场取代等变化。

斯坦福与伯克利研究者提出可插拔小模块 TokenGate，插在现有 LLM 浅层学习"跳读"长上下文，只把 top-K token 传给上层。论文报告无精度损失时首 token 时间快 1.4–11.3 倍、峰值显存降 1.5–3.4 倍，相对最强免训练剪枝最高约 6.4 倍更快、2 倍更省显存。训练成本接近 LoRA，无需从零预训练。

Sierra 发布 𝜏-Entity 基准，测量语音智能体能否正确采集、识别错误并修复姓名、电话号码、地址和邮箱等细节，包含 10 种实体类型共 200 个任务，并与 𝜏-i18n 一样覆盖六种语言。

大语言模型在数学和科学上越来越强。但令人意外的是，许多模型连一个基础谜语都解不开。 @Cohere_Labs 的 CulturalRiddles 是一个新基准，将文化作为相互交织的生活体验来衡量。秉持开放科学精神，它由一支意想不到的团队打造。

Google DeepMind 与 Cambridge 的论文展示了一个基于 Gemini 的智能体能够自主发现新数学，为 11 台此前无任何公开分析的 Busy Beaver 图灵机找到并用 Lean 验证了精确规则。该智能体先在模拟器中测试边界情况，起草非形式化证明，再用 Lean 证明检查器完成形式化证明。

OpenAI 与 PerturbAI、Scripps Research 合作，用数千个基于 GPT-Rosalind 的智能体在 32 分钟内完成对数百万小鼠细胞的全脑 CRISPR 图谱分析，人工估计需数月至一年。

小红书大模型基建部发布 NeurIPS 2026 论文 Hint Tuning: Less Data Makes Better Reasoners，把推理模型的思维链按反思词切成片段作为 hint 交给同家族 Instruct 模型，测出每道题的最小有效提示，据此构造长度可变的训练数据。

腾讯混元推出 WorkForge 框架，可从真实世界资源构建可验证的长周期工作智能体训练环境。该框架从专家工作流出发搭建真实工作空间、抽取可核查事实，并生成任务及程序化与语义双重验证器，已扩展至覆盖 40 个专业领域、60 种文件类型的 16.7K 个环境。随着数据量和交互时长增加，该框架在长周期工作基准上带来稳定提升。

腾讯混元推出 WorkForge，一个可从真实世界资源构建可验证训练环境的可扩展框架，面向长周期工作智能体。该框架从专家工作流出发搭建真实工作空间、抽取可核查事实，并派生任务及程序化与语义双重验证器，已扩展至覆盖 40 个专业领域、60 种文件类型的 16.7K 个环境。随着数据量和交互时长增加，其在长周期工作基准上带来持续稳定的提升。

腾讯混元与复旦大学研究团队提出 WorkForge 框架，从真实世界资源出发规模化构建可验证的智能体工作环境，产出 WorkForge-16K 共 16,665 个环境，覆盖 40 个专业领域、60 种文件类型。

Ai2 发布 PLANTEUR，将 PASTIS 基准扩展到留尼汪、瓜德罗普、马提尼克、法属圭亚那、马约特和圣马丁六个热带地区。该基准包含 2,750 条 Sentinel-2、Sentinel-1 和 Landsat-8 对齐时间序列，以及覆盖 7 类作物的 4,506 km² 地块标签。

Beren Millidge 发文提出 AI 发展经历预训练、RL 与持续自主学习三阶段，训练循环逐步内生化，对齐挑战也相应迁移到更抽象的层级。文章认为每阶段的对齐难题都是能力难题的镜像，核心瓶颈从数据集构造，到设计可靠的判断程序，最终变为设计能在模型自主变化中维持不变量的控制系统，并指出持续学习会带来漂移和类灾难性遗忘的新挑战。

Microsoft 研究员与合作者证明 1995 年提出的 Kannan-Lovász-Simonovits（KLS）猜想，形成 140 页证明。AI 智能体探索约 100 条研究路径、执行推导、辅助撰写手稿并运行内部证明检查，研究者负责筛选弱方向，递归方法和误差界归功于两位研究者。该猜想描述随机游走者在凸体内不会被狭窄通道困住，可高效探索整个形状。

新论文测试 GPT-6-Astra 在 12 个机器人基准上的表现，其在 LIBERO 套件接近饱和，RoboDojo 达 81.9%、DexJoCo 达 87.3%，但无法验证物理成功或从不可逆错误中恢复。

Meta 与密歇根州立大学的新论文发现，LLM 构建的推理图质量差异很大，且图中的错误会传导到基于图计算的置信度分数上。研究测试了 9 个模型，从给定步骤到完全自建图逐步减少辅助，结果显示图质量更多与模型家族和图结构相关，而非模型规模，Qwen3-32B 回答子问题的表现甚至不如 Qwen3-8B。作者建议在信任基于 LLM 推理图得出的答案或置信度之前，先检查图本身。

Perplexity 与 NVIDIA 团队提出后训练方法 JOLT，让同一个模型同时扮演教师和学生，且教师也参与训练。在 MATH 上，JOLT 以 6.5 倍更少的训练 token 达到 GRPO 的准确率；JOLT+ 在 AppWorld 状态测试通过率达 72.09%，比 GRPO 的 62.20% 高 9.9 个百分点。

Google 新论文提出 OO-Harness，将 agent harness 按代码类演化成共享家族，每个专用 harness 继承父类、只改本簇所需部分，再由路由器根据基础运行结果选择专用版或保留基础结果。

Nathan Lambert 在哈佛 CS 2881R 客座讲座整理了开源模型现状全景幻灯片，判断开源模型落后闭源前沿约 3 到 5 个月且差距在缩小。他指出性能、下载量、论文引用三方面中国开源全面领先，美国开源又落后中国 3 到 4 个月；把蒸馏当成核心问题是高估，美国真正持久的优势是算力，前五实验室总算力约为中国前五家的 16 倍，禁止开源只会损害经济活动。

@oradotai 联合 Vercel、Stripe、Auth0、Mintlify、Tavily、Google 等推出 AgentReady（agentready.org），一份 MIT 许可的开源规范，规定网站要让 AI Agent 找得到、读得懂、用起来需做到什么。

我们如何扩展 LLM 的上下文？ Agentic search 可扩展到任意规模的信息，但很容易遗漏相关信息。 想法💡：针对下游效用优化信息的组织方式。即使在 OOD 领域也能带来 30+% 的提升 论文 + 代码：https://librarian-agents.github.io/

Perplexity 与 NVIDIA AI 提出后训练方法 JOLT，让同一模型同时充当教师和学生，并训练教师从自身尝试的奖励中学习、惩罚偏离学生行为的漂移。在 MATH 基准上，JOLT 用少 6.5 倍的训练 token 达到与 GRPO 相当的准确率。JOLT+ 在此基础上为学生模型增加结果奖励，在数学、编程、终端任务和工具使用基准上明显优于 GRPO。

Sierra 发布 𝜏-i18n，将 𝜏-Voice 扩展到西班牙语、巴西葡萄牙语、印地语、韩语和普通话五门语言，使用统一的航空、零售、电信任务跨语言对比。