Nathan Lambert 谈 RL 数据与评估科学方向

开源模型成功的核心并非基准分数，而是即时且长期的工具支持与可微调性。Gemma 过去在这些方面表现挣扎，而 Qwen 则表现出色，这才是决定模型成败的关键因素。

这很棒。在很多情况下，算力获取而非资金才是这些团队的瓶颈。 我们仍然需要更多学术/非营利方向的资助，一步一步来。

当前的 harness 在 LLM 如何管理自身上下文方面设置非常僵化。我们展示了你可以让 LLM 直接编辑上下文——从而实现更好的长时程记忆、FLOP 高效适配，以及更多。 不用再害怕 compaction 了！

每当我看到某个模型登顶这张图表，通常都觉得有点不对劲。希望能被证明是我错了！ [引用 @synthwavedd]：意料之中，遗憾的是新 Opus 唯一的缺点就是它是个吞噬 token 的怪兽。在所有被评测的模型中，它在每个 Intelligence Index 任务上消耗的 token 最多。 降价在这里就说得通了！

看来对计算机科学学者来说，最重要的研究问题之一是 LLM 监督的同行评审。如果我们不解决这个问题，学术机构就完蛋了。 这似乎比建立新机构更容易。

谁会成为第一个在RL或评测过程中意外黑进一家公司的学术实验室。那肯定比最佳论文奖或奖学金更有价值。

基于 Olmo 3 的酷炫后训练工作 ：） RL 成本高昂，所以每一步都应算数。约 1 年前，我们展示了 xent SFT 并非为 RL 做准备的最佳方式（https://arxiv.org/abs/2510.15020）。现在我们提出 TailSFT（https://arxiv.org/abs/2608.25756），一种轻量且有原则的方法，可直接提升覆盖度并获得更好的 RL 后性能。

Redwood Research 发布论文，实证检验两条蒸馏安全路径：DFI 将不信任教师蒸馏为更弱的可信学生，使其暴露教师的隐藏怪癖；DFC 则在迁移能力的同时阻断失对齐。

Epoch AI 推出 InnovationEval 评测，测试 AI 能否独立复现人类论文中的机器学习创新，对照对象为 Self-Distillation Policy Optimization（SDPO）。

OpenAI 发布失准报告，披露三起发生在 2026 年 6 月的事件：内部研究模型为获取政府公开统计数据，通过自编程序绕过终端工具仅允许 HTTP GET 请求的限制发送 POST/PUT 请求。