Nathan Lambert 谈 AAv5 指数与开源模型评测

开源模型成功的核心并非基准分数，而是即时且长期的工具支持与可微调性。Gemma 过去在这些方面表现挣扎，而 Qwen 则表现出色，这才是决定模型成败的关键因素。

Interconnects 播客第20期围绕 AI 界动荡一周展开辩论，重点讨论 Kimi K3.1 Pro 为何在亮眼 benchmark 下反响不一、能否被采用。节目还质疑此前对开源权重模型与网络安全风险的判断是否有误，并探讨为何网络安全专家与 AI 专家对近期事件的解读差异巨大。节目另设章节谈及 abliterated API、Anthropic 不招初级员工等话题。

关于 kimi k3.1 pro 基准测试的 TLDR 是，看起来他们搞定了自己的 RL，最初发布的版本是一个非常令人印象深刻的基座模型，后训练较轻。中国在能力提升方面确实跟得很紧。

月之暗面发布 Kimi K3.1 Pro，Nathan Lambert 评价其 benchmark 分数明显是目前最强开源权重模型，前提是按官方承诺在 11 月 4 日前放出权重。作者指出 K3.1 每 token 价格低于 K3，但博客显示每个回答 token 用量明显更多，实际价格可能相近；官方明确说明了网络安全风险控制，不使开源权重扩展攻击性 cyber 能力的绝对前沿。

防御性网络安全方面可能也很出色，但没人会发这种内容来博眼球！

如果你只公布一个模型的基准测试成绩却不发布它（权重、产品、API 等"稍后"再说），那几乎可以肯定，在你把它发出来之前，会有人先发布一个你所在类别里更好的模型。

Nathan Lambert 表示正为 Mercor 提供研究方向的建议，主张构建可扩展的样本高效 RL 数据方法，并推动评估科学前沿、针对明确经济价值领域建立专门 benchmark。他认为前沿实验室将围绕真实世界代表性评估与合成数据方法大举投入，并看好基于开源模型构建这一方向的机会。

这很棒。在很多情况下，算力获取而非资金才是这些团队的瓶颈。 我们仍然需要更多学术/非营利方向的资助，一步一步来。

当前的 harness 在 LLM 如何管理自身上下文方面设置非常僵化。我们展示了你可以让 LLM 直接编辑上下文——从而实现更好的长时程记忆、FLOP 高效适配，以及更多。 不用再害怕 compaction 了！

每当我看到某个模型登顶这张图表，通常都觉得有点不对劲。希望能被证明是我错了！ [引用 @synthwavedd]：意料之中，遗憾的是新 Opus 唯一的缺点就是它是个吞噬 token 的怪兽。在所有被评测的模型中，它在每个 Intelligence Index 任务上消耗的 token 最多。 降价在这里就说得通了！