Nathan Lambert 谈 Artificial Analysis v5 指数与基准评测行业

开源模型成功的核心并非基准分数，而是即时且长期的工具支持与可微调性。Gemma 过去在这些方面表现挣扎，而 Qwen 则表现出色，这才是决定模型成败的关键因素。

私有基准测试往往显示开源模型落后更多，但私有基准的问题在于，你没有社区帮你压掉那些不可避免的 bug。私有还是开源才是最佳方案，我五五开。

我觉得有必要同时为 AAv5 指数和开源模型辩护。基准评测比大多数人以为的更混乱、更主观，也更棘手。

Interconnects 播客第20期围绕 AI 界动荡一周展开辩论，重点讨论 Kimi K3.1 Pro 为何在亮眼 benchmark 下反响不一、能否被采用。节目还质疑此前对开源权重模型与网络安全风险的判断是否有误，并探讨为何网络安全专家与 AI 专家对近期事件的解读差异巨大。节目另设章节谈及 abliterated API、Anthropic 不招初级员工等话题。

关于 kimi k3.1 pro 基准测试的 TLDR 是，看起来他们搞定了自己的 RL，最初发布的版本是一个非常令人印象深刻的基座模型，后训练较轻。中国在能力提升方面确实跟得很紧。

月之暗面发布 Kimi K3.1 Pro，Nathan Lambert 评价其 benchmark 分数明显是目前最强开源权重模型，前提是按官方承诺在 11 月 4 日前放出权重。作者指出 K3.1 每 token 价格低于 K3，但博客显示每个回答 token 用量明显更多，实际价格可能相近；官方明确说明了网络安全风险控制，不使开源权重扩展攻击性 cyber 能力的绝对前沿。

防御性网络安全方面可能也很出色，但没人会发这种内容来博眼球！

如果你只公布一个模型的基准测试成绩却不发布它（权重、产品、API 等"稍后"再说），那几乎可以肯定，在你把它发出来之前，会有人先发布一个你所在类别里更好的模型。

Nathan Lambert 表示正为 Mercor 提供研究方向的建议，主张构建可扩展的样本高效 RL 数据方法，并推动评估科学前沿、针对明确经济价值领域建立专门 benchmark。他认为前沿实验室将围绕真实世界代表性评估与合成数据方法大举投入，并看好基于开源模型构建这一方向的机会。

这很棒。在很多情况下，算力获取而非资金才是这些团队的瓶颈。 我们仍然需要更多学术/非营利方向的资助，一步一步来。