Nathan Lambert 谈开源模型现状

国会工作人员邀请我就开源模型的性能、采用情况以及与中国相比的竞争态势分享看法。以下是我的简报，包含我们最新的全部数据以及对下一步走向的预测。 我非常乐意花时间做面向更广泛受众的开源模型内容！

Vercel AI Gateway 上开源模型 token 占比今日或创纪录，达 78.4%，闭源模型为 21.6%。Moonshot AI 与 DeepSeek 分列支出第 3、4 位，加上 Z.ai 后合计支出超过 OpenAI（第 2）。Nathan Lambert 补充了历史开源 vs 闭源数据对比，并指出还需有 token 量（而非仅占比）才更有参考价值。

随着 Claude 对 OpenAI 的外部攻击事件，闭源模型依然是 AI 风险冰山的主体，而非开源模型。它们 1） 更容易上手，2） 能力更强，3） 发布时防护措施存在漏洞。而将开源模型微调用于特定攻击则更难。

针对 GRPO 强化学习在难题上收益有限的问题，研究者提出 "Never Give Up" 方法：当 GRPO 组内所有回答都错误时，以约 0.9 的概率继续采样，以寻找非零梯度的批次，该方法有效。研究将 RL 收益集中在简单题目的现象称为 LLM 强化学习的马太效应，并借助异步 RL 攻克更难问题。

Nathan Lambert 认为开源模型更可能因普遍恐慌而被过早封禁，全面禁止开源将导致更多反乌托邦后果。他承认某些能力级别的开放权重模型或可被"暂停"，但强调这需要非常专业的判断。此番讨论源于 @tszzl 预测开源将在某次重大灾难后被禁，并希望 Kimi、DeepSeek 等继续做模型但通过 API 受监控。

Nathan Lambert 认为，前沿实验室里构建 LLM 的人仍在高强度、窄任务上拼命工作，这说明我们可能只是"接近"而非处于 RSI（递归自我改进）。若真进入 RSI，人类投入应逐步减少；只要人类仍深度嵌入研究流程，最极端的 RSI 形态就不会出现，实验室人员的倦怠程度可作为判断代理指标。他因此认为当前是 AI 研究自动化带来的加速，但并非立即爆发式。

我们有证据表明：1） AI智能体非常擅长改进用于训练AI的软件 2） 大语言模型在许多领域可以达到超人水平 但这些并不能推导出"AI将强大到在N年内毁灭我们"的结论。我们预测的是不可避免的饱和，以及未知的未来突破。

Nathan Lambert 呼吁关注新一批开源模型，而非 OpenAI/Anthropic 的争议。其引用的 Artifacts 24 期列出 7-9 月值得关注的 25 款模型，涵盖 Motif-3、GLM-5.3、Hy4-preview 等，来自 Qwen、DeepSeek、Meta、Google 等 18 家机构。

通义千问发布 Qwen-Image-2.1，一个 7B 参数的原生图像生成与编辑模型，生成和编辑共用单一检查点，最多支持 10 张参考图。模型自带提示词增强 LLM，已集成 diffusers 和 ComfyUI，并在 Hugging Face Spaces 提供免安装的浏览器在线 demo：https://huggingface.co/spaces/hugging-apps/qwen-image-2-1

xAI 发布 Grok 4.7，定位为其最强编码与知识工作模型，定价 $2/百万输入 token、$6/百万输出 token，与 Grok 4.6 同价同速，另有速度和价格加倍的快速变体。