蒸馏或只是SFT副产物

Nathan Lambert 评价 Nvidia 收购 HuggingFace，认为 HuggingFace 影响 AI 讨论方向的能力对 Nvidia 值得每年付出约 100 亿美元。他认为 Nvidia 比三大云厂商更适合做买方，HuggingFace 应摆脱盈利单位定位，去争取下一代 1 亿 AI 开发者；作者曾在 HuggingFace 工作并于去年预言过这一收购。

我不觉得我在 Interconnects 上什么都写对了，但在这样一个快速变化的时代，公开梳理自己的想法真的很有趣。这会迫使你不断改变一些观点，并培养出好的思考直觉。我们需要更多 AI 研究者这样做。

如果你今天想找一个不同的视角--它假设 AI 模型会加速 AI 研究进程，但不会导致快速的 RSI 和近期风险的爆发：https://www.interconnects.ai/p/lossy-self-improvement

我不在OpenAI/Anthropic工作的朋友们有一个共识：这些实验室里的人（尤其是Anthropic）带着一种宗教般的能量在工作。这表现为非常脱离现实的互动方式，并延续到了公开沟通中（例如最近的离职事件）。公司文化造就了这一切。

前 Anthropic 预训练研究员自述离职，称 OpenAI 和 Anthropic 都在竞逐自我改进的超级智能、拿生命做赌注，该帖获得约 1 亿次浏览。Nathan Lambert 转评称其净坏，认为自己重视 AI 安全，但尚未看到支持接近 10% 人类灭绝概率的证据，没有证据就是散布恐慌。

Nathan Lambert 因婚礼休假数周，期间从亲友处收集到对AI的疑问与用例。人们好奇心渐增，但多被主流报道搞糊涂，对AI潜在用途仅触及皮毛。他引用其文章观点：AI革命尚处不到5年的早期阶段，可能持续一个世纪。

Nathan Lambert 转发 OpenAI 的演示并评论称，希望看到关于智能体数量的 scaling laws。OpenAI 称其内部模型组用约 10，000 个协作 AI Agent 在 88 小时内得出 Navier-Stokes 解，并全程保留了监控与隔离等前沿评估安全防护。他认为智能体集群数量的扩展是否与单模型 CoT 推理时计算的扩展同等关键，关系到许多关于 AI 未来的讨论。

在这个感受到早期RSI效应的狂热时代，给朋友寄实体书、举办活动、与刚踏上AI之旅的学生交流，这些都是极好的事情。很多事AGI不会取代，而我们很容易忘记去做。我还会再访问几所大学！

Nathan Lambert用Codex分析50万篇arXiv论文发现，中国开源LLM在AI研究中的提及率从2024年的10%升至如今的约40%，而美国开源模型从30%降至25-30%。Qwen被1/3提及LLM的论文引用，DeepSeek在R1发布后明显跃升；Llama于2025年4月达30%峰值后持续下滑。