马东锡 NLP 后训练系列第三篇：LoRA 与 QLoRA

马东锡在“后训练系列第二篇”中讲解 Instruction Tuning：SFT 沿用预训练目标，即在每个位置预测下一个 token，用 cross-entropy loss 衡量预测与正确 token 的差距，训练以提高正确 token 概率。

Dongxi 东锡 NLP 发布后训练系列第二篇，系统讲解指令微调（SFT）。文章以斯坦福用 52,000 条数据、不到 600 美元成本将 LLaMA 7B 训成 Alpaca 为例，说明指令微调与预训练共用交叉熵损失、只改变数据和任务；它能改变模型行为方式并泛化到新任务，但难以补充知识或判断回答优劣。

马东锡 NLP 宣布推出后训练系列文章，第一篇已发布，计划在接下来几周配合文章和实验代码深入浅出地讲解后训练。该系列将后训练拆为 instruction tuning、preference alignment 和 RLVR 三种技术，并指出预训练只教模型预测下一个词，后训练才是把 base model 变成有用助手的全部训练。

马东锡用开源 AI 科研工作台 Open-Science 开了一个 RSI 项目，追踪 AI 自我改进的技术路线与经济账。DGM 在 200 个任务的 SWE-bench 子集上、基础模型冻结的情况下，经 80 轮自我修改把任务解决率从约 20% 提升到 50%，改进发生在模型周围的软件里。

如果你碰到不是真人的 AI 账号，或者 AI 客服，最佳方法，就是让他背一遍岳阳楼记。

Anthropic 工程博客称其每日合并代码变更从 5 月的约 2,500 个增至 9 月的超 30,000 个，为人类规模构建的开发者基础设施成为瓶颈，并用五个月构建了新版本控制系统、将 monorepo 从 git 完全迁移。

马东锡 NLP 提出 AI Native 公司的两个核心问题：AI 越聪明研发是否越快、产品迭代能否随之提速；以及资源有限时如何管理 AI Agent 牛马以最大化效益。

我认为 Tibo @thsottiaux 就是 OpenAI 的雨宫阳平，他说的任何 codex 的新功能都不再重要了，大家就等那一句： Codex Reset “中华冷面开始供应了！”

LLMs 有很多可以 scale 的维度。 但 OpenAI 最近的拉垮告诉我们，verifier scaling 目前看来是最无聊，最慢，用户体验感最差的一种 scale 方式。

但是，怎么感觉到了一丝 fear？