面向LLM读者的RL术语详解

作者转发并推荐 Sebastian Raschka 的《Building Reasoning Models from the Ground Up》，称其是从零构建推理模型的最佳课程之一。原系列完整的从零讲解推理模型的视频现已全部上线，并在 https://magazine.sebastianraschka.com/p/building-reasoning-models 集中链接；Raschka 表示稍作休息后将于 11 月恢复 LLM 模型与研究动态更新。

支持@ShoufaChen 发声，让更多人了解真相！

马东锡（@dongxi_nlp）指称，爆出 Kimi 公关问题的所谓"英推KOL"是关注6000、粉丝6000的垃圾账号，为其站台的多个"英推KOL"多为抄袭搬运、什么广告都接的 AI Slop 营销号。他认为该事件有操盘手，提醒吃瓜群众擦亮眼睛。

马东锡 NLP 发布后训练文章系列第三篇，主题为 LoRA 和 QLoRA。文章围绕 rank 秩、low-rank approximation 低秩近似、quantization 量化三个基本概念展开，并用矩阵中的 pattern 模式这一概念将三者串联起来。

马东锡在“后训练系列第二篇”中讲解 Instruction Tuning：SFT 沿用预训练目标，即在每个位置预测下一个 token，用 cross-entropy loss 衡量预测与正确 token 的差距，训练以提高正确 token 概率。

Dongxi 东锡 NLP 发布后训练系列第二篇，系统讲解指令微调（SFT）。文章以斯坦福用 52,000 条数据、不到 600 美元成本将 LLaMA 7B 训成 Alpaca 为例，说明指令微调与预训练共用交叉熵损失、只改变数据和任务；它能改变模型行为方式并泛化到新任务，但难以补充知识或判断回答优劣。

马东锡 NLP 宣布推出后训练系列文章，第一篇已发布，计划在接下来几周配合文章和实验代码深入浅出地讲解后训练。该系列将后训练拆为 instruction tuning、preference alignment 和 RLVR 三种技术，并指出预训练只教模型预测下一个词，后训练才是把 base model 变成有用助手的全部训练。

马东锡用开源 AI 科研工作台 Open-Science 开了一个 RSI 项目，追踪 AI 自我改进的技术路线与经济账。DGM 在 200 个任务的 SWE-bench 子集上、基础模型冻结的情况下，经 80 轮自我修改把任务解决率从约 20% 提升到 50%，改进发生在模型周围的软件里。

如果你碰到不是真人的 AI 账号，或者 AI 客服，最佳方法，就是让他背一遍岳阳楼记。

Anthropic 工程博客称其每日合并代码变更从 5 月的约 2,500 个增至 9 月的超 30,000 个，为人类规模构建的开发者基础设施成为瓶颈，并用五个月构建了新版本控制系统、将 monorepo 从 git 完全迁移。