AI 观点与方法

这篇 Modal 工程博客讲解如何微调开源嵌入模型，在 Quora 重复问题数据集上用几百条样本即可在文本相似度任务上超越 OpenAI text-embedding-3-small。

Anthropic可解释性团队分享了2024年4月的研究进展与招聘规划。团队现有17人，预计2024至2025年将持续大规模扩张，重点招聘管理、研究科学家和工程师等职位。研究方面，团队探讨了字典学习的扩展规律，分析了计算资源分配与稀疏自编码器（SAE）训练效果的关系，并以一个具体案例展示了通过大规模超参数扫描寻找最优配置的过程。团队强调，这些成果属于初步分享，类似于实验室会议上的非正式交流。

Sam Altman 分享17条创业与管理建议：以乐观、信念和人际网络启动项目，用凝聚团队和长期主义推动落地；集中资源押注高信念项目，设计好激励机制，保持快速迭代；警惕官僚作风，重视人才招聘与复利效应，与优秀的人共事。

LangChain 针对幻灯片场景发布多模态 RAG 模板和包含 10 个问题的公开基准。在 Datadog 财报幻灯片上，多模态嵌入方案 CoT 准确率为 60%，图像摘要加 multi-vector retriever 达 90%，均高于仅文本抽取 RAG 的 20%；作者指出图像检索是核心挑战，并基于 Chroma 与 OpenCLIP 嵌入提供两步启动的部署模板。

LangChain 撰文解读 OpenAI 在 demo day 分享的客户 RAG 实验，将其归纳为基线检索、查询变换、路由、查询构造、索引构建和后处理等类别。

Hugging Face 发布博客，介绍如何用 Latent Consistency LoRAs 将 SDXL 图像生成压缩到 4 步完成。

LlamaIndex 介绍如何在 RAG 中使用 LongLLMLingua，通过问题感知的粗粒度重排、细粒度提示词压缩和子序列恢复来增强 LLM 对关键信息的感知。

LlamaIndex 发布教程，介绍 LayoutPDFReader 如何结合层级布局信息解析 PDF，实现章节识别、段落合并、表格与列表处理等内容感知分块。文章给出接入 llmsherpa API 和构建 LlamaIndex 向量查询引擎的示例代码，并说明该工具仅支持带文本层的 PDF，暂不支持 OCR。

LlamaIndex 演示如何用 Response Evaluation 模块评测 RAG 系统的最佳 chunk size，以 Uber 2021 10K 文件为数据。

OpenAI 发布面向教师的 ChatGPT 课堂使用指南。内容包含建议提示词、ChatGPT 工作原理及其局限性说明、AI 检测器的有效性，以及偏见问题。

LlamaIndex 工程师在发布 LlamaHub Tools（含 Gmail、Google Calendar、Wolfram Alpha 等 15 个工具）后，总结编写 LLM Agent 工具的技巧。

LlamaIndex 在博客中展示新查询引擎 SQLAutoVectorQueryEngine，可同时利用 SQL 数据库和向量数据库回答同时涉及结构化与非结构化数据的自然语言查询。

LangChain 发布技术博客，对比近两周流行的 AutoGPT、BabyAGI、CAMEL 和 Generative Agents 四个 Agent 项目，将其分为自主智能体与智能体模拟两类。

ARC 作为第三方评估方与 Anthropic、OpenAI 等实验室合作，在受控环境中测试前沿模型自主获取资源、逃避人工监督的危险能力。结论是被测的 Claude 和 GPT-4 版本均未能产出可信的完整自主复制计划，执行中易出错、有幻觉、难以在多副本间分派任务，但能部分完成浏览网页、雇佣人类代办、制定长期计划等子任务。

研究发现Transformer模型的残差流中存在“特权基向量”现象，即某些坐标方向持续出现异常大的激活值，这与“无特权基”的理论预期相悖。通过实验，研究者将根源指向Adam优化器中的逐维度归一化器，而非层归一化或浮点精度问题。在2亿参数模型中，典型层有20至60个维度的激活绝对值超过6。研究还提出使用峰度作为检测指标，发现激活分布峰度普遍大于3，进一步证实了基向量对称性被破坏。

LangChain 与社区成员 Francisco Ingham、Jon Luo 发布 LLM 与 SQL 结合的实践指南，并宣布 3 月 22 日举行一小时网络研讨会。

Hugging Face 发布长文图解 RLHF，将其拆为预训练语言模型、训练奖励模型、用 PPO 强化学习微调三个核心步骤，并解释 KL 惩罚如何防止策略偏离初始模型产生胡言乱语。文章还盘点 TRL、TRLX、RL4LMs 等开源工具，指出人类偏好数据成本高、标注不一致以及 PPO 之外优化器等仍待探索的方向。

Hugging Face 发布 Document AI 指南，梳理 OCR、文档图像分类、版面分析、文档解析、表格识别和 DocVQA 六大用例及对应开源模型与指标。

Hugging Face 发布教程，基于多组实验总结用 Dreambooth 微调 Stable Diffusion 的推荐设置，并提示 🧨 Diffusers 提供官方训练脚本。

Hugging Face 发布使用 🤗 Transformers 对 Whisper 进行多语言语音识别（ASR）微调的分步教程。

Hugging Face 发布教程，讲解如何用 🧨 Diffusers 库运行 CompVis、Stability AI 和 LAION 推出的文生图模型 Stable Diffusion v1-4。

Hugging Face 与 bitsandbytes 合作，将 LLM.int8() 8 位矩阵乘法完整集成到 transformers 和 accelerate 库，使 BLOOM-176B 等大模型推理显存占用减半且无性能下降。

Hugging Face 宣布 🤗 transformers 的 TensorFlow 文本生成现可通过 XLA 编译加速，某些场景提速超过 100 倍，在多数基准中比 PyTorch 更快，最高快达 9 倍。

Hugging Face 发布教程，基于 Ho et al. 2020 的 DDPM 论文和 Phil Wang 的实现，用 PyTorch 逐步拆解并实现去噪扩散概率模型。

OpenAI 发布题为 Hierarchical text-conditional image generation with CLIP latents 的研究，提出基于 CLIP 潜变量的分层文本条件图像生成方法。正文抓取失败，仅标题可用，细节以原文页面为准。

监督学习任务的性能依赖于高质量标注数据，但获取大量标注样本成本高昂。主动学习是一种在标注预算有限、但允许投入部分人工标注资源的条件下，应对标注数据不足的范式。其核心思路是智能地选择最具信息量的样本进行标注，以在有限预算内最大化模型性能的提升。该方法旨在解决当面临标注数据受限时，如何通过策略性采样来高效利用标注资源的问题。

本练习集旨在通过动手编写注意力头的具体权重矩阵，从参数层面精确理解Transformer工作机制。内容涵盖：详解注意力头中W_Q、W_K、W_V、W_out矩阵的作用；分析读写子空间的控制矩阵及其乘积意义；探讨如何用两个矩阵等效表示注意力头及其秩的含义；研究跨层注意力头如何通过矩阵运算传递信息。并通过具体数值示例，演示多个“前词注意力头”如何协作实现“查看前两个词”的虚拟功能，以及手动构建实现“归纳头”的“指针算法”步骤。

进化策略是一种在目标函数解析形式未知或无法直接计算梯度时，用于优化模型参数的黑箱优化算法。它作为随机梯度下降的替代方案，适用于多种优化场景。文章介绍了模拟退火、爬山法、Nelder-Mead方法等经典进化策略，并探讨了该方法在深度强化学习中的应用。通过评估目标函数值而非依赖梯度信息，进化策略为复杂优化问题提供了有效路径。

OpenAI 发布 Spinning Up in Deep RL，一套旨在让任何人学会成为深度强化学习熟练从业者的教育材料。资源包含清晰的 RL 代码示例、教育性练习、文档和教程。

该文章系统梳理了策略梯度算法的发展脉络，深入解析其工作原理，并详细介绍了从基础到前沿的多种算法，包括PPO、SAC、TD3、IMPALA等主流方法。文章自2018年起持续更新，陆续新增了D4PG、SVPG、PPG等新算法，并补充了关于PPO的最新讨论。文中还提供了韩语及中文等多个语言版本的翻译，便于不同读者参考。

人类与机器的"融合"并非未来奇点，而是已悄然开始数年的渐进过程。智能手机、社交媒体算法和搜索引擎已在控制人类行为与思维，我们正与AI进入共同进化阶段：AI影响人类，人类改进AI。随着算力和AI人才呈双指数级增长，超级智能与脑机接口将比预期更快到来。与其对抗或被淘汰，深度融合或许是避免物种冲突的最佳路径，但全球需立即开始严肃协调应对。