AI 情报文章归档

Llama 2 发布，可在 Hugging Face 上获取。

LlamaIndex 工程师在发布 LlamaHub Tools（含 Gmail、Google Calendar、Wolfram Alpha 等 15 个工具）后，总结编写 LLM Agent 工具的技巧。

LlamaIndex 发布 Data Agents，LLM 驱动的知识工作者可对非结构化、半结构化和结构化数据执行读取与写入任务。

OpenAI 宣布 API 更新，包括可控性更强的模型、函数调用（function calling）能力、更长的上下文以及更低的价格。

OpenAI 训练模型在数学问题求解上取得新的 state-of-the-art，方法是对每个正确的推理步骤给予奖励（过程监督），而非只奖励最终正确答案（结果监督）。除提升性能外，过程监督还有对齐收益：它直接训练模型产生人类认可的思维链。

LlamaIndex 在博客中展示新查询引擎 SQLAutoVectorQueryEngine，可同时利用 SQL 数据库和向量数据库回答同时涉及结构化与非结构化数据的自然语言查询。

OpenAI 推出 ChatGPT iOS 应用。应用支持跨设备同步对话记录和语音输入，并将最新模型改进带给用户。

LlamaIndex 在 UBER 2019-2022 年 SEC 10-K 文件上测试 Anthropic 新推出的 100K token 上下文窗口。由于单份 10-K 约 160k token 仍超出窗口，作者用 list index 切成约 100k token 大块并测试响应合成策略。

LangChain 发布名为 Plan-and-Execute 的新型智能体执行器，先由 planner 规划步骤，再由执行器逐步完成，与此前基于 ReAct 的 Action Agent 形成对比。该设计将规划与执行分离以提升可靠性，代价是更多 LLM 调用，灵感来自 BabyAGI 和 Plan-and-Solve 论文，首版放在实验模块，提供 Python 和 JS/TS 文档。

LangChain 发布技术博客，对比近两周流行的 AutoGPT、BabyAGI、CAMEL 和 Generative Agents 四个 Agent 项目，将其分为自主智能体与智能体模拟两类。

Hugging Face 发布 StackLLaMA 教程，手把手讲解如何用 RLHF 方法训练 LLaMA 模型，覆盖完整训练流程。

LangChain 宣布获得 1000 万美元种子轮融资，由 Benchmark 领投。上线六个月来该项目在 GitHub 获超 20K stars、拥有 350+ 贡献者。

OpenAI 发布 3 月 20 日 ChatGPT 故障的事后说明，介绍了调查发现、已采取的措施以及该 bug 的技术细节。

OpenAI 宣布在 ChatGPT 中实现对 plugins 的初步支持。插件是以安全为核心原则、专为语言模型设计的工具，可帮助 ChatGPT 获取最新信息、运行计算或使用第三方服务。

OpenAI 发布论文 GPTs are GPTs: An early look at the labor market impact potential of large language models，对大语言模型的劳动力市场影响潜力进行早期分析。材料抓取失败，仅标题可用，论文具体方法与结论暂无法核验。

ARC 作为第三方评估方与 Anthropic、OpenAI 等实验室合作，在受控环境中测试前沿模型自主获取资源、逃避人工监督的危险能力。结论是被测的 Claude 和 GPT-4 版本均未能产出可信的完整自主复制计划，执行中易出错、有幻觉、难以在多副本间分派任务，但能部分完成浏览网页、雇佣人类代办、制定长期计划等子任务。

研究发现Transformer模型的残差流中存在“特权基向量”现象，即某些坐标方向持续出现异常大的激活值，这与“无特权基”的理论预期相悖。通过实验，研究者将根源指向Adam优化器中的逐维度归一化器，而非层归一化或浮点精度问题。在2亿参数模型中，典型层有20至60个维度的激活绝对值超过6。研究还提出使用峰度作为检测指标，发现激活分布峰度普遍大于3，进一步证实了基向量对称性被破坏。

OpenAI 发布 GPT-4，称其为扩展深度学习的最新里程碑。GPT-4 是接受图像和文本输入、输出文本的大型多模态模型，在多项专业和学术基准上达到人类水平表现，但在许多现实场景中仍不及人类。

OpenAI 发布 GPT-4。官方介绍其可生成、编辑并与用户迭代创意和技术写作任务，如创作歌曲、编写剧本或学习用户的写作风格。

LangChain 与社区成员 Francisco Ingham、Jon Luo 发布 LLM 与 SQL 结合的实践指南，并宣布 3 月 22 日举行一小时网络研讨会。

Hugging Face 发布博客，讲解如何在 24GB 消费级 GPU 上用 RLHF 微调 20B 参数大语言模型，文中涉及 TRL 与 PEFT（见原文链接 https://huggingface.co/blog/trl-peft）。正文抓取失败，仅标题可用，更多细节以原文为准。

Hugging Face 发布博客，介绍 ControlNet 在 Diffusers 库中的支持。

OpenAI 为 ChatGPT 推出试点订阅计划 ChatGPT Plus。ChatGPT 是一款对话式 AI，可与用户聊天、回答追问并纠正错误假设。

Hugging Face 发布系列教程第一篇，讲解如何用 Stable Diffusion 为 Unity 农场游戏确定美术风格。文章涵盖用 Automatic1111 WebUI 本地部署或在线运行的方法、借助 lexica.art 优化提示词的技巧，以及用概念图指导 Unity 场景搭建、材质、灯光和后期处理的完整流程。

Hugging Face 发布教程，讲解如何用 🤗 transformers 运行 CLIPSeg 实现零样本图像分割。

Hugging Face 发布长文图解 RLHF，将其拆为预训练语言模型、训练奖励模型、用 PPO 强化学习微调三个核心步骤，并解释 KL 惩罚如何防止策略偏离初始模型产生胡言乱语。文章还盘点 TRL、TRLX、RL4LMs 等开源工具，指出人类偏好数据成本高、标注不一致以及 PPO 之外优化器等仍待探索的方向。

Hugging Face 发布教程，讲解如何用其 Transformers 库的 Time Series Transformer 从零训练单变量概率时间序列预测模型，涵盖 GluonTS 数据转换、DataLoader 构建、40 个 epoch 的训练及 generate() 自回归推理。

Hugging Face 与 Apple 合作，将 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 转换为 Core ML 版本并发布在 Hugging Face Hub，可在 Apple Silicon 的 CPU、GPU 和 Neural Engine 上运行。

OpenAI 训练了名为 ChatGPT 的模型，能以对话方式交互。对话格式让 ChatGPT 可以回答追问、承认错误、质疑错误前提并拒绝不当请求。

Hugging Face 发布 Document AI 指南，梳理 OCR、文档图像分类、版面分析、文档解析、表格识别和 DocVQA 六大用例及对应开源模型与指标。

Hugging Face 发布教程，基于多组实验总结用 Dreambooth 微调 Stable Diffusion 的推荐设置，并提示 🧨 Diffusers 提供官方训练脚本。

OpenAI 宣布 DALL·E API 即日起开放公测，开发者可以开始使用该 API 构建应用。

Hugging Face 发布使用 🤗 Transformers 对 Whisper 进行多语言语音识别（ASR）微调的分步教程。

Hugging Face 发布教程，以 MNIST 训练示例讲解三种抽象层级的分布式数据并行训练：PyTorch 原生 torch.distributed 与 DDP、Accelerate 的轻量封装、Transformers 的 Trainer API。

Hugging Face 发布 MTEB（Massive Text Embedding Benchmark），用于衡量文本嵌入模型在多类任务上的表现，排行榜已汇总超过 2000 条结果。

Hugging Face Diffusers 自 0.5.1 版本起支持 Flax，官方博客教程演示如何用 JAX/Flax 在 Google TPU 上运行 Stable Diffusion 推理。

OpenAI 宣布 DALL·E 取消候补名单，新用户可以立即开始生成图像。官方表示这一更广泛的开放来自部署中积累的经验和安全系统的改进。

Hugging Face 发布博客讲解 Accelerate 如何加载和运行超出单机内存的超大模型。核心做法是用 PyTorch meta device 创建空模型、用 infer_auto_device_map 自动计算 GPU、CPU 与磁盘的设备分配，并按分片加载权重，通过 hooks 在每次前向传播前后搬运权重。

Hugging Face 与 Intel Labs、UKP Lab 发布少样本学习框架 SetFit，无需提示词即可微调 Sentence Transformer 做文本分类。

OpenAI 训练并开源了名为 Whisper 的神经网络，其英文语音识别的稳健性和准确率接近人类水平。