AI 情报文章归档

Anthropic 发布论文 Toy Models of Superposition，用稀疏合成数据训练的小型 ReLU 网络首次明确演示了神经网络可以在维度不足的情况下以叠加方式表示更多特征。

Hugging Face 发布 diffusers 0.3，为扩散模型库新增图生图、Textual Inversion、实验性 inpainting、ONNX 导出和 macOS M1/M2 推理支持等功能。优化后 Stable Diffusion 显存占用降至 3.2GB，代价是约 10% 的速度损失；社区还贡献了视频生成、可解释性工具和日语、动漫方向的微调模型。

OpenAI 为 DALL·E 推出 outpainting 功能，可在原图之外继续扩展画面，支持任意尺寸的图像创作，用于延展创意并讲述更完整的故事。

Hugging Face 发布教程，讲解如何用 🧨 Diffusers 库运行 CompVis、Stability AI 和 LAION 推出的文生图模型 Stable Diffusion v1-4。

Hugging Face 与 bitsandbytes 合作，将 LLM.int8() 8 位矩阵乘法完整集成到 transformers 和 accelerate 库，使 BLOOM-176B 等大模型推理显存占用减半且无性能下降。

Hugging Face 宣布 🤗 transformers 的 TensorFlow 文本生成现可通过 XLA 编译加速，某些场景提速超过 100 倍，在多数基准中比 PyTorch 更快，最高快达 9 倍。

OpenAI 宣布 DALL·E 开放测试，未来几周内将从候补名单邀请 100 万人使用。用户每月可获得免费生成额度，额外额度按 115 次生成 15 美元的价格购买。

Hugging Face 与 BigScience 发布 1760 亿参数的开源多语言大模型 BLOOM，支持 46 种自然语言和 13 种编程语言。模型由 70 多个国家、250 多个机构的 1000 多名研究者历时一年协作完成，在法国 Jean Zay 超算上训练 117 天，算力来自 CNRS 和 GENCI 价值约 300 万欧元的资助。

Hugging Face 发布入门教程，讲解如何用 Inference API 对 Twitter 推文做情感分析，分 coder 与非 coder 两条路径。

OpenAI 通过 Video PreTraining（VPT）在大量无标注人类 Minecraft 游玩视频上训练神经网络，仅使用少量承包商标注数据，微调后模型可合成钻石工具，这一任务熟练人类通常需要超过 20 分钟、约 24,000 个操作。模型使用键盘和鼠标的原生人类接口，是迈向通用计算机操作智能体的一步。

Hugging Face 发布教程，基于 Ho et al. 2020 的 DDPM 论文和 Phil Wang 的实现，用 PyTorch 逐步拆解并实现去噪扩散概率模型。

Hugging Face 在 Hub 上为模型、数据集和 Spaces 仓库推出 Pull Requests 和 Discussions 功能，位于新的 Community 标签页，任何社区成员均可参与。PR 不使用 fork，而是通过源仓库中称为 refs 的特殊分支实现，Issues 与 PR 不作区分并显示在同一列表，旨在打造比 GitHub 更简化的 ML 协作流程。

Hugging Face 深度强化学习课程发布 Unit 2 第二部分，讲解 Q-Learning 算法、Q-Function 与 Q-Table，以及 Epsilon Greedy 策略和 TD 更新，并区分 off-policy 与 on-policy。

Hugging Face 发布 Gradio 3.0，对库进行了彻底重构设计。前端改用 Svelte 等现代技术带来更小的载荷和更快的页面加载，组件更新增 Gallery 和 TabbedInterface；新推出的 Gradio Blocks 低阶 API 支持在 Python 中自定义布局、多步骤数据流和组件属性动态控制。

Hugging Face 宣布完成 1 亿美元 C 轮融资，由 Lux Capital 领投，Sequoia、Coatue 重点参与。平台目前托管 100,000 个预训练模型和 10,000 个数据集，超过 10,000 家公司在使用；新资金将用于加大研究、开源产品和负责任 AI 民主化的投入，团队过去 12 个月从 30 人扩展到 120+ 人。

OpenAI 发布题为 Hierarchical text-conditional image generation with CLIP latents 的研究，提出基于 CLIP 潜变量的分层文本条件图像生成方法。正文抓取失败，仅标题可用，细节以原文页面为准。

监督学习任务的性能依赖于高质量标注数据，但获取大量标注样本成本高昂。主动学习是一种在标注预算有限、但允许投入部分人工标注资源的条件下，应对标注数据不足的范式。其核心思路是智能地选择最具信息量的样本进行标注，以在有限预算内最大化模型性能的提升。该方法旨在解决当面临标注数据受限时，如何通过策略性采样来高效利用标注资源的问题。

OpenAI 训练出比 GPT-3 更能遵循用户意图的 InstructGPT 模型，同时更真实、毒性更低。模型采用人在回路的对齐研究技术训练，现已作为 OpenAI API 的默认语言模型部署。

OpenAI 在 API 中推出 embeddings 新端点，用于自然语言和代码任务。该端点可支持语义搜索、聚类、主题建模和分类等应用。

OpenAI 宣布可为应用定制 GPT-3，通过微调（fine-tuning）适配自身场景。官方称只需一条命令即可完成微调。

OpenAI 宣布其 API 取消等候名单，开放更广泛的使用。OpenAI 表示，更广泛的开放得益于安全方面的进展。

Hugging Face 发布 Spaces 功能，用户可以在其中使用 Gradio 展示自己的项目。正文抓取失败，仅标题可用，更多细节以原文为准。

OpenAI 发布改进版 Codex，该系统可将自然语言翻译为代码，即日起通过 API 以私有测试版形式开放。

OpenAI 发布 Triton 1.0，一种类 Python 的开源编程语言。它让没有 CUDA 经验的研究者也能写出高效 GPU 代码，多数情况下效率与专家手写代码相当。

OpenAI 发布论文《Evaluating large language models trained on code》，主题是在代码上训练的大语言模型的评估。（仅标题可用，正文抓取失败）

本练习集旨在通过动手编写注意力头的具体权重矩阵，从参数层面精确理解Transformer工作机制。内容涵盖：详解注意力头中W_Q、W_K、W_V、W_out矩阵的作用；分析读写子空间的控制矩阵及其乘积意义；探讨如何用两个矩阵等效表示注意力头及其秩的含义；研究跨层注意力头如何通过矩阵运算传递信息。并通过具体数值示例，演示多个“前词注意力头”如何协作实现“查看前两个词”的虚拟功能，以及手动构建实现“归纳头”的“指针算法”步骤。

OpenAI 推出神经网络 CLIP，能通过自然语言监督高效学习视觉概念。只需提供待识别视觉类别的名称，CLIP 即可应用于任何视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。

OpenAI 宣布训练出神经网络 DALL·E，可根据自然语言文本描述生成图像，覆盖广泛可用自然语言表达的概念。

OpenAI 宣布已同意将 GPT-3 授权给 Microsoft，供其用于自有产品和服务。

曾与创始人合作、现与研究人员共事的作者发现，尽管两类人差异显著，但顶尖者都思考"领域内最重要的问题"、兼具短期专注与长期视野、极度坚持、偏向行动、创意丰富且重视自主，动机常源于好奇心。

OpenAI 发布 API，供外界访问其开发的新 AI 模型。

YC 曾实验资助无想法的优秀创始人，结果全部失败，证明创始人必须自身擅长产生想法。要身处正确环境：周围需有对未来敏感、乐观、想法丰富的人，远离愤世嫉俗者。关注重大结构性转变，区分真实与虚假趋势。评估想法时考虑能否做大、创始人与公司是否匹配，以及能否解释为何大多数人认为是坏主意但你看到价值。

OpenAI 发布论文 Language models are few-shot learners，探讨语言模型的少样本学习能力。原文正文抓取失败，仅标题可用。

OpenAI 发布分析，指出自 2012 年以来，在 ImageNet 分类上达到同等性能所需训练算力每 16 个月下降一半。达到 AlexNet 水平如今所需算力比 2012 年少 44 倍，而同期摩尔定律只能带来 11 倍的成本改进；结果表明在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。

OpenAI 发布 Jukebox，一个可直接以原始音频形式生成音乐的神经网络，支持多种流派和艺术家风格，包括初步的歌声。OpenAI 同时开源模型权重和代码，并提供探索生成样本的工具。

Hugging Face 发布教程，讲解在 Transformers 中使用不同解码方法进行语言生成。文章覆盖多种 decoding 方法的选择与使用方式，原文正文未能抓取，仅标题可用。

OpenAI 报告 double descent 现象普遍存在于 CNN、ResNet 和 transformers 中：随着模型规模、数据量或训练时间增大，性能先改善、再变差、然后再次改善。该效应常可通过仔细的正则化来规避，作者表示其成因尚未被充分理解，并将其列为重要的研究方向。

OpenAI 发布 GPT-2 分阶段发布的最终版本，即 1.5B 参数的最大版本，同时公开代码和模型权重以帮助检测 GPT-2 模型的输出。OpenAI 表示自 8 月以来已有更大的语言模型发布，但坚持按原计划完成分阶段发布，为社区提供一个完整的分阶段发布流程案例，并继续与 AI 社区探讨负责任发布。

OpenAI 训练了一对神经网络，用类人机器手还原魔方。神经网络完全在仿真环境中训练，使用与 OpenAI Five 相同的强化学习代码，并配合一种名为 Automatic Domain Randomization（ADR）的新技术。系统能应对训练中从未见过的情况，例如被长颈鹿玩偶戳碰，说明强化学习不只能用于虚拟任务，也能解决需要极高灵巧度的现实世界问题。

OpenAI 用人类反馈微调 774M 参数 GPT-2，在多项任务上匹配了外部标注者的偏好。摘要任务用了 6 万条人工标注，风格续写等较简单任务只需 5 千条；标注者偏好摘要整句照抄原文，导致模型学会照抄。OpenAI 表示此举意在让安全技术更接近'机器与人对话'这一通用任务。