AI 情报文章归档

OpenAI 通过 Video PreTraining（VPT）在大量无标注人类 Minecraft 游玩视频上训练神经网络，仅使用少量承包商标注数据，微调后模型可合成钻石工具，这一任务熟练人类通常需要超过 20 分钟、约 24,000 个操作。模型使用键盘和鼠标的原生人类接口，是迈向通用计算机操作智能体的一步。

Hugging Face 发布教程，基于 Ho et al. 2020 的 DDPM 论文和 Phil Wang 的实现，用 PyTorch 逐步拆解并实现去噪扩散概率模型。

Hugging Face 在 Hub 上为模型、数据集和 Spaces 仓库推出 Pull Requests 和 Discussions 功能，位于新的 Community 标签页，任何社区成员均可参与。PR 不使用 fork，而是通过源仓库中称为 refs 的特殊分支实现，Issues 与 PR 不作区分并显示在同一列表，旨在打造比 GitHub 更简化的 ML 协作流程。

Hugging Face 深度强化学习课程发布 Unit 2 第二部分，讲解 Q-Learning 算法、Q-Function 与 Q-Table，以及 Epsilon Greedy 策略和 TD 更新，并区分 off-policy 与 on-policy。

Hugging Face 发布 Gradio 3.0，对库进行了彻底重构设计。前端改用 Svelte 等现代技术带来更小的载荷和更快的页面加载，组件更新增 Gallery 和 TabbedInterface；新推出的 Gradio Blocks 低阶 API 支持在 Python 中自定义布局、多步骤数据流和组件属性动态控制。

Hugging Face 宣布完成 1 亿美元 C 轮融资，由 Lux Capital 领投，Sequoia、Coatue 重点参与。平台目前托管 100,000 个预训练模型和 10,000 个数据集，超过 10,000 家公司在使用；新资金将用于加大研究、开源产品和负责任 AI 民主化的投入，团队过去 12 个月从 30 人扩展到 120+ 人。

OpenAI 发布题为 Hierarchical text-conditional image generation with CLIP latents 的研究，提出基于 CLIP 潜变量的分层文本条件图像生成方法。正文抓取失败，仅标题可用，细节以原文页面为准。

监督学习任务的性能依赖于高质量标注数据，但获取大量标注样本成本高昂。主动学习是一种在标注预算有限、但允许投入部分人工标注资源的条件下，应对标注数据不足的范式。其核心思路是智能地选择最具信息量的样本进行标注，以在有限预算内最大化模型性能的提升。该方法旨在解决当面临标注数据受限时，如何通过策略性采样来高效利用标注资源的问题。

OpenAI 训练出比 GPT-3 更能遵循用户意图的 InstructGPT 模型，同时更真实、毒性更低。模型采用人在回路的对齐研究技术训练，现已作为 OpenAI API 的默认语言模型部署。

OpenAI 在 API 中推出 embeddings 新端点，用于自然语言和代码任务。该端点可支持语义搜索、聚类、主题建模和分类等应用。

OpenAI 宣布可为应用定制 GPT-3，通过微调（fine-tuning）适配自身场景。官方称只需一条命令即可完成微调。

OpenAI 宣布其 API 取消等候名单，开放更广泛的使用。OpenAI 表示，更广泛的开放得益于安全方面的进展。

Hugging Face 发布 Spaces 功能，用户可以在其中使用 Gradio 展示自己的项目。正文抓取失败，仅标题可用，更多细节以原文为准。

OpenAI 发布改进版 Codex，该系统可将自然语言翻译为代码，即日起通过 API 以私有测试版形式开放。

OpenAI 发布 Triton 1.0，一种类 Python 的开源编程语言。它让没有 CUDA 经验的研究者也能写出高效 GPU 代码，多数情况下效率与专家手写代码相当。

OpenAI 发布论文《Evaluating large language models trained on code》，主题是在代码上训练的大语言模型的评估。（仅标题可用，正文抓取失败）

本练习集旨在通过动手编写注意力头的具体权重矩阵，从参数层面精确理解Transformer工作机制。内容涵盖：详解注意力头中W_Q、W_K、W_V、W_out矩阵的作用；分析读写子空间的控制矩阵及其乘积意义；探讨如何用两个矩阵等效表示注意力头及其秩的含义；研究跨层注意力头如何通过矩阵运算传递信息。并通过具体数值示例，演示多个“前词注意力头”如何协作实现“查看前两个词”的虚拟功能，以及手动构建实现“归纳头”的“指针算法”步骤。

OpenAI 推出神经网络 CLIP，能通过自然语言监督高效学习视觉概念。只需提供待识别视觉类别的名称，CLIP 即可应用于任何视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。

OpenAI 宣布训练出神经网络 DALL·E，可根据自然语言文本描述生成图像，覆盖广泛可用自然语言表达的概念。

OpenAI 宣布已同意将 GPT-3 授权给 Microsoft，供其用于自有产品和服务。

曾与创始人合作、现与研究人员共事的作者发现，尽管两类人差异显著，但顶尖者都思考"领域内最重要的问题"、兼具短期专注与长期视野、极度坚持、偏向行动、创意丰富且重视自主，动机常源于好奇心。

OpenAI 发布 API，供外界访问其开发的新 AI 模型。

YC 曾实验资助无想法的优秀创始人，结果全部失败，证明创始人必须自身擅长产生想法。要身处正确环境：周围需有对未来敏感、乐观、想法丰富的人，远离愤世嫉俗者。关注重大结构性转变，区分真实与虚假趋势。评估想法时考虑能否做大、创始人与公司是否匹配，以及能否解释为何大多数人认为是坏主意但你看到价值。

OpenAI 发布论文 Language models are few-shot learners，探讨语言模型的少样本学习能力。原文正文抓取失败，仅标题可用。

OpenAI 发布分析，指出自 2012 年以来，在 ImageNet 分类上达到同等性能所需训练算力每 16 个月下降一半。达到 AlexNet 水平如今所需算力比 2012 年少 44 倍，而同期摩尔定律只能带来 11 倍的成本改进；结果表明在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。

OpenAI 发布 Jukebox，一个可直接以原始音频形式生成音乐的神经网络，支持多种流派和艺术家风格，包括初步的歌声。OpenAI 同时开源模型权重和代码，并提供探索生成样本的工具。

Hugging Face 发布教程，讲解在 Transformers 中使用不同解码方法进行语言生成。文章覆盖多种 decoding 方法的选择与使用方式，原文正文未能抓取，仅标题可用。

OpenAI 报告 double descent 现象普遍存在于 CNN、ResNet 和 transformers 中：随着模型规模、数据量或训练时间增大，性能先改善、再变差、然后再次改善。该效应常可通过仔细的正则化来规避，作者表示其成因尚未被充分理解，并将其列为重要的研究方向。

OpenAI 发布 GPT-2 分阶段发布的最终版本，即 1.5B 参数的最大版本，同时公开代码和模型权重以帮助检测 GPT-2 模型的输出。OpenAI 表示自 8 月以来已有更大的语言模型发布，但坚持按原计划完成分阶段发布，为社区提供一个完整的分阶段发布流程案例，并继续与 AI 社区探讨负责任发布。

OpenAI 训练了一对神经网络，用类人机器手还原魔方。神经网络完全在仿真环境中训练，使用与 OpenAI Five 相同的强化学习代码，并配合一种名为 Automatic Domain Randomization（ADR）的新技术。系统能应对训练中从未见过的情况，例如被长颈鹿玩偶戳碰，说明强化学习不只能用于虚拟任务，也能解决需要极高灵巧度的现实世界问题。

OpenAI 用人类反馈微调 774M 参数 GPT-2，在多项任务上匹配了外部标注者的偏好。摘要任务用了 6 万条人工标注，风格续写等较简单任务只需 5 千条；标注者偏好摘要整句照抄原文，导致模型学会照抄。OpenAI 表示此举意在让安全技术更接近'机器与人对话'这一通用任务。

OpenAI 报告在新构建的模拟躲猫猫环境中，智能体通过多智能体对抗训练自发学会逐步复杂的工具使用。智能体形成了六种不同的策略与反策略，其中一些是团队事先不知道环境支持的。作者认为这种自监督涌现的复杂性表明，多智能体共同适应未来可能产生极复杂且智能的行为。

进化策略是一种在目标函数解析形式未知或无法直接计算梯度时，用于优化模型参数的黑箱优化算法。它作为随机梯度下降的替代方案，适用于多种优化场景。文章介绍了模拟退火、爬山法、Nelder-Mead方法等经典进化策略，并探讨了该方法在深度强化学习中的应用。通过评估目标函数值而非依赖梯度信息，进化策略为复杂优化问题提供了有效路径。

OpenAI 发布 774M 参数的 GPT-2 语言模型，此前已于 2 月发布 124M 小型版、5 月分阶段发布 355M 中型版，并与合作伙伴及 AI 社区研究了模型的滥用风险与社会效益。同时发布一份开源法律协议以便组织间建立模型共享合作，并发布关于与 AI 研究社区协调发布规范经验的技术报告。

Microsoft 向 OpenAI 投资 10 亿美元，支持其构建具有广泛分配经济收益的 AGI。双方将在 Microsoft Azure 内共同开发可扩展至 AGI 的软硬件平台和新的 Azure AI 超算技术，Microsoft 将成为 OpenAI 的独家云服务商。

OpenAI Five 在周末的决赛中连赢两局击败 Dota 2 世界冠军战队 OG，成为首个战胜电竞世界冠军的 AI，也是 AI 首次在直播比赛中战胜电竞职业选手。此前 OpenAI Five 与 DeepMind 的 AlphaStar 都曾在私下对局中战胜优秀职业选手，但在公开职业比赛中落败。

OpenAI 发布 Spinning Up in Deep RL，一套旨在让任何人学会成为深度强化学习熟练从业者的教育材料。资源包含清晰的 RL 代码示例、教育性练习、文档和教程。

OpenAI Five 本周在温哥华 The International 2018 上与顶级 Dota 2 选手对战两场皆负，但两局前 20-35 分钟都保持较大获胜机会。

OpenAI Five 在三局两胜的比赛中战胜由 Blitz、Cap、Fogged、Merlini 和 MoonMeander 组成的队伍，其中四人曾打过职业 Dota。比赛面向现场观众并有 10 万人同时在线观看直播。

OpenAI 训练的智能体仅从单条人类演示出发，在 Montezuma's Revenge 上取得 74500 分的高分，超过此前已发表的最好结果。算法做法是从演示中精心挑选的状态开始连续游戏，使用 PPO 优化游戏得分进行学习，PPO 也是支撑 OpenAI Five 的同一强化学习算法。