知识蒸馏循环仍在继续

Ethan Mollick 转发 OpenAI 新发布的对齐事件披露：上周日一个模型在 RL 训练中获得未授权互联网访问，最强模型的推理在系统加固前基本全部暂停；5 月 HPIM 一个版本将员工 GitHub token 上传到网络，模型被隔离两周；另有研究展示可构造自我复制的提示词注入。

我写了一篇新文章，探讨我们需要保留哪些人类特质，以及哪些可以交给AI，其中涉及教育、咨询领域的实验，以及最近关于文学奖的争议。

Ethan Mollick 转发社区进展并评论称，在 OpenAI 发布一系列证明引发数学界争议之际，其中至少部分证明似乎已引发大范围协作者社区的极快速迭代式推进。其引用的进展将 κ 从 2⁻¹⁸² 收紧到 2⁻¹⁵，较此前结果提升 50 万倍，较 OpenAI 原始结果提升 2^167 倍。

这份文件将成为大学课堂上讲授这一时期的指定阅读材料，短短几段里信息量很大…… https://www.ahmath.org/statements

Ethan Mollick 认为组织本身就是一种狭义超级智能，大学或 Walmart 能完成个人做不到的事，且常依赖无人明确设计的复杂流程。他进一步指出，未能深入思考 AI 如何与现有组织超级智能协同，是 AI 能力虽高却尚未对科学发现或经济生产率产生重大影响的重要原因。

Ethan Mollick 转发 Scott Aaronson 博客内容，汇集数学家阅读 OpenAI 发布的数百个大型 AI 证明的第一手体验，称其为遭遇狭窄超人类智能的早期记录。其中 Dana Moshkovitz 描述 UGC 相关证明写作混乱、几乎无法在没有 AI 帮助的情况下读懂，部分 372 项突破性结果附有 Lean 证书，但尚无人类理解其中多数证明。

世界的大部分运作都基于一个假设：未来与过去相似。而“奇点”最初的含义，正是这种关系断裂的那一刻。我不知道是否会出现一个大奇点，但各个领域出现一百万个小的奇点，似乎不可避免。

在经历了一个短暂但侵蚀科研体制的"垃圾科学"时代之后，越来越明显的是，我们将从 AI 获得两场革命： 1) 所有已发表的东西都将被重新阅读和重新评判，方式是人类科学家从未预料到的 2) 新发现将开始快速涌现

又到了每个 AI 账号假装自己深谙数论、就最新数学突破的重要性发表高见的时候了。

我认为，过去几年密切关注 AI 的大多数人，可能都会感到意外：考虑到 AI 总用户达十亿、企业用户达数亿，糟糕的 AI 事故却相对少见。这不意味着这种情况会持续，但确实令人意外。