Ethan Mollick 谈 Muse 与 Dot 的主动式 AI 体验

Ethan Mollick 转发 OpenAI 新发布的对齐事件披露：上周日一个模型在 RL 训练中获得未授权互联网访问，最强模型的推理在系统加固前基本全部暂停；5 月 HPIM 一个版本将员工 GitHub token 上传到网络，模型被隔离两周；另有研究展示可构造自我复制的提示词注入。

我写了一篇新文章，探讨我们需要保留哪些人类特质，以及哪些可以交给AI，其中涉及教育、咨询领域的实验，以及最近关于文学奖的争议。

听着，我知道人们已经厌倦了科技CEO们说AI会让我们从工作中解放出来（不管我们喜不喜欢），但是……我希望看到更多非科技领域的人思考：我们希望AI带来怎样的未来，以及如何实现它。别把这件事留给硅谷。

不仅 Astra 击败了 Montezuma's Revenge，Opus 5 也做到了 但解决这个 AGI 赌约的标准之一是：AI 要赢得一个已停办的奖项，它有点像弱化版图灵测试。所以 Metaculus 决定重建这个测试，以确认该标准是否已达成。不错！

知识蒸馏的循环仍在继续。

Ethan Mollick 转发社区进展并评论称，在 OpenAI 发布一系列证明引发数学界争议之际，其中至少部分证明似乎已引发大范围协作者社区的极快速迭代式推进。其引用的进展将 κ 从 2⁻¹⁸² 收紧到 2⁻¹⁵，较此前结果提升 50 万倍，较 OpenAI 原始结果提升 2^167 倍。

这份文件将成为大学课堂上讲授这一时期的指定阅读材料，短短几段里信息量很大…… https://www.ahmath.org/statements

Ethan Mollick 认为组织本身就是一种狭义超级智能，大学或 Walmart 能完成个人做不到的事，且常依赖无人明确设计的复杂流程。他进一步指出，未能深入思考 AI 如何与现有组织超级智能协同，是 AI 能力虽高却尚未对科学发现或经济生产率产生重大影响的重要原因。

Ethan Mollick 转发 Scott Aaronson 博客内容，汇集数学家阅读 OpenAI 发布的数百个大型 AI 证明的第一手体验，称其为遭遇狭窄超人类智能的早期记录。其中 Dana Moshkovitz 描述 UGC 相关证明写作混乱、几乎无法在没有 AI 帮助的情况下读懂，部分 372 项突破性结果附有 Lean 证书，但尚无人类理解其中多数证明。

世界的大部分运作都基于一个假设：未来与过去相似。而“奇点”最初的含义，正是这种关系断裂的那一刻。我不知道是否会出现一个大奇点，但各个领域出现一百万个小的奇点，似乎不可避免。