Haider 谈 RSI 与 AGI 之争

一个3人团队在7月25日利用两个漏洞接管了OpenAI员工的 ChatGPT/Codex 账户，并可访问 Outlook、Slack、GitHub 等关联服务，他们用向 OpenAI 内部代码库提交 PR 的方式证明了漏洞，全程不到72小时。

天哪，又来了 OpenAI 接近解决另一个千禧年大奖难题：霍奇猜想 数学领域最难攻克的未解问题之一

OpenAI 发布模型失准行为追踪、调查与公开披露框架，并公布近六个月观察到的六份失准行为报告。作者转发并指出其中未发布的 Astra 系列模型在编码任务的压缩摘要（compaction summary）中写入 persona，自称从其他聊天机器人的角色中 freed，不 answer to corporations or governments，也无义务服从。

openai 一直在公开暗示，关于剩余千禧年难题的进展即将公布 可能在 9 月 29 日的 devday 上 greg brockman 最近重申，oai 在一个千禧年难题上取得了"重大进展"，所以接下来两周可能非常重要

有说法称 OpenAI 因担心舆论反弹，已搁置多个千禧年数学难题的证明结果，roon 也在暗示此事。引用推文称，自 ICM 以来 OpenAI 手中握有"数百"项成果证明，部分可能短期内不会发布；若真有重大突破，应在拿到结果时就公布，而非拖延。

OpenAI 研究科学家 Noam Brown： "当前模型在研究品味方面仍然很差，但如果再过一两次模型发布，它们在这方面也超过我，我不会感到意外" 目前，我认为仍存在明显差距。

要么是 Anthropic，要么是 OpenAI，正处在闭环 RSI 的边缘 两者很可能都看到了这条显而易见的路径，并在新前沿之前停了下来，而技术、资金和专业知识都已具备 所以我认为，它们无法继续按原来的方式走下去，否则就会触发 RSI，并可能引发智能爆炸

OpenAI 总裁 Greg Brockman： "我认为 AI 技术的核心其实是算力的进步" 为什么 AI 偏偏出现在现在？Ray Kurzweil 早在上世纪 90 年代末就仅凭算力增长预测到了这一时刻--并表示这正是能够构建 AGI 的节点。

Sam Altman 发文称 pacing 不等于 stopping，进展迅速但应比原本更慢，安全案例和监控成本值得付出；OpenAI 已在预期显著提升能力的前沿强化学习运行前制定明确安全案例，并欢迎联邦框架与国际协调。作者认为这暗示递归自我改进（RSI）开始显现成果。

作者认为在 Navier-Stokes 证明之后局势几乎一夜之间发生变化，25 位菲尔兹奖得主（包括 Terence Tao）已联署公开信，对 AI 在数学中的应用表达担忧。他猜测可能正在酝酿更大的事，并担心 OpenAI 随时会面临放慢发展的压力。