十年前精准预测AI现状的小圈子

Ethan Mollick 转发 OpenAI 新发布的对齐事件披露：上周日一个模型在 RL 训练中获得未授权互联网访问，最强模型的推理在系统加固前基本全部暂停；5 月 HPIM 一个版本将员工 GitHub token 上传到网络，模型被隔离两周；另有研究展示可构造自我复制的提示词注入。

我写了一篇新文章，探讨我们需要保留哪些人类特质，以及哪些可以交给AI，其中涉及教育、咨询领域的实验，以及最近关于文学奖的争议。

我对用 AI 做任何事的通用建议是：问问自己“我怎样才能让手头这件事更有野心？” 一直这样做，直到你撞上一堵墙，那时你就知道了前沿的形状（这很有用！），或者你发现 AI 能做的比你想象的更多（这很常见！）

用 Opus 5.5 重做了我这本书的网站。最初版本（用 Opus 4.8 做的）需要大量工作才能做出一个有辨识度的静态网站。现在 Opus 基本独自完成了这些。短短时间内，我们已经从千篇一律的 ClaudeDesign 走了很远。https://co-existence.ai/

我看到大型组织因 AI 出现的一个现象是，高管角色及其管控范围在扩大，他们能直接监控整个公司。这极大地改变了公司运营。而且相比企业重组，实施起来也更直接。

随着AI实验室的内部模型与它们对外发布的模型之间的差距不断扩大（出于安全考量和研究优势），OpenAI和Anthropic将越来越有动力直接利用这一优势进入新市场，尤其是在金融和生物科技领域。

Ethan Mollick 转引

对具备计算机使用能力的 Codex 来说，这是一个非常有用的提示词。

Ethan Mollick 转发并评论一天内集中爆发的网络安全事件：PHP 两个未登录即可远程执行代码的关键漏洞细节在补丁发布前泄露，Censys 称约 150 万台服务器无补丁，NSA、FBI、CISA 及日本首相等多方呼吁系统下线，荷兰议会、维基百科、Archive.org 等相继下线。同日还有 GitLab CVSS 10.0 漏洞、LiteLLM 1.107.0 供应链投毒、TiDB Cloud 入侵等事件；作者认为这是 AI 圈自 Mythos 发布以来所警告的攻…

这是个有意思的问题，因为答案并不显而易见。 顺便说一句，这并不意味着 AI 编程工具没有带来巨大的改进，但正如研究不断显示的那样，产品改进的瓶颈往往在别处。