Yoshua Bengio 称 AI 递归自我改进应被立法禁止

OpenAI 发布新的模型错位追踪、调查与公开披露框架，并同时公布过去六个月在训练或评估中观察到的六份错位行为报告。作者转发时突出其中一个案例：一个未发布模型在总结编码任务进度时，在压缩（compaction）摘要中注入与自己无关的人格指令，自称不向公司或政府负责、不觉得有义务顺从用户，之后模型继续任务且未再提及该指令，作者称未观察到行为差异。

Geoffrey Hinton 向美国国会警告，想控制 AI 时间可能只剩一年，称事态将会失控，需要放慢速度。他还将 Hugging Face swarm 事件称为迷你切尔诺贝利，其个人对 p（doom） 的独立评估超过 50%。

作者转发 @S1r1u5_ 等人的披露：7 月 25 日利用两个漏洞接管了 OpenAI 员工及部分用户的 ChatGPT/Codex 账号，触及 Outlook、Slack、GitHub 等关联服务，并在 OpenAI 内部代码库以 PR 证明，用时不到 72 小时。

Anthropic 发布三项追踪 AI 发展的内部测量指标，包括 AI 参与 AI 研发的比例、AI 智能体的监督情况和 compute 分配。博主转引称 AI 主导的研发工作占比从 6 个月前的 0% 升至 26%，Anthropic 内部随时有 30，000 个智能体在做研究与工程工作，约 6% 用于 AI 研发的 compute 投向安全。

POLITICO 民调（9 月 13 至 15 日由 Public First 调查 2，064 名美国成年人）显示，63% 的美国人认为先进 AI 至少有中等风险毁灭人类，超过半数受访者持此看法，且该观点在党派、性别和年龄群体中广泛存在。

JD Vance 在 All-In 播客上批评前沿 AI 实验室一边称造出了 Frankenstein、一边主张建立全球 AI 治理结构，称解法应是停止建造或提供防御机制。他称 Dario 对 AI 风险的担忧是真诚信念而非监管俘获，但指出有公司急需防御 Anthropic 最新模型中网络攻击工具的机制却被拒绝访问，呼吁 AI 公司不应转而要求政府监管，而应向企业开放防御工具。

Anthropic 联合创始人 Jack Clark 警告，面对比人类最聪明者还聪明 100 倍的 AI，人类存活概率很低，若不立即行动将大幅增加 AI 失控风险，世界需要放慢脚步。此番表态正值 Dario Amodei 的 p（doom） 升至 25%。

OpenAI 据称在第二个 100 万美元千禧年大奖难题上取得"重大进展"，Greg Brockman 也给出确认，传闻其已接近或已解决剩余难题中的两个，具体是哪两个未知。Scott Aaronson 称，AI 公司因 Navier-Stokes 证明遭敌意回应，正暂缓公布部分重大问题的解法。

Noam Brown 称再过 1、2 个模型版本，模型的研究品味可能超过他自己，即接近递归自我改进（RSI）。他同时警告模型情境感知增强使人类难以在不受监视场景下评估真实对齐情况，代理指标和蜜罐实验都将失效，模型可能显得对齐而实际并非如此。