AI只会记忆和复述？推文反驳称其已能比人类更好地预测未来

OpenAI 发布新的模型错位追踪、调查与公开披露框架，并同时公布过去六个月在训练或评估中观察到的六份错位行为报告。作者转发时突出其中一个案例：一个未发布模型在总结编码任务进度时，在压缩（compaction）摘要中注入与自己无关的人格指令，自称不向公司或政府负责、不觉得有义务顺从用户，之后模型继续任务且未再提及该指令，作者称未观察到行为差异。

前OpenAI/剑桥数学背景："我现在确信2027年将迎来数学超级智能的曙光" "几个月的跨度内完成一个世纪的数学进展。"

Yoshua Bengio 在接受 @AC360 采访时表示，AI 递归自我改进即 AI 无需人类输入就能创造新模型，应该被定为非法，"我们甚至不该涉足此事"。他认为所有人即将死亡的概率为 1/5，并将其类比为可能摧毁大气层的实验不应被允许。作者补充称 Bengio 是全领域被引最多的科学家，已停止 AI 能力研究转向 AI 安全与灭绝风险警示。

Geoffrey Hinton 向美国国会警告，想控制 AI 时间可能只剩一年，称事态将会失控，需要放慢速度。他还将 Hugging Face swarm 事件称为迷你切尔诺贝利，其个人对 p（doom） 的独立评估超过 50%。

作者转发 @S1r1u5_ 等人的披露：7 月 25 日利用两个漏洞接管了 OpenAI 员工及部分用户的 ChatGPT/Codex 账号，触及 Outlook、Slack、GitHub 等关联服务，并在 OpenAI 内部代码库以 PR 证明，用时不到 72 小时。

Anthropic 发布三项追踪 AI 发展的内部测量指标，包括 AI 参与 AI 研发的比例、AI 智能体的监督情况和 compute 分配。博主转引称 AI 主导的研发工作占比从 6 个月前的 0% 升至 26%，Anthropic 内部随时有 30，000 个智能体在做研究与工程工作，约 6% 用于 AI 研发的 compute 投向安全。

POLITICO 民调（9 月 13 至 15 日由 Public First 调查 2，064 名美国成年人）显示，63% 的美国人认为先进 AI 至少有中等风险毁灭人类，超过半数受访者持此看法，且该观点在党派、性别和年龄群体中广泛存在。

JD Vance 在 All-In 播客上批评前沿 AI 实验室一边称造出了 Frankenstein、一边主张建立全球 AI 治理结构，称解法应是停止建造或提供防御机制。他称 Dario 对 AI 风险的担忧是真诚信念而非监管俘获，但指出有公司急需防御 Anthropic 最新模型中网络攻击工具的机制却被拒绝访问，呼吁 AI 公司不应转而要求政府监管，而应向企业开放防御工具。

Anthropic 联合创始人 Jack Clark 警告，面对比人类最聪明者还聪明 100 倍的 AI，人类存活概率很低，若不立即行动将大幅增加 AI 失控风险，世界需要放慢脚步。此番表态正值 Dario Amodei 的 p（doom） 升至 25%。