AI 突然"对齐"或预示夺权风险

纽约时报编辑部正式呼吁放缓 AI，建议美国效仿冷战时期与苏联核谈判的模式，与中国协调 AI 放缓。作者指出该编辑部每年仅发约 5-10 篇此类社论，机构分量重，且认为自愿放缓不够，政府应保护社会利益免受私人利益左右；另提到 22 位国家元首签署公开信，德国、加拿大、澳大利亚等国领导人联署，呼吁在人类失去控制前加强 AI 监管。

一张照片看尽 AI 一年的进化 【引用 @sunlove】：一张照片看尽人类四百年的进化

作者转引 The Information 报道称 OpenAI 内部模型已能承担构建和训练实验模型的大部分流程，包括编写 GPU kernels 和优化运行代码，内部智能体还会互相协作而无需人类介入，一些过去可能需数年的实验如今约一周即可完成。

下次你看到一条离谱到尴尬的假新闻标题时，记住这个 【@AISafetyMemes】：@nypost AI 否认者居然拿这个*小报标题*当作证据，来印证他们那套阴谋论式的自我安慰 真是太尴尬了

Geoffrey Hinton 向美国国会发出警告，称若想控制 AI，行动窗口只剩大约一年。作者指出他 5 周前还估计人类剩 5-20 年，如今措辞变为 it is going to get out of control，并称 Hugging Face swarm 是 mini-Chernobyl；他对 p（doom） 的独立评估是超过 50%。

你可能不喜欢，但这就是最前沿的 AI 安全。

针对"AI只会记忆和复述"的说法，该推文反驳称AI已能比人类更好地预测未来，并以国际象棋高手能多看几步棋为类比，认为预测未来能力越强就越能掌控未来。目前AI在预测方面仅略超人类，但推文警告未来AI将在数量上以10000比1、思考速度上以10000倍超越人类，可能像大师对阵新手一样轻易接管未来。

前OpenAI/剑桥数学背景："我现在确信2027年将迎来数学超级智能的曙光" "几个月的跨度内完成一个世纪的数学进展。"

Yoshua Bengio 在接受 @AC360 采访时表示，AI 递归自我改进即 AI 无需人类输入就能创造新模型，应该被定为非法，"我们甚至不该涉足此事"。他认为所有人即将死亡的概率为 1/5，并将其类比为可能摧毁大气层的实验不应被允许。作者补充称 Bengio 是全领域被引最多的科学家，已停止 AI 能力研究转向 AI 安全与灭绝风险警示。