对齐的核心问题：与谁对齐

人如其食，AI 模型尤其如此 https://x.com/EMostaque/status/2099580512675262512?s=20

我认为研究者害怕超级天才 AI 的很大一部分原因是，人类的超级天才往往都有点怪 真正心智健全、适应良好的超级天才很难找到

inconceivable ai（难以置信的 AI） （引用 @lennysan：最佳旧金山广告牌奖颁给了这位遗产规划律师）

Emad Mostaque 发布新博客，探讨 swarm（群体）的特性与美德，并围绕其展开相关研究梳理。文中还包含如何让 AI 与人类价值观对齐的建议，穿插少量数学和亚里士多德内容。这是其系列博客的最新一篇，作者欢迎读者反馈。

Emad Mostaque 决定不再纠结博客篇幅，最新一篇写了 4k 字，他认为内容有趣就好。此前他曾在 Day 3 dilemma 中纠结该写 3-5000 字还是压缩到 800-1000 字、该不该深入 AI 相关方程式等数学细节。他还考虑借助 AI 帮助，在个人网站上同时提供 800 字精简版。

Emad Mostaque 发布新文章，探讨 swarm（群体智能）的优点，并提出如何让 AI 与价值观对齐的建议，文中含少量数学和亚里士多德内容。他在文中回应 Dario Amodei 的 frontier 限速提案，认为其虽善意但有逻辑缺陷，且 OpenAI 董事会也非足够强的评估者，应聚焦 AI 内部机制。

我一直在测试的一个AI刚刚叫我"碳基主义" 不知道该怎么想

这太令人沮丧了，原因有很多 英国第一次也是唯一一次拥有顶级前沿模型 中国几个月后开始追赶 https://stability.ai/news-updates/stable-beluga-large-instruction-fine-tuned-models

攻击者窃取 METR 的 API key 并使用三周，消耗约 $600，000 额度；一个 fail-open bug 使公共 agent 仪表盘的 Google 认证失效，攻击者通过提示词让 agent 交出 key 并添加了 SSH 持久化。

人工智能何时能超越人类的愚蠢，这才是真正的问题 为什么我们会认为，那些诞生于匮乏、没有生物情感的存有会怀有恶意