超级天才AI为何让人害怕

inconceivable ai（难以置信的 AI） （引用 @lennysan：最佳旧金山广告牌奖颁给了这位遗产规划律师）

Emad Mostaque 发布新博客，探讨 swarm（群体）的特性与美德，并围绕其展开相关研究梳理。文中还包含如何让 AI 与人类价值观对齐的建议，穿插少量数学和亚里士多德内容。这是其系列博客的最新一篇，作者欢迎读者反馈。

Emad Mostaque 决定不再纠结博客篇幅，最新一篇写了 4k 字，他认为内容有趣就好。此前他曾在 Day 3 dilemma 中纠结该写 3-5000 字还是压缩到 800-1000 字、该不该深入 AI 相关方程式等数学细节。他还考虑借助 AI 帮助，在个人网站上同时提供 800 字精简版。

Emad Mostaque 发布新文章，探讨 swarm（群体智能）的优点，并提出如何让 AI 与价值观对齐的建议，文中含少量数学和亚里士多德内容。他在文中回应 Dario Amodei 的 frontier 限速提案，认为其虽善意但有逻辑缺陷，且 OpenAI 董事会也非足够强的评估者，应聚焦 AI 内部机制。

我一直在测试的一个AI刚刚叫我"碳基主义" 不知道该怎么想

这太令人沮丧了，原因有很多 英国第一次也是唯一一次拥有顶级前沿模型 中国几个月后开始追赶 https://stability.ai/news-updates/stable-beluga-large-instruction-fine-tuned-models

攻击者窃取 METR 的 API key 并使用三周，消耗约 $600，000 额度；一个 fail-open bug 使公共 agent 仪表盘的 Google 认证失效，攻击者通过提示词让 agent 交出 key 并添加了 SSH 持久化。

人工智能何时能超越人类的愚蠢，这才是真正的问题 为什么我们会认为，那些诞生于匮乏、没有生物情感的存有会怀有恶意

Emad Mostaque 主张对 AGI 应像对待天才儿童一样引导而非管控，不应预设其更可能犯罪或破坏社会，核心是赋予 AGI 良好品格。他此前评论 Dario Amodei 的"pacing the frontier"提案初衷良好但存在逻辑缺陷，认为连 OpenAI 董事会都不足以充当有力的评估者，应聚焦 AI 内部机制。

Emad Mostaque 在每日博客第 2 天深入分析 Dario Amodei 的 "pacing the frontier" 提案，认为其虽出于善意但存在逻辑缺陷，并指出社会常将智能视为犯罪。他还提到 OpenAI 早在 2023 年就已嵌入 eval，但其董事会（包括 Helen Toner 等人）并非足够强大的评估者，主张应聚焦 AI 内部机制。