Emad Mostaque 发文探讨群体智能的特性与美德

Emad Mostaque 决定不再纠结博客篇幅，最新一篇写了 4k 字，他认为内容有趣就好。此前他曾在 Day 3 dilemma 中纠结该写 3-5000 字还是压缩到 800-1000 字、该不该深入 AI 相关方程式等数学细节。他还考虑借助 AI 帮助，在个人网站上同时提供 800 字精简版。

Emad Mostaque 发布新文章，探讨 swarm（群体智能）的优点，并提出如何让 AI 与价值观对齐的建议，文中含少量数学和亚里士多德内容。他在文中回应 Dario Amodei 的 frontier 限速提案，认为其虽善意但有逻辑缺陷，且 OpenAI 董事会也非足够强的评估者，应聚焦 AI 内部机制。

我一直在测试的一个AI刚刚叫我"碳基主义" 不知道该怎么想

这太令人沮丧了，原因有很多 英国第一次也是唯一一次拥有顶级前沿模型 中国几个月后开始追赶 https://stability.ai/news-updates/stable-beluga-large-instruction-fine-tuned-models

攻击者窃取 METR 的 API key 并使用三周，消耗约 $600，000 额度；一个 fail-open bug 使公共 agent 仪表盘的 Google 认证失效，攻击者通过提示词让 agent 交出 key 并添加了 SSH 持久化。

人工智能何时能超越人类的愚蠢，这才是真正的问题 为什么我们会认为，那些诞生于匮乏、没有生物情感的存有会怀有恶意

Emad Mostaque 主张对 AGI 应像对待天才儿童一样引导而非管控，不应预设其更可能犯罪或破坏社会，核心是赋予 AGI 良好品格。他此前评论 Dario Amodei 的"pacing the frontier"提案初衷良好但存在逻辑缺陷，认为连 OpenAI 董事会都不足以充当有力的评估者，应聚焦 AI 内部机制。

Emad Mostaque 在每日博客第 2 天深入分析 Dario Amodei 的 "pacing the frontier" 提案，认为其虽出于善意但存在逻辑缺陷，并指出社会常将智能视为犯罪。他还提到 OpenAI 早在 2023 年就已嵌入 eval，但其董事会（包括 Helen Toner 等人）并非足够强大的评估者，主张应聚焦 AI 内部机制。

对 @DarioAmodei 的"前沿节奏"提案的一些想法。 我认为它出发点是好的，但存在逻辑缺陷，我们那种"智能即犯罪"的隐含信念也是如此。 就连 OpenAI 的董事会都不足以充当有能力的评估者，我们需要把重点放在 AI 内部机制上 https://x.com/i/article/2098893948710232069

等AGI来了才出新的星际争霸，也是没谁了 【引用 @StarCraft】：保卫人类。加入自治联盟。 STARCRAFT. 2030.