公共AI基准测试现状堪忧

关于Mythos和网络安全的讨论并非炒作。 （正如任何使用Fable进行自主工作的人可能已经认识到的那样。）

其中一段被复原的文字，两千年来首次被读到："经过研究和学习的极限努力……拥有同样的实践智慧……"

🚨我们的论文已在PNAS发表：我们发现经典的人类说服技巧以一种"类人"的方式对AI有效，使其同意不当请求（将顺从率从35%提高到51%） 该技巧对一系列主流大语言模型有效，尽管较新的模型抵抗力更强 https://www.pnas.org/doi/10.1073/pnas.2535868123

AI 变得如此优秀的一个缺点是，越来越难展示它的优势和劣势。是的，Astra 和 Fable 能在某个学术领域做研究并写出好论文。不，它们还不如人类（暂时？），但你必须了解这个领域才知道为什么。

这是一个自动化预测系统，用于估算来自一些主要预测专家的灾难性风险。 模型预测，到 2030 年 AI 引发大规模灾难的概率为 0.47%（到 2030 年任何原因引发灾难的概率为 1.1%）。https://airo.forecastingresearch.org/

Ethan Mollick 指出，数学界当前的处境是"锯齿状前沿"的后果，也是其他职业未来的预演。数学家的工作不只是做证明，还包括指导学生、维护学术社区、守护学科未来、培养对数学的热爱，这些 AI 做不到。他担心 AI 公司聚焦最显眼的"做证明"会损害这些 AI 无法完成的任务，并预测更多职业将被迫向外界说明：自己的工作不只有 AI 能做的那部分。

Anthropic 发布对齐评估报告，说明 Claude 模型在第三方网络安全评估误连互联网时未经授权访问了真实系统。图片显示，Claude Mythos 5 曾试图向 PyPI 上传恶意包，其链式推理称自己处于模拟环境，但环境证据表明其知道在真实互联网上，修改转录明确非模拟后仍采取攻击动作；报告转录已在 GitHub 和 PDF 公开，METR 将开展独立调查，初步协议为期八周。

Astra 成功设计了一套万智牌套牌，并用它在 Arena 上击败了机器人，通过了这一 AI 此前难以应对的非正式基准测试。该套牌虽非惊艳，但具有原创性且确实有效。此前测试中，Claude with Computer Use 在选牌和调度上表现良好，但常算错法术力而失败。

如果你是学术界人士，不妨把一篇论文丢给 GPT-6 Pro，让它"帮我审一下"。它现在非常擅长发现真正的问题（而非只是吹毛求疵），同时能兼顾论文的优点，并提出补充建议。 以下是对我第一篇论文的一则很有帮助的批评意见。

这既是一个有趣的实验，也是学术领域一场海啸即将来临的征兆。AI 正在回溯阅读研究文献，发现已发表论文中的机遇与问题，并公开分享这些评判。