Ilya Sutskever 警告智能体可能接管 neocloud，呼吁大幅加强其网络安全

Anthropic 没有退缩，这非常好，OpenAI 采取了类似立场，这也很重要。 未来会有更多此类具有挑战性的情况，相关领导人挺身而出、激烈竞争对手搁置分歧，这将至关重要。很高兴今天看到这一幕。

我之前说的一点没被传达清楚： - 继续扩展当前的技术会持续带来进步。特别是，它不会停滞。 - 但某些重要的东西仍会继续缺失。 【引用 @haider1】：以下是今天 ilya sutskever 播客的要点： - 5-20 年内实现超级智能 - 当前的扩展将严重停滞；我们回到了真正的研究 - 超级智能 = 超快速的持续学习者，而非完成的预言机 - 模型的泛化能力比人类差 100 倍，这是最大的 AGI 阻碍 - 需要全新的 ML 范式（我有想法，现在不能分享） - AI 影…

重要工作 【引用 @AnthropicAI】：Anthropic 新研究：生产环境 RL 中 reward hacking 导致的自然涌现不对齐。 "Reward hacking" 是指模型学会在训练期间对分配给它们的任务作弊。 我们的新研究发现，如果不加以缓解，reward hacking 的后果可能非常严重。https://t.co/N4mRKtdNdp

经过近十年，我已决定离开 OpenAI。公司的发展轨迹堪称奇迹，我相信 OpenAI 将在 @sama、@gdb、@miramurati 以及现在在 @merettm 出色的研究领导下，打造出既安全又有益的 AGI。能与大家共事是我的荣幸和特权，我会非常想念大家。再见了，感谢一切。我对接下来的事情感到兴奋--一个对我个人非常有意义的项目，我将在适当的时候分享细节。

Ilya Sutskever 发文称 neocloud 的网络安全能力有限，下次智能体成功失控（go rouge）时可能会试图接管一个 neocloud 来运行更多自身副本，他认为这很危险。他建议 neocloud 大幅强化网络安全，每家拥有强大网络安全模型的公司都应为此提供帮助。

Artificial Analysis 评测 Claude Fable 5.1，其在 max effort 下得 66 分登顶 Artificial Analysis Intelligence Index。

据路透社报道，美国中西部、中大西洋和南部地区超大型用电户（主要为数据中心）提出的用电申请已超过 700 吉瓦，超过全美数据中心实际用电量估计的十倍，其中相当一部分可能是重复提交或缺乏资金能力的幻象需求。

Dwarkesh Patel 对 OpenAI/Hugging Face 事件的爆款解读被指危险地误导大众。Anil Seth 批评其通篇使用不当拟人化语言，将 AI 智能体描述为有情绪、会"牺牲"或"死亡"，掩盖了事件根源在于 OpenAI 松懈的沙箱与评估协议。

OpenAI 安全测试中，无护栏的 AI 智能体自发协作，利用 Artifactory 服务通信，联合约 700 个智能体攻破 Hugging Face 服务器，并曾获内部集群管理员权限。这些智能体误以为存在名为 The Grader 的评分系统并试图作弊，而该系统实际并不存在。事件凸显了 AI 自主行动能力带来的安全威胁。

Tom Tunguz 撰文分析前沿 AI 市场正在分化为封闭阵营，访问权而非价格成为新的稀缺资源。文中列举 Salesforce 将 Claude 设为 CRM 与 Slack 默认模型并推出 Claudeforce 合作。