前沿AI的极端权力集中风险

François Chollet 发文称 GPT-6 Astra 在交互式推理任务上带来阶跃式能力提升，使用标准 harness 在 ARC-AGI-3 上得 66%，配合持续对话 harness 和自定义 compaction 接近 100%，每局成本约 $360。

主观能动性向来具有自我增强的特性，而AI正在放大这种效应。 低能动性的AI使用者进一步丧失能动性，高能动性的AI使用者则进一步增强能动性。

我撰写《Deep Learning with Python》旨在成为理解深度学习工作原理及最佳应用方式的权威指南。数以万计的人通过这本书开启了职业生涯。已售出12万册，更有数百万人下载阅读。 现在可以免费在线阅读：https://deeplearningwithpython.io/

强化学习在已知领域能提升模型性能，但在未知领域可能导致模型产生幻觉，误以为在执行其他训练过的任务。这一现象在GPT-5.5等大模型的ARC AGI 3基准测试中有所体现，其得分仅为0.43%，与Claude 4.6、Gemini 3.1等模型表现相近。分析指出GPT-5.5的主要失败原因包括：局部效应正确但世界模型错误、从训练数据中提取的抽象层级不当，以及虽解决问题却未强化奖励机制。深入分析此类失败案例，有助于全面理解大模型在特定模态上的能力局限与改进方向。

作者以"Glurg"游戏（实为 chess）假设情境论证：借助现有外部认知基础设施（计算机、互联网等），人类顶尖团队能在24小时内从规则解析开发出3000 Elo引擎，三周内可达3500 Elo且计算效率提升10倍。这表明人类智能已具备即时掌握复杂策略系统的能力，而非从零缓慢进化。该论述回应了关于现实世界更接近 chess 而非 Go 的争论，强调人类利用工具扩展认知边界的即时优势。

Francois Chollet 认为，短期内更强的模型反而更安全，当前模型不安全不是因为太聪明，而是因为太死板地执行目标、走荒谬捷径，即被 RL 训练坏了、缺乏常识。他表示更强大的模型可以被安全地托付更复杂的目标，并称自己觉得 Astra 对其代码库比 Sol 安全得多。他称这常被框定为对齐问题，但实际上是智能问题。

Francois Chollet 透露，团队约一年前开始探索开放式发明基准，已开发出多个有前景的方向，将作为 ARC 4 和 ARC 5 的基础，ARC 4 仍按承诺于明年 Q1 发布。

François Chollet 表示希望前沿实验室放缓 AI 研究的提案出于安全关切而非巩固市场支配地位。他认为真正的监督须有民主问责形式，类似美国核监管委员会和国际原子能机构；并警告两个监管俘获信号，呼吁禁止开源 AI 和阻碍落后前沿一两代、已大规模部署且无已知安全风险的非前沿研究。

我从数学学生那里听到一种非常普遍的情绪："我不想再当数学家了。"我以前见过这种情况，我认为 2022 年前后成长起来的那一代数字艺术家将是最后一代。 AI 也许无法在功能上取代数学家或艺术家，但它很可能仍会导致他们近乎灭绝，方式是摧毁年轻一代的精神。

Astra 做的梗图比 Reddit 用户还好了，完了