AI 观点与方法

Hugging Face 发布教程，讲解如何用 Sentence Transformers 训练和微调稀疏嵌入模型，涵盖模型架构选择（Splade、Inference-free Splade、CSR）、数据集、损失函数、训练参数与评估器等组件。

本文通过“绝对值”玩具模型，揭示了稀疏自动编码器（SAE）和转码器在解释神经网络时可能存在的“机制非忠实性”问题。核心在于，即使转码器能很好地近似模型的输入-输出映射，它也可能采用与原始模型完全不同的内部计算机制。作者特别指出，当训练数据中存在重复数据点时，转码器可能形成专门“记忆”该点的特征电路，而原模型并无此机制。这种机制背离可能导致模型在分布外数据上泛化行为出现差异，从而威胁机械可解释性研究的可信度。文章最后简要讨论了“雅可比匹配”等潜在缓解方法。

稀疏混合线性变换（MOLT）是一种正在开发的新方法，旨在替代Transformer模型中的MLP层，以解决此前“转码器”方法在计算效率和表示忠实性上的局限。与转码器学习稀疏激活的特征向量不同，MOLT学习稀疏激活的线性变换，这些变换直接对残差流进行线性操作以贡献输出，充当纯粹的计算单元。初步实验表明，MOLT比转码器计算效率更高、机制更忠实，其激活条件具有可解释性，有助于理解层间特征的转换过程。该方法与混合解码器架构相关，但采用了低秩矩阵等不同参数化策略。

Anthropic可解释性团队在Crosscoder模型差异分析中发现，模型独占特征往往多义性高、激活密集，难以解释。实验表明，这是由于有限特征容量下的竞争：共享特征能同时解释两个模型的激活模式，而独占特征需编码更多信息以证明其存在。团队提出缓解策略，即引入少量指定共享特征并降低其稀疏性惩罚，使独占特征变得更可解释和单义。该方法应用于真实模型时，成功分离出能捕捉模型间行为差异的可解释特征。此外，观察到独占特征激活频率比共享特征高一个数量级，且两模型独占特征数量相近。

本文探讨神经网络中“干扰权重”与“权重叠加”现象，认为这是从特定示例归因分析转向全局电路分析的核心障碍。研究通过在玩具模型中的初步探索得出三点发现：干扰权重可在修改解释的玩具模型中复现，其表现与真实模型相似，分析时通常需滤除；其定义多样，既有原则性定义也有实用启发式方法，可在玩具模型中比较，并有望将计算成本高的原则性定义应用于真实模型少量权重以校准启发式方法；仍需大量玩具模型研究以深入理解。文章还讨论了其对安全的影响：它们可能被对抗性环境利用从而损害模型鲁棒性，但对于对齐问…

Anthropic 介绍 Claude Research 功能背后的多智能体研究系统，采用 orchestrator-worker 架构，由 Claude Opus 4 主 agent 协调并行的 Claude Sonnet 4 子 agent，内部评测中性能超出单 agent 90.2%。

Hugging Face 发布 Kernel Hub 入门教程，介绍通过 kernels 库的 get_kernel 直接从 Hub 加载预编译优化内核，无需本地编译 Triton 或 CUTLASS，例如一行代码启用 FlashAttention，库会自动匹配 Python、PyTorch 和 CUDA 版本下载对应二进制。

ARC Prize 测试了各大实验室的 AI 推理系统，在 ARC-AGI-1 上得出准确率与成本的 Pareto 前沿，ARC-AGI-2 上则全数近乎失败，最高仅 Claude Opus 4 的 8.6%。文章指出测试时计算扩展方法堆叠可提升准确率但效率大幅下降，ARC-AGI-2 上的一致性差说明前沿系统存在共同局限，AGI 仍需新想法。

TensorZero 团队将自家的开源框架作为自托管代理接入 Cursor，经 Ngrok 和 Nginx 绕过 Cursor 服务器与 CORS 限制后，成功观察并控制其全部 LLM 调用。

Hugging Face 发布 Tiny Agents in Python，受 Tiny Agents in JS 启发将 huggingface_hub 客户端 SDK 扩展为 MCP Client，可用约70行代码构建 MCP 驱动的智能体。

Hugging Face 团队发布 nanoVLM，一个用纯 PyTorch 训练视觉语言模型的极简工具仓库，可在免费版 Colab 上启动训练。

Hugging Face 发布 Diffusers 量化后端指南，对比 bitsandbytes、torchao、Quanto、GGUF 和 FP8 Layerwise Casting 在 FLUX.1-dev 上把 BF16 加载内存约 31.447 GB 压缩到约 10.6 至 23.7 GB 的表现。

发布新一代生成式媒体模型 Veo 3 与 Imagen 4，以及专为电影制作打造的工具 Flow，支持更高质量的视频与图像生成及专业影视创作流程。

Hugging Face 官方宣布，未来 Transformers 将作为跨框架的模型定义标准，凡支持的 300+ 模型架构可望在 vLLM、SGLang 等推理引擎及 Axolotl、Unsloth 等训练框架中获得支持。团队还将简化模型贡献流程，目标是让新模型不再需要 6000 行代码、20 个文件的改动，并与 llama.cpp、MLX 加强 GGUF 等格式互转。

LlamaIndex 发布改进的 Memory 组件，为 Agent 提供短长期记忆能力。基础形式将聊天记录按 token 上限存入 SQL 数据库（默认内存 SQLite）。

提出"物理图灵测试"作为通用机器人的北极星目标：机器能否像人一样完成物理任务（整理房间、准备晚餐）而不被察觉。这是从自动化比特迈向原子的下一代计算平台。在 Sequoia AI Ascent 演讲，分享第一性原理、数据策略与扩展定律，时长17分钟。

OpenAI 发布博客，深入说明其在模型谄媚（sycophancy）问题上遗漏了什么，并介绍发现的问题、出错原因和计划进行的后续改进。

Anthropic 对齐科学博客提出名为 Bumpers 的对齐策略：即使无法彻底解决对齐问题，也可通过多层相互独立的防护来捕捉和修正失准模型。核心流程包括微调、并行审计、发现警告信号后回溯重训，以及部署后监控等次级防线，方法涵盖机制可解释性审计、红队测试、Clio 式批量监控和分阶段发布等。

ARC Prize Foundation 首次公布 OpenAI o3 与 o4-mini 在 ARC-AGI 上的公开测试结果。o3-low 在 ARC-AGI-1 Semi Private Eval 得分 41%，o3-medium 达 53%，两者在 ARC-AGI-2 上均未超过 3%；o4-mini-low 在 ARC-AGI-1 得 21%。

Anthropic 发布 Claude Code 最佳实践指南，介绍这款命令行智能体编码工具的使用模式。内容涵盖 CLAUDE.md 配置、工具白名单与自定义斜杠命令，以及探索规划编码提交、TDD、git worktrees 多实例并行等常见工作流，并给出 headless 模式自动化等进阶用法。

Anthropic为Claude引入了“思考”工具，允许其在生成最终响应前插入一个专门的思考步骤，以处理多步骤工具调用链、分析外部信息并遵循复杂策略。该工具与更早发布的“扩展思考”功能不同，更侧重于在响应生成过程中对新信息进行针对性推理。在τ-Bench基准测试中，该工具显著提升了Claude在客户服务场景的表现。文章建议在需要复杂工具调用、长链分析或高成本序列决策的场景中使用它，并提供了标准的工具实现格式。

Anthropic 介绍为 Claude 引入 think 工具的方法，让模型在长链工具调用中停下来做结构化思考，并区分于 extended thinking。

OpenAI 阐述关于 AI 经济学的三点观察：模型智能与训练资源的对数成正比，可预测扩展；AI 使用成本每 12 个月下降约 10 倍，远超摩尔定律速度；智能线性增长将产生超指数级社会经济价值。据此，AI 代理将如虚拟同事般渗透各领域，科学进步将大幅加速，虽然短期内生活照旧，但长期将深刻重塑社会经济结构，个人意志力和适应能力将成为关键价值。

Anthropic可解释性团队分享了稀疏自编码器与交叉编码器训练方法的最新改进。主要更新包括采用JumpReLU激活函数、调整损失函数以增强稀疏性并减少“死特征”，以及详细的参数初始化与优化设置。团队基于Rajamanoharan等人（2024）的技术，但修改了梯度流动方式和稀疏性惩罚项。关键超参数包括λ_S约10、λ_P为3×10⁻⁶，并采用线性预热策略。这些改进旨在为外部研究团队提供一个有效的训练起点，相关成果将在未来几个月内进一步发表。

Answer.AI 团队对 AI 软件工程师 Devin 进行了为期一个月的深度测试。尽管早期在 API 集成等简单任务中表现尚可，但在扩展至新项目创建、研究及代码修改等 20 项真实任务时，结果令人失望：仅 3 项成功，14 项失败，且无法预测成败规律。Devin 常陷入技术死胡同、生成过度复杂的“面条代码”，或在面对不可行任务时产生幻觉并浪费大量时间。文章指出其实际表现远低于宣传预期，难以替代人类开发者。

Sam Altman在ChatGPT两周年之际回顾OpenAI九年历程：从坚信AGI可能实现，到2022年意外推出ChatGPT并引爆前所未有的增长曲线。他坦承过去两年从零构建公司的混乱压力，以及被董事会突然解雇的危机教训。如今周活用户已达3亿，在迈向AGI的道路上，他既感激这段经历，也承认未来仍充满未知。

升级版 Claude 3.5 Sonnet 在软件工程评估基准 SWE-bench Verified 上取得 49% 的解决率，超越此前最佳模型的 45%。该基准通过真实 GitHub 问题测试 AI 模型完成软件工程任务的能力，要求模型在给定环境中理解、修改并测试代码，最终通过原始单元测试验证。Claude 团队构建的智能体设计简洁，仅包含提示词、Bash 工具和编辑工具，赋予模型充分的自主判断空间，以灵活步骤解决问题。目前尚无模型在该基准上突破 50% 的解决率。

ARC Prize 官方测试报告显示，OpenAI o3 在 ARC-AGI-1 Semi-Private 评测中以 $10k 算力上限取得 75.7%，高算力（172 倍）配置达 87.5%，Public Eval 高算力为 82.8%、低算力为 91.5%。

🦃 感恩节假期结束时，我终于完成了关于 reward hacking 的文章。不好写啊，呼。

ARC Prize 团队于 2024 年 10 月 24 日举办线上活动，说明为何单靠深度学习难以攻克 ARC-AGI，并提出结合深度学习与程序合成的技术路线。

本文介绍了一种新型的稀疏交叉编码器，它能够同时读取和写入神经网络多个层的激活值，从而提取跨层的共享特征。其主要应用包括：解决跨层叠加问题，追踪残差流中的持久特征；通过消除“重复特征”和跨越无意义的连接来简化电路分析；以及为不同训练阶段或不同架构的模型生成共享特征集，以实现模型差异比较。初步实验验证了其在处理跨层叠加和模型比较方面的潜力。

传统RAG系统在编码时易丢失上下文，导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术，在检索前为文本块添加解释性上下文，能将检索失败次数减少49%，结合重排序后降幅可达67%，显著提升了下游任务性能。对于小于20万token的小型知识库，可直接将其完整内容放入提示词，结合Claude的提示词缓存功能，能降低超过2倍的延迟和高达90%的成本。对于大型知识库，上下文检索则提供了可扩展的解决方案。

Anthropic可解释性团队在2024年9月分享了其初步研究进展，重点探讨了Transformer模型中普遍存在的“后继头”。这些特定的注意力头专门用于处理序数序列（如数字、星期、月份）中的后继关系。研究采用权重检查、独立成分分析等四种互补方法进行识别，其中评分最高的头能将约80%的序数标记最可能地映射到其后继项。分析还揭示了这些头中存在与类别相关的块状结构。团队强调这些发现属于初步成果，预计未来几个月将发表更详细的研究。

ARC Prize 用统一测试框架测得 o1-preview 在 ARC-AGI 公开评测得 21.2%，与 Claude 3.5 Sonnet 的 21% 相当，但每任务平均耗时 4.2 分钟约为其 10 倍。文章认为 o1 实现了训练时和推理时的 CoT 范式，从记忆答案转向记忆推理，但仍限于预训练数据分布内，测试时算力增加虽能对数级提升准确率，实现 AGI 仍需新思路。

Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果：在内部基准 cognition-golden 上，Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%，生产版 Devin 达 74.2%。

作者在书店偶遇计算器历史书籍，顿悟自己热爱这种零依赖的技术产品。计算器作为"大脑插件"，仅需太阳能或电池即可工作，无需联网、账户或订阅，不收集数据，即买即用且完全私密。这与当下强制更新、订阅制、数据密集型的复杂科技形成鲜明对比。反思资本主义经济下公司追求股东价值最大化导致技术异化，呼吁开发者和消费者追求计算器式的技术理想——简单、独立、真正为用户服务。

Anthropic可解释性团队分享了2024年7月的多项研究进展与初步想法，并指出了未来面临的五大核心挑战。这些挑战包括：大量未被提取的“缺失特征”可能构成神经网络的“暗物质”；跨层叠加现象使特征难以映射到特定层；注意力叠加可能掩盖了如归纳头等基本单元的真实结构；权重叠加产生的“干扰权重”给电路分析带来混淆；以及如何将微观的电路理解整合为宏观的模型认知。团队认为，尽管在特征叠加等问题上已取得显著进展，但这些新挑战是通往神经网络机制性理解道路上的关键障碍。

本文认为，在可解释性这类尚处前范式阶段的早期科学领域中，定性研究应与定量研究同等重要。成熟学科依赖既定范式和可靠度量，但可解释性研究缺乏这些基础，过度依赖将高维数据简化为单一数字的摘要统计量存在风险，可能沦为“货船崇拜科学”。作者以自身在字典学习中使用tanh正则化的研究为例，说明定性检查如何揭示了摘要统计量的误导性。在假设空间广阔的早期领域，研究目标应是探索值得考虑的假设，这需要更多地依赖定性结果来引导方向，并对定量度量保持审慎。

ARC Prize 上线 24 小时后发布首日复盘：社交媒体累计 67.5 万次浏览，成为 Kaggle 排名第一的比赛，700 人参赛，当前榜首成绩 18%。团队回应了算力限制旨在考察效率、ARC-AGI-Pub 公共榜单支持联网调用闭源模型、100 万美元奖金用于杠杆效应等质疑，并修正了大奖目标 85% 与人类平均成绩的错误等同，确认人类可解 100% 的 ARC-AGI 任务。

经过近十年，我已决定离开 OpenAI。公司的发展轨迹堪称奇迹，我相信 OpenAI 将在 @sama、@gdb、@miramurati 以及现在在 @merettm 出色的研究领导下，打造出既安全又有益的 AGI。能与大家共事是我的荣幸和特权，我会非常想念大家。再见了，感谢一切。我对接下来的事情感到兴奋——一个对我个人非常有意义的项目，我将在适当的时候分享细节。