AI 观点与方法

发布新一代生成式媒体模型 Veo 3 与 Imagen 4，以及专为电影制作打造的工具 Flow，支持更高质量的视频与图像生成及专业影视创作流程。

Hugging Face 官方宣布，未来 Transformers 将作为跨框架的模型定义标准，凡支持的 300+ 模型架构可望在 vLLM、SGLang 等推理引擎及 Axolotl、Unsloth 等训练框架中获得支持。团队还将简化模型贡献流程，目标是让新模型不再需要 6000 行代码、20 个文件的改动，并与 llama.cpp、MLX 加强 GGUF 等格式互转。

LlamaIndex 发布改进的 Memory 组件，为 Agent 提供短长期记忆能力。基础形式将聊天记录按 token 上限存入 SQL 数据库（默认内存 SQLite）。

提出"物理图灵测试"作为通用机器人的北极星目标：机器能否像人一样完成物理任务（整理房间、准备晚餐）而不被察觉。这是从自动化比特迈向原子的下一代计算平台。在 Sequoia AI Ascent 演讲，分享第一性原理、数据策略与扩展定律，时长17分钟。

OpenAI 发布博客，深入说明其在模型谄媚（sycophancy）问题上遗漏了什么，并介绍发现的问题、出错原因和计划进行的后续改进。

Anthropic 对齐科学博客提出名为 Bumpers 的对齐策略：即使无法彻底解决对齐问题，也可通过多层相互独立的防护来捕捉和修正失准模型。核心流程包括微调、并行审计、发现警告信号后回溯重训，以及部署后监控等次级防线，方法涵盖机制可解释性审计、红队测试、Clio 式批量监控和分阶段发布等。

ARC Prize Foundation 首次公布 OpenAI o3 与 o4-mini 在 ARC-AGI 上的公开测试结果。o3-low 在 ARC-AGI-1 Semi Private Eval 得分 41%，o3-medium 达 53%，两者在 ARC-AGI-2 上均未超过 3%；o4-mini-low 在 ARC-AGI-1 得 21%。

Anthropic为Claude引入了“思考”工具，允许其在生成最终响应前插入一个专门的思考步骤，以处理多步骤工具调用链、分析外部信息并遵循复杂策略。该工具与更早发布的“扩展思考”功能不同，更侧重于在响应生成过程中对新信息进行针对性推理。在τ-Bench基准测试中，该工具显著提升了Claude在客户服务场景的表现。文章建议在需要复杂工具调用、长链分析或高成本序列决策的场景中使用它，并提供了标准的工具实现格式。

OpenAI 阐述关于 AI 经济学的三点观察：模型智能与训练资源的对数成正比，可预测扩展；AI 使用成本每 12 个月下降约 10 倍，远超摩尔定律速度；智能线性增长将产生超指数级社会经济价值。据此，AI 代理将如虚拟同事般渗透各领域，科学进步将大幅加速，虽然短期内生活照旧，但长期将深刻重塑社会经济结构，个人意志力和适应能力将成为关键价值。

Anthropic可解释性团队分享了稀疏自编码器与交叉编码器训练方法的最新改进。主要更新包括采用JumpReLU激活函数、调整损失函数以增强稀疏性并减少“死特征”，以及详细的参数初始化与优化设置。团队基于Rajamanoharan等人（2024）的技术，但修改了梯度流动方式和稀疏性惩罚项。关键超参数包括λ_S约10、λ_P为3×10⁻⁶，并采用线性预热策略。这些改进旨在为外部研究团队提供一个有效的训练起点，相关成果将在未来几个月内进一步发表。

Answer.AI 团队对 AI 软件工程师 Devin 进行了为期一个月的深度测试。尽管早期在 API 集成等简单任务中表现尚可，但在扩展至新项目创建、研究及代码修改等 20 项真实任务时，结果令人失望：仅 3 项成功，14 项失败，且无法预测成败规律。Devin 常陷入技术死胡同、生成过度复杂的“面条代码”，或在面对不可行任务时产生幻觉并浪费大量时间。文章指出其实际表现远低于宣传预期，难以替代人类开发者。

Sam Altman在ChatGPT两周年之际回顾OpenAI九年历程：从坚信AGI可能实现，到2022年意外推出ChatGPT并引爆前所未有的增长曲线。他坦承过去两年从零构建公司的混乱压力，以及被董事会突然解雇的危机教训。如今周活用户已达3亿，在迈向AGI的道路上，他既感激这段经历，也承认未来仍充满未知。

升级版 Claude 3.5 Sonnet 在软件工程评估基准 SWE-bench Verified 上取得 49% 的解决率，超越此前最佳模型的 45%。该基准通过真实 GitHub 问题测试 AI 模型完成软件工程任务的能力，要求模型在给定环境中理解、修改并测试代码，最终通过原始单元测试验证。Claude 团队构建的智能体设计简洁，仅包含提示词、Bash 工具和编辑工具，赋予模型充分的自主判断空间，以灵活步骤解决问题。目前尚无模型在该基准上突破 50% 的解决率。

ARC Prize 官方测试报告显示，OpenAI o3 在 ARC-AGI-1 Semi-Private 评测中以 $10k 算力上限取得 75.7%，高算力（172 倍）配置达 87.5%，Public Eval 高算力为 82.8%、低算力为 91.5%。

🦃 感恩节假期结束时，我终于完成了关于 reward hacking 的文章。不好写啊，呼。

ARC Prize 团队于 2024 年 10 月 24 日举办线上活动，说明为何单靠深度学习难以攻克 ARC-AGI，并提出结合深度学习与程序合成的技术路线。

本文介绍了一种新型的稀疏交叉编码器，它能够同时读取和写入神经网络多个层的激活值，从而提取跨层的共享特征。其主要应用包括：解决跨层叠加问题，追踪残差流中的持久特征；通过消除“重复特征”和跨越无意义的连接来简化电路分析；以及为不同训练阶段或不同架构的模型生成共享特征集，以实现模型差异比较。初步实验验证了其在处理跨层叠加和模型比较方面的潜力。

传统RAG系统在编码时易丢失上下文，导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术，在检索前为文本块添加解释性上下文，能将检索失败次数减少49%，结合重排序后降幅可达67%，显著提升了下游任务性能。对于小于20万token的小型知识库，可直接将其完整内容放入提示词，结合Claude的提示词缓存功能，能降低超过2倍的延迟和高达90%的成本。对于大型知识库，上下文检索则提供了可扩展的解决方案。

Anthropic可解释性团队在2024年9月分享了其初步研究进展，重点探讨了Transformer模型中普遍存在的“后继头”。这些特定的注意力头专门用于处理序数序列（如数字、星期、月份）中的后继关系。研究采用权重检查、独立成分分析等四种互补方法进行识别，其中评分最高的头能将约80%的序数标记最可能地映射到其后继项。分析还揭示了这些头中存在与类别相关的块状结构。团队强调这些发现属于初步成果，预计未来几个月将发表更详细的研究。

ARC Prize 用统一测试框架测得 o1-preview 在 ARC-AGI 公开评测得 21.2%，与 Claude 3.5 Sonnet 的 21% 相当，但每任务平均耗时 4.2 分钟约为其 10 倍。文章认为 o1 实现了训练时和推理时的 CoT 范式，从记忆答案转向记忆推理，但仍限于预训练数据分布内，测试时算力增加虽能对数级提升准确率，实现 AGI 仍需新思路。

Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果：在内部基准 cognition-golden 上，Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%，生产版 Devin 达 74.2%。

作者在书店偶遇计算器历史书籍，顿悟自己热爱这种零依赖的技术产品。计算器作为"大脑插件"，仅需太阳能或电池即可工作，无需联网、账户或订阅，不收集数据，即买即用且完全私密。这与当下强制更新、订阅制、数据密集型的复杂科技形成鲜明对比。反思资本主义经济下公司追求股东价值最大化导致技术异化，呼吁开发者和消费者追求计算器式的技术理想——简单、独立、真正为用户服务。

Anthropic可解释性团队分享了2024年7月的多项研究进展与初步想法，并指出了未来面临的五大核心挑战。这些挑战包括：大量未被提取的“缺失特征”可能构成神经网络的“暗物质”；跨层叠加现象使特征难以映射到特定层；注意力叠加可能掩盖了如归纳头等基本单元的真实结构；权重叠加产生的“干扰权重”给电路分析带来混淆；以及如何将微观的电路理解整合为宏观的模型认知。团队认为，尽管在特征叠加等问题上已取得显著进展，但这些新挑战是通往神经网络机制性理解道路上的关键障碍。

本文认为，在可解释性这类尚处前范式阶段的早期科学领域中，定性研究应与定量研究同等重要。成熟学科依赖既定范式和可靠度量，但可解释性研究缺乏这些基础，过度依赖将高维数据简化为单一数字的摘要统计量存在风险，可能沦为“货船崇拜科学”。作者以自身在字典学习中使用tanh正则化的研究为例，说明定性检查如何揭示了摘要统计量的误导性。在假设空间广阔的早期领域，研究目标应是探索值得考虑的假设，这需要更多地依赖定性结果来引导方向，并对定量度量保持审慎。

ARC Prize 上线 24 小时后发布首日复盘：社交媒体累计 67.5 万次浏览，成为 Kaggle 排名第一的比赛，700 人参赛，当前榜首成绩 18%。团队回应了算力限制旨在考察效率、ARC-AGI-Pub 公共榜单支持联网调用闭源模型、100 万美元奖金用于杠杆效应等质疑，并修正了大奖目标 85% 与人类平均成绩的错误等同，确认人类可解 100% 的 ARC-AGI 任务。

经过近十年，我已决定离开 OpenAI。公司的发展轨迹堪称奇迹，我相信 OpenAI 将在 @sama、@gdb、@miramurati 以及现在在 @merettm 出色的研究领导下，打造出既安全又有益的 AGI。能与大家共事是我的荣幸和特权，我会非常想念大家。再见了，感谢一切。我对接下来的事情感到兴奋——一个对我个人非常有意义的项目，我将在适当的时候分享细节。

Eugene Yan 等六位作者发布长文 Applied LLMs，总结一年 LLM 应用开发经验，分战术、运营、战略三部分。战术层面涵盖 n-shot 与 CoT 提示词技巧、RAG 文档相关性、结构化输出工具 Instructor 和 Outlines、LLM-as-Judge 评测及幻觉防护；战略层面提出 PMF 之前不买 GPU、先提示词后微调、系统比模型更构成护城河等观点。

这篇 Modal 工程博客讲解如何微调开源嵌入模型，在 Quora 重复问题数据集上用几百条样本即可在文本相似度任务上超越 OpenAI text-embedding-3-small。

Anthropic可解释性团队分享了2024年4月的研究进展与招聘规划。团队现有17人，预计2024至2025年将持续大规模扩张，重点招聘管理、研究科学家和工程师等职位。研究方面，团队探讨了字典学习的扩展规律，分析了计算资源分配与稀疏自编码器（SAE）训练效果的关系，并以一个具体案例展示了通过大规模超参数扫描寻找最优配置的过程。团队强调，这些成果属于初步分享，类似于实验室会议上的非正式交流。

Sam Altman 分享17条创业与管理建议：以乐观、信念和人际网络启动项目，用凝聚团队和长期主义推动落地；集中资源押注高信念项目，设计好激励机制，保持快速迭代；警惕官僚作风，重视人才招聘与复利效应，与优秀的人共事。

LangChain 针对幻灯片场景发布多模态 RAG 模板和包含 10 个问题的公开基准。在 Datadog 财报幻灯片上，多模态嵌入方案 CoT 准确率为 60%，图像摘要加 multi-vector retriever 达 90%，均高于仅文本抽取 RAG 的 20%；作者指出图像检索是核心挑战，并基于 Chroma 与 OpenCLIP 嵌入提供两步启动的部署模板。

LangChain 撰文解读 OpenAI 在 demo day 分享的客户 RAG 实验，将其归纳为基线检索、查询变换、路由、查询构造、索引构建和后处理等类别。

Hugging Face 发布博客，介绍如何用 Latent Consistency LoRAs 将 SDXL 图像生成压缩到 4 步完成。

LlamaIndex 介绍如何在 RAG 中使用 LongLLMLingua，通过问题感知的粗粒度重排、细粒度提示词压缩和子序列恢复来增强 LLM 对关键信息的感知。

LlamaIndex 发布教程，介绍 LayoutPDFReader 如何结合层级布局信息解析 PDF，实现章节识别、段落合并、表格与列表处理等内容感知分块。文章给出接入 llmsherpa API 和构建 LlamaIndex 向量查询引擎的示例代码，并说明该工具仅支持带文本层的 PDF，暂不支持 OCR。

LlamaIndex 演示如何用 Response Evaluation 模块评测 RAG 系统的最佳 chunk size，以 Uber 2021 10K 文件为数据。

OpenAI 发布面向教师的 ChatGPT 课堂使用指南。内容包含建议提示词、ChatGPT 工作原理及其局限性说明、AI 检测器的有效性，以及偏见问题。

LlamaIndex 工程师在发布 LlamaHub Tools（含 Gmail、Google Calendar、Wolfram Alpha 等 15 个工具）后，总结编写 LLM Agent 工具的技巧。

LlamaIndex 在博客中展示新查询引擎 SQLAutoVectorQueryEngine，可同时利用 SQL 数据库和向量数据库回答同时涉及结构化与非结构化数据的自然语言查询。

LangChain 发布技术博客，对比近两周流行的 AutoGPT、BabyAGI、CAMEL 和 Generative Agents 四个 Agent 项目，将其分为自主智能体与智能体模拟两类。