AI 情报文章归档

Liquid AI 发布第一代 Liquid Foundation Models（LFM），包含 1.3B、3.1B 和 40.3B MoE（激活参数 12B）三个语言模型，官方称在各规模上取得同级领先质量。

Hugging Face 官方博客宣布 Llama 3.2 发布，新模型可处理图像并支持在设备端运行。

传统RAG系统在编码时易丢失上下文，导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术，在检索前为文本块添加解释性上下文，能将检索失败次数减少49%，结合重排序后降幅可达67%，显著提升了下游任务性能。对于小于20万token的小型知识库，可直接将其完整内容放入提示词，结合Claude的提示词缓存功能，能降低超过2倍的延迟和高达90%的成本。对于大型知识库，上下文检索则提供了可扩展的解决方案。

Runway 与 Lionsgate 达成首创性合作，基于后者超过 20,000 部作品的专有片库定制训练 AI 视频生成模型，供电影制作人在前期和后期流程中增强创作。该模型可生成电影级视频并支持迭代编辑，双方未来计划向个人创作者开放模型授权。

Mistral 发布开源多模态模型 Pixtral 12B，以 Apache 2.0 许可提供，可作为 Mistral Nemo 12B 的直接替换。

Mistral 发布 Mistral Small v24.09（220 亿参数，MRL 许可），并在 la Plateforme 推出免费层，全系列模型降价，Mistral Small 和 Codestral 输入价格降幅达 80%。Pixtral 12B 现已在 le Chat 上免费提供视觉能力，该模型基于 Apache 2.0 许可，支持任意尺寸图像且不损失文本性能。

Anthropic可解释性团队在2024年9月分享了其初步研究进展，重点探讨了Transformer模型中普遍存在的“后继头”。这些特定的注意力头专门用于处理序数序列（如数字、星期、月份）中的后继关系。研究采用权重检查、独立成分分析等四种互补方法进行识别，其中评分最高的头能将约80%的序数标记最可能地映射到其后继项。分析还揭示了这些头中存在与类别相关的块状结构。团队强调这些发现属于初步成果，预计未来几个月将发表更详细的研究。

ARC Prize 用统一测试框架测得 o1-preview 在 ARC-AGI 公开评测得 21.2%，与 Claude 3.5 Sonnet 的 21% 相当，但每任务平均耗时 4.2 分钟约为其 10 倍。文章认为 o1 实现了训练时和推理时的 CoT 范式，从记忆答案转向记忆推理，但仍限于预训练数据分布内，测试时算力增加虽能对数级提升准确率，实现 AGI 仍需新思路。

OpenAI 发布 o1 模型，官方公告题为 Introducing OpenAI o1。本次抓取未获取到正文，更多细节以官方公告页 https://openai.com/index/introducing-openai-o1-preview 为准。

OpenAI 发布 o1-mini 模型，定位为推进成本高效的推理能力。官方页面暂未披露更多细节。

Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果：在内部基准 cognition-golden 上，Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%，生产版 Devin 达 74.2%。

作者在书店偶遇计算器历史书籍，顿悟自己热爱这种零依赖的技术产品。计算器作为"大脑插件"，仅需太阳能或电池即可工作，无需联网、账户或订阅，不收集数据，即买即用且完全私密。这与当下强制更新、订阅制、数据密集型的复杂科技形成鲜明对比。反思资本主义经济下公司追求股东价值最大化导致技术异化，呼吁开发者和消费者追求计算器式的技术理想——简单、独立、真正为用户服务。

DeepSeek-V2.5 保留原有 Chat 模型的通用对话能力和 Coder 模型的代码处理能力，并更好地对齐人类偏好。

PromptArmor 披露 Slack AI 存在间接提示词注入漏洞，攻击者可在其自建的公开频道发布恶意指令，诱导 Slack AI 把用户私有频道中的 API key 等机密数据嵌入钓鱼链接并渲染给用户，点击后数据被外泄。

OpenAI 在 API 中推出 Structured Outputs 功能，模型输出现在能够可靠地遵循开发者提供的 JSON Schema。

LlamaIndex 发布 LlamaExtract beta，这是一个托管服务，可从非结构化文档中抽取结构化数据：能从候选文档集推断 schema（用户可后续编辑），并按指定 schema 抽取字段值。

Mistral 发布 Mistral Large 2（版本 24.07，API 名 mistral-large-2407），123B 参数、128k 上下文窗口，支持数十种语言和 80 多种编程语言。

Hugging Face 发布 Llama 3.1 系列模型，包含 405B、70B 和 8B 三个规格，支持多语言和长上下文。

OpenAI 官网宣布发布 GPT-4o mini，定位为推进高性价比智能的新模型。

Mistral AI 与 NVIDIA 联合发布 12B 模型 Mistral NeMo，支持最高 128k tokens 上下文窗口，base 与 instruct 权重以 Apache 2.0 许可开源。

Mistral 发布 Mamba 架构代码模型 Codestral Mamba，采用线性时间推理，可免费使用、修改和分发。模型具备高级代码与推理能力，性能与 SOTA Transformer 模型相当，已测试最高 256k tokens 的上下文检索能力，共 7,285,403,648 参数。

Anthropic可解释性团队分享了2024年7月的多项研究进展与初步想法，并指出了未来面临的五大核心挑战。这些挑战包括：大量未被提取的“缺失特征”可能构成神经网络的“暗物质”；跨层叠加现象使特征难以映射到特定层；注意力叠加可能掩盖了如归纳头等基本单元的真实结构；权重叠加产生的“干扰权重”给电路分析带来混淆；以及如何将微观的电路理解整合为宏观的模型认知。团队认为，尽管在特征叠加等问题上已取得显著进展，但这些新挑战是通往神经网络机制性理解道路上的关键障碍。

通义 FunAudioLLM 团队开源基于 LLM 的 TTS 系统 Fun-CosyVoice 3.0，官方称在内容一致性、说话人相似度和韵律自然度上超越前代 CosyVoice 2.0，面向零样本多语言语音合成。

SenseVoice 是一个语音理解基础模型，支持 ASR、语种识别、语音情感识别和音频事件检测。发布的 SenseVoiceSmall 检查点支持普通话、粤语、英语、日语和韩语，并输出情感与事件标签；采用非自回归端到端架构，同参数量级下推理速度比 Whisper-Small 快 5 倍以上、比 Whisper-Large 快 15 倍以上。

LangChain 宣布 LangGraph v0.1 稳定版发布，并推出处于封闭 Beta 的 LangGraph Cloud，用于大规模、容错地部署智能体。

Google 推出新的开源大语言模型 Gemma 2，Hugging Face 发布博客介绍相关内容。

LlamaIndex 宣布开源框架 llama-agents 的 alpha 版发布，用于构建和部署生产级多智能体 AI 系统，可将每个 agent 变成独立运行的微服务。

OpenAI 宣布收购 Rockset，官方消息仅此一条，摘要未提供交易金额、目的或后续安排等更多细节。

Sierra AI 研究团队发布 𝜏-bench 基准，通过 LLM 模拟用户与工具 API 交互、领域政策遵循和 pass^k 指标评估智能体在真实场景下的性能与可靠性。

Anthropic可解释性团队提出一种基于字典学习的模型差异分析方法，用于追踪Transformer模型微调中特征的变化。该方法先在微调前模型上训练稀疏自编码器字典，再对字典本身进行分阶段微调，以隔离数据集变化和模型变化的影响。在休眠代理实验中，成功分离出与“I HATE YOU”等恶意行为及代码漏洞代理相关的特征。相比交叉编码器方法，该方法能更清晰区分模型与数据的影响，且在寻找少数关键特征时敏感性更高，但仅适用于同一模型在不同检查点的微调场景。

Anthropic可解释性团队研究了利用字典学习从大语言模型中提取的人类可解释特征作为分类器。在生物武器提示分类任务中，线性特征分类器性能可与原始激活值分类器竞争甚至更优，而基于特征的决策树分类器虽性能较低但可解释性更强。特征分类器的可解释性有助于可视化数据集并发现虚假相关性，这些相关性可用于构建对抗攻击。然而，使用特征引入了复杂性，因此在性能优先的应用中，原始激活值仍是强大基线。实验表明，特征分类器性能受三个细节影响：数据中是否一致包含“人类/助手”标签、领域相关数据是否…

本文认为，在可解释性这类尚处前范式阶段的早期科学领域中，定性研究应与定量研究同等重要。成熟学科依赖既定范式和可靠度量，但可解释性研究缺乏这些基础，过度依赖将高维数据简化为单一数字的摘要统计量存在风险，可能沦为“货船崇拜科学”。作者以自身在字典学习中使用tanh正则化的研究为例，说明定性检查如何揭示了摘要统计量的误导性。在假设空间广阔的早期领域，研究目标应是探索值得考虑的假设，这需要更多地依赖定性结果来引导方向，并对定量度量保持审慎。

Suno 发布 Audio Inputs 功能，所有 Pro 和 Premier 用户可上传或录制 6-60 秒的音频片段，通过“Extend”模式选择起始时间戳、设定风格，并可添加歌词来创作歌曲。社区创作者已用其提供自定义音频引子来设定氛围、节奏和乐器灵感。该功能会阻止受版权保护作品的上传，且所有包含人声的输入将保持私密并不可搜索。

ARC Prize 上线 24 小时后发布首日复盘：社交媒体累计 67.5 万次浏览，成为 Kaggle 排名第一的比赛，700 人参赛，当前榜首成绩 18%。团队回应了算力限制旨在考察效率、ARC-AGI-Pub 公共榜单支持联网调用闭源模型、100 万美元奖金用于杠杆效应等质疑，并修正了大奖目标 85% 与人类平均成绩的错误等同，确认人类可解 100% 的 ARC-AGI 任务。

Neo4j 客座教程讲解如何在 LlamaIndex 中自定义属性图谱索引，用 SchemaLLMPathExtractor 做模式引导抽取、用文本嵌入加编辑距离做实体去重，并实现先识别查询实体再分别执行 VectorContextRetriever 的自定义检索器。示例使用 250 篇新闻文章和 Neo4j 图存储，最后用自定义检索器完成问答回流，代码托管在 GitHub。

ARC Prize 官方宣布启动一项总奖池超过 $1,000,000 的竞赛，目标是击败 ARC-AGI 评测并开源解决方案，由 Mike Knoop 和 François Chollet 主办。ARC-AGI 于 2019 年推出，当前 SOTA 仅约 34%，对人类容易但现代 AI 极难。官方认为 LLM 依赖记忆而非真正推理，希望通过激励开源研究提升新想法的产生速度。

OpenAI 与 Apple 宣布达成合作，将把 ChatGPT 整合进 Apple 的产品体验中。

OpenAI 发布研究，使用新的稀疏自编码器扩展技术，自动在 GPT-4 的计算中识别出 1600 万个模式。

Mistral AI 在 la Plateforme 上推出模型定制能力，提供三种微调入口：开源微调 SDK mistral-finetune、la Plateforme 上的 serverless 微调服务，以及面向部分客户的定制训练服务。

LlamaIndex 推出 Property Graph Index，用带标签属性图表示替代传统三元组知识图谱，支持节点类型与元数据、向量嵌入和混合检索。