AI 产品发布与更新

OpenAI 在 API 中推出新一代音频模型。开发者首次可以指示文生语音模型以特定方式说话，例如像有同理心的客服人员那样讲话，为语音 Agent 带来更深层的自定义能力。

OpenRouter API 上线首个深度研究工具，API 响应中直接包含完整引用。同时平台新增多款模型。

Mistral 发布 Mistral OCR，一款可识别图像、文本、表格和公式的光学字符识别 API。内部基准中 Mistral OCR 2503 综合得分 94.89，高于 Gemini-2.0-Flash-001 的 88.69 和 Azure OCR 的 89.52；单节点处理速度可达每分钟 2000 页。

LlamaIndex 推出 LlamaExtract，现已通过 LlamaParse 的 web UI 和 Python SDK 开放公测，用户定义 schema 后即可从非结构化文档提取 JSON 格式的结构化数据。工具支持 PDF、扫描件和 100 页以上长文档，基于 LlamaParse 构建，无需手动处理 OCR 和表格解析，输出符合 schema 的类型化数据，并提供免费和付费方案。

Linktree 团队分享使用 Cognition 的 AI 智能体 Devin 一个月的成果：Devin 完成约 300 个 PR，其中约 100 个已合并，主要是修复客户报告的 bug、实现小功能和原型验证。

Mistral AI 发布全新 le Chat AI 助手，上线 iOS 和 Android，并推出 Pro（$14.99/月）、Team 及 Enterprise 私测版本。

OpenAI 推出 deep research，一个运用推理能力整合大量网络信息、完成多步研究任务的智能体。该功能当天向 Pro 用户开放，随后面向 Plus 和 Team 用户推出。

Hugging Face 在 Hub 上推出 Inference Providers，原文正文未抓取成功，仅标题可用，具体功能与细节以原文链接 https://huggingface.co/blog/inference-providers 为准。

OpenRouter 为思考模型（thinking models）新增推理 token（reasoning tokens），帮助用户理解模型思考过程。

OpenRouter 在其 API 中新增了网页搜索功能，使所有请求能够结合最新的网络搜索信息，从而获取更及时的响应结果。

LangChain 发布 LangSmith 的 Pytest 与 Vitest/Jest 集成，随 Python 和 TypeScript SDK v0.3.0 以 beta 提供，让开发者沿用现有测试框架运行 LLM 评测并记录到 LangSmith。

LlamaIndex 推出 AgentWorkflow，一个基于其 Workflow 抽象的智能体系统构建与编排框架。它负责智能体间协调、状态维护和实时事件流监控，支持 FunctionAgent 与 ReActAgent 两种类型、全局 Context 状态管理，以及通过 InputRequiredEvent 集成人工审批，官方提供了单智能体和多智能体研究报告系统的代码示例。

Modal 宣布 Sandboxes 正式可用，这是安全运行 LLM、用户或第三方来源不可信代码的隔离执行环境。它提供 exec API，可在运行时用与 Functions 相同的 Image API 动态配置任意语言依赖，支持文件系统快照以持久化和多 Sandbox 扇出，并复用 Functions 基础设施带来快速冷启动、GPU 和全球区域选择。

Hugging Face 推出 smolagents，一个以代码形式编写动作的简单智能体库。原文正文缺失，仅标题可确认发布信息，详情以博客原文为准。

OpenAI 面向开发者发布 OpenAI o1，并带来 Realtime API 改进和新的微调方法等多项更新。

Hugging Face 团队发布 Synthetic Data Generator，这是一款无代码应用，通过三步流程用自然语言描述生成自定义合成数据集，后台由 distilabel 和免费的 Hugging Face 文本生成 API 驱动。

Cognition 宣布 Devin 正式全面可用，无席位限制，所有工程团队可在 app.devin.ai 开始使用，并提供 Slack 集成、IDE 扩展（VSCode 及分支，Beta）和 API，以及 Cognition 工程团队的 onboarding 支持。

OpenAI 的视频生成模型 Sora 上线，用户可在 sora.com 使用。支持生成最高 1080p、最长 20 秒的视频，可选宽屏、竖屏或方形画幅，还可导入自有素材进行延展、重混和融合，或直接从文本生成全新内容。

OpenAI 官网宣布推出 ChatGPT Pro，目的是拓展前沿 AI 的使用范围。本次抓取的 feed 未提供完整正文，更多定价与功能细节以官网原文为准。

Mistral AI 宣布对其免费生成式 AI 助手 le Chat 进行大版本更新，新增带引用的网页搜索、Canvas 协作编辑界面、图像生成和可发布的 Agent 工作流，全部以免费 beta 提供。

Hugging Face 发布 Argilla 2.4，用户可从 Hub 任一公开数据集无代码导入，通过 Argilla UI 定义问题并收集人工反馈，用于构建微调和评估数据集。Hub 现有 230k 数据集可作为起点，部署在 Spaces 上默认启用 Hugging Face OAuth，允许任何 Hub 用户参与标注，也可配置为仅限协作者；后续仍可用 Python SDK 做进一步自定义。

OpenAI 推出 ChatGPT search，为 ChatGPT 增加搜索功能，可提供快速、及时的答案，并附上相关网页来源链接。

OpenAI 推出 canvas，一种与 ChatGPT 协作写作和编码的新方式。

OpenAI 推出 Realtime API，开发者现在可以在应用中构建快速的语音到语音（speech-to-speech）体验。

OpenAI 宣布微调 API 支持视觉能力，开发者现可用图像和文本对 GPT-4o 进行微调，以提升其视觉表现。

OpenAI 在 API 中推出 Prompt Caching 功能，对模型最近见过的输入内容自动提供折扣。该功能面向 API 用户，可降低重复前缀类请求的输入成本。

OpenAI 在其平台上推出 API 模型蒸馏功能，允许用大型前沿模型的输出来微调成本更高效的模型。

Mistral 发布 Mistral Small v24.09（220 亿参数，MRL 许可），并在 la Plateforme 推出免费层，全系列模型降价，Mistral Small 和 Codestral 输入价格降幅达 80%。Pixtral 12B 现已在 le Chat 上免费提供视觉能力，该模型基于 Apache 2.0 许可，支持任意尺寸图像且不损失文本性能。

OpenAI 在 API 中推出 Structured Outputs 功能，模型输出现在能够可靠地遵循开发者提供的 JSON Schema。

LlamaIndex 发布 LlamaExtract beta，这是一个托管服务，可从非结构化文档中抽取结构化数据：能从候选文档集推断 schema（用户可后续编辑），并按指定 schema 抽取字段值。

SenseVoice 是一个语音理解基础模型，支持 ASR、语种识别、语音情感识别和音频事件检测。发布的 SenseVoiceSmall 检查点支持普通话、粤语、英语、日语和韩语，并输出情感与事件标签；采用非自回归端到端架构，同参数量级下推理速度比 Whisper-Small 快 5 倍以上、比 Whisper-Large 快 15 倍以上。

LangChain 宣布 LangGraph v0.1 稳定版发布，并推出处于封闭 Beta 的 LangGraph Cloud，用于大规模、容错地部署智能体。

LlamaIndex 宣布开源框架 llama-agents 的 alpha 版发布，用于构建和部署生产级多智能体 AI 系统，可将每个 agent 变成独立运行的微服务。

Suno 发布 Audio Inputs 功能，所有 Pro 和 Premier 用户可上传或录制 6-60 秒的音频片段，通过“Extend”模式选择起始时间戳、设定风格，并可添加歌词来创作歌曲。社区创作者已用其提供自定义音频引子来设定氛围、节奏和乐器灵感。该功能会阻止受版权保护作品的上传，且所有包含人声的输入将保持私密并不可搜索。

Mistral AI 在 la Plateforme 上推出模型定制能力，提供三种微调入口：开源微调 SDK mistral-finetune、la Plateforme 上的 serverless 微调服务，以及面向部分客户的定制训练服务。

LlamaIndex 推出 Property Graph Index，用带标签属性图表示替代传统三元组知识图谱，支持节点类型与元数据、向量嵌入和混合检索。

OpenAI 更新 ChatGPT 数据分析功能，新增表格和图表交互，并可直接从 Google Drive 和 Microsoft OneDrive 添加文件。

OpenAI 宣布推出 ChatGPT 和 Whisper API。正文抓取失败，仅有标题信息可确认发布动作。

OpenAI 宣布 GPT-4 API 全面可用，GPT-3.5 Turbo、DALL·E 和 Whisper API 也同时全面开放。同时发布 Completions API 旧模型的退役计划，这些旧模型将于 2024 年初退役。

OpenAI 宣布用户无需注册账号即可直接开始使用 ChatGPT，降低了体验 AI 的门槛。