AI圈报
产品发布 / 更新普通

vLLM 发布 TorchTPU 后端，让 vLLM 在 Google Cloud TPU 上运行

信息来源：vLLM 官方博客（RSS）·
原始标题：Introducing vLLM TorchTPU

内容摘要

vLLM 团队与 Inferact、Google 合作发布 vLLM TorchTPU（vllm-torchtpu），一个在 Google Cloud TPU 上运行 vLLM 的新后端插件，复用 vLLM 既有模型代码，无需改动模型定义即可部署大多数现有模型。
内容分类AI 产品发布与更新
内容层级普通情报
发布时间（北京时间）
本站收录时间（北京时间）
信息来源vLLM 官方博客（RSS）
站内情报编号intel-f3cadc814c95ebaba6b3a1df
阅读原始信息 ↗查看数据来源更多产品发布 / 更新

相关推荐

综合分类、实体标签与信息来源匹配

产品发布 / 更新精选
vLLM 实现 Reflection Beam 501B MoE 模型 Day 0 支持
vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型，这是一个 501B 参数、每 token 激活 23B 的 MoE 模型，在 NVIDIA Blackwell 上完成优化。
信息来源：vLLM 官方博客（RSS） · NVIDIA
产品发布 / 更新精选
vLLM 提供 Muse Spark Open Day 0 支持
vLLM 与 Meta Superintelligence Labs 合作，在发布当天即支持开源 MoE 模型 Muse Spark Open。该模型总参数 816B、每 token 激活 42B、上下文窗口 1M，面向长程智能体编码工作流。
信息来源：vLLM 官方博客（RSS）
产品发布 / 更新精选
vLLM 推出无需置信头的在线拟合接受估计器，让 EAGLE、MTP 等草稿模型可用 Adaptive Verification
vLLM 支持 confidence scoring 扩展到所有基于草稿模型的投机类型，通过在线拟合的 logistic 回归从草发者 logits 推导 logit(q_max) 特征来预测目标模型的接受概率，作为 Adaptive Verification 的置信分。
信息来源：vLLM 官方博客（RSS）
产品发布 / 更新精选
vLLM 新增基于 Gumbel-max 的无失真文本水印功能
vLLM 宣布支持基于 Gumbel-max 算法的无失真水印，将其集成进 Model Runner v2 的采样管线，并通过 PR #54053、#56122、#56233 实现融合 GPU kernel、双键方案和上下文去重，以兼容投机解码并保持输出多样性。
信息来源：vLLM 官方博客（RSS）
产品发布 / 更新精选
vLLM 发布 vllm-metal v0.28.0：在 Apple Silicon 上支持并发推理服务
vLLM 官方发布 vllm-metal v0.28.0，把 vLLM 的 V1 调度器、paged KV cache 和 OpenAI 兼容服务器带到 Apple Silicon，由 MLX 和 Metal 执行模型，版本号与上游 vLLM 对齐。
信息来源：vLLM 官方博客（RSS） · OpenAI
产品发布 / 更新精选
vLLM 发布 Kimi K3 Day-0 支持：2.8T 混合 MoE 的部署指南与性能数据
vLLM 官方宣布 Day-0 支持 Kimi K3，这是一个 2.8 万亿参数的 MoE 模型（每 token 激活 896 专家中的 16 个），基于 Kimi Delta Attention 与 Attention Residuals，支持 1M token 上下文窗口和原生视觉。
信息来源：vLLM 官方博客（RSS） · Kimi
产品发布 / 更新精选
vLLM 实现 TML Inkling Day-0 支持并完成推理性能优化
vLLM 宣布对 Thinking Machines Lab 的 1T 参数多模态模型 TML Inkling 提供 Day-0 支持，覆盖 thinkingmachines/Inkling-NVFP4 和 BF16 两个版本，支持文本、图像、音频输入和最长 1M token 上下文。
信息来源：vLLM 官方博客（RSS）
产品发布 / 更新精选
vLLM 发布 MiniMax M3 Day-0 支持：1M 上下文多模态推理
vLLM 宣布对 MiniMax M3 的 day-0 支持，覆盖 BF16 与 MXFP8 检查点，支持 1M-token 上下文、原生图像视频输入、minimax_m3 工具与推理解析器、EAGLE3 推测解码（草稿模型 Inferact/MiniMax-M3-EAGLE3）以及 TP/EP 部署和 Docker 镜像。
信息来源：vLLM 官方博客（RSS）
产品发布 / 更新精选
vLLM 推出原生 RL 权重同步 API 并修复异步 RL 死锁
vLLM 引入原生权重同步 API，将 RL 训练器到推理引擎的权重传输标准化为初始化、开始、更新、结束四阶段，采用可插拔 WeightTransferEngine 抽象，目前支持 NCCL 和 IPC 两种后端并支持 packed tensor 优化。
信息来源：vLLM 官方博客（RSS）
产品发布 / 更新普通
NVIDIA Nemotron 3.5 Super VL 发布，vLLM 提供首发支持
NVIDIA 发布开源多模态模型 Nemotron 3.5 Super VL，vLLM 提供 Day 0 支持。模型基于 120B 总参数、12B 激活的 MoE 架构，结合推理、工具调用与文档、图像、视频理解，采用混合 Mamba-Transformer 架构、多 token 预测和 NVFP4 量化。
信息来源：vLLM 官方博客（RSS） · NVIDIA