AI圈报
产品发布 / 更新精选

vLLM 推出无需置信头的在线拟合接受估计器，让 EAGLE、MTP 等草稿模型可用 Adaptive Verification

信息来源：vLLM 官方博客（RSS）·
原始标题：Adaptive Verification Without a Confidence Head

内容摘要

vLLM 支持 confidence scoring 扩展到所有基于草稿模型的投机类型，通过在线拟合的 logistic 回归从草发者 logits 推导 logit(q_max) 特征来预测目标模型的接受概率，作为 Adaptive Verification 的置信分。
内容分类AI 产品发布与更新
内容层级精选情报
发布时间（北京时间）
本站收录时间（北京时间）
信息来源vLLM 官方博客（RSS）
站内情报编号intel-3cd3ddd4dd4413887849bc68
阅读原始信息 ↗查看数据来源更多产品发布 / 更新

相关推荐

综合分类、实体标签与信息来源匹配

产品发布 / 更新精选
vLLM 新增基于 Gumbel-max 的无失真文本水印功能
vLLM 宣布支持基于 Gumbel-max 算法的无失真水印，将其集成进 Model Runner v2 的采样管线，并通过 PR #54053、#56122、#56233 实现融合 GPU kernel、双键方案和上下文去重，以兼容投机解码并保持输出多样性。
信息来源：vLLM 官方博客（RSS）
产品发布 / 更新精选
vLLM 发布 vllm-metal v0.28.0：在 Apple Silicon 上支持并发推理服务
vLLM 官方发布 vllm-metal v0.28.0，把 vLLM 的 V1 调度器、paged KV cache 和 OpenAI 兼容服务器带到 Apple Silicon，由 MLX 和 Metal 执行模型，版本号与上游 vLLM 对齐。
信息来源：vLLM 官方博客（RSS） · OpenAI
产品发布 / 更新精选
vLLM 发布 Kimi K3 Day-0 支持：2.8T 混合 MoE 的部署指南与性能数据
vLLM 官方宣布 Day-0 支持 Kimi K3，这是一个 2.8 万亿参数的 MoE 模型（每 token 激活 896 专家中的 16 个），基于 Kimi Delta Attention 与 Attention Residuals，支持 1M token 上下文窗口和原生视觉。
信息来源：vLLM 官方博客（RSS） · Kimi
产品发布 / 更新精选
vLLM 实现 TML Inkling Day-0 支持并完成推理性能优化
vLLM 宣布对 Thinking Machines Lab 的 1T 参数多模态模型 TML Inkling 提供 Day-0 支持，覆盖 thinkingmachines/Inkling-NVFP4 和 BF16 两个版本，支持文本、图像、音频输入和最长 1M token 上下文。
信息来源：vLLM 官方博客（RSS）
产品发布 / 更新精选
vLLM 发布 MiniMax M3 Day-0 支持：1M 上下文多模态推理
vLLM 宣布对 MiniMax M3 的 day-0 支持，覆盖 BF16 与 MXFP8 检查点，支持 1M-token 上下文、原生图像视频输入、minimax_m3 工具与推理解析器、EAGLE3 推测解码（草稿模型 Inferact/MiniMax-M3-EAGLE3）以及 TP/EP 部署和 Docker 镜像。
信息来源：vLLM 官方博客（RSS）
产品发布 / 更新精选
vLLM 推出原生 RL 权重同步 API 并修复异步 RL 死锁
vLLM 引入原生权重同步 API，将 RL 训练器到推理引擎的权重传输标准化为初始化、开始、更新、结束四阶段，采用可插拔 WeightTransferEngine 抽象，目前支持 NCCL 和 IPC 两种后端并支持 packed tensor 优化。
信息来源：vLLM 官方博客（RSS）
产品发布 / 更新普通
vLLM 支持 NVIDIA Vera Rubin NVL72：吞吐量达 GB200 NVL72 的 7.8 倍
vLLM 现已支持 NVIDIA Vera Rubin NVL72，在 AgentX 上匹配交互性时每 GPU 吞吐量达 GB200 NVL72 的 7.8 倍，MLPerf 中 VLM 吞吐量最高为 GB300 NVL72 的 3.7 倍。
信息来源：vLLM 官方博客（RSS） · NVIDIA
产品发布 / 更新普通
vLLM 推出 Hybrid HiSparse 优化，让 GLM 5.3 在单节点 8× H200 上跑满 100 万上下文
vLLM 团队为 GLM 5.3 引入 Hybrid HiSparse 混合稀疏卸载，在单个 8× H200 节点上首次实现 100 万完整上下文长度推理。该方法仅在 KV cache 压力出现时才将 top-K 之外的 KV 卸载到 CPU，热页与常驻页共享同一块池和张量，无需抢占或重新 prefill。
信息来源：vLLM 官方博客（RSS） · GLM
产品发布 / 更新精选
Lovable 推出增长工具，从同一聊天窗口帮你获客投广告和做 SEO
Lovable 推出增长工具，在原有建应用聊天窗口中提供增长计划、广告投放和 SEO 能力。用户设定目标后，Lovable 依据应用上下文生成可执行计划；可连接 Google Ads 和 Meta 账号在 Google。
信息来源：Lovable Blog
产品发布 / 更新精选
xAI 发布 Grok Voice 3.0 语音模型
xAI 发布 speech-to-speech 模型 Grok Voice 3.0，在 Artificial Analysis 的 Speech-to-Speech Index 以 86.9 分排名第一，时延低于一秒。
信息来源：xAI：News（网页） · Grok