AI圈报
产品发布 / 更新普通

Buoyant 开源 Kinference：面向 vLLM 与 Kubernetes 的推理控制平面

信息来源：vLLM 官方博客（RSS）·
原始标题：Introducing Kinference: An Open Source Inference Control Plane for vLLM and Kubernetes

内容摘要

Buoyant 开源 Kinference，一个为 vLLM 与 Kubernetes 构建可扩展推理平台的控制平面，支持 token 限流、租户用量与成本追踪、智能负载均衡和推理策略。
内容分类AI 产品发布与更新
内容层级普通情报
发布时间（北京时间）
本站收录时间（北京时间）
信息来源vLLM 官方博客（RSS）
站内情报编号intel-ef8f3fcd82966a2c7e4d75f2
阅读原始信息 ↗查看数据来源更多产品发布 / 更新

相关推荐

综合分类、实体标签与信息来源匹配

产品发布 / 更新精选
vLLM 发布 Mistral Large 4 Day 0 支持
vLLM 团队宣布对 Mistral 新旗舰模型 Mistral Large 4 提供 Day 0 支持，该模型为 1T 参数、每 token 激活 49B 的原生多模态 MoE 模型，采用 MLA 稀疏注意力加 DSA top-k 索引器、跨层 KV 共享、NoPE、SSMax 和 LeRoPE 等新架构，并内置 DSpark 推测解码草稿器与 Pixtral 视觉编码器。
信息来源：vLLM 官方博客（RSS） · Mistral
产品发布 / 更新精选
蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming，仓库为 github.com/vllm-project/humming。
信息来源：vLLM 官方博客（RSS）
产品发布 / 更新精选
vLLM 实现 Reflection Beam 501B MoE 模型 Day 0 支持
vLLM 宣布从 Day 0 支持 Reflection 的 Beam 模型，这是一个 501B 参数、每 token 激活 23B 的 MoE 模型，在 NVIDIA Blackwell 上完成优化。
信息来源：vLLM 官方博客（RSS） · NVIDIA
产品发布 / 更新精选
vLLM 提供 Muse Spark Open Day 0 支持
vLLM 与 Meta Superintelligence Labs 合作，在发布当天即支持开源 MoE 模型 Muse Spark Open。该模型总参数 816B、每 token 激活 42B、上下文窗口 1M，面向长程智能体编码工作流。
信息来源：vLLM 官方博客（RSS）
产品发布 / 更新精选
vLLM 推出无需置信头的在线拟合接受估计器，让 EAGLE、MTP 等草稿模型可用 Adaptive Verification
vLLM 支持 confidence scoring 扩展到所有基于草稿模型的投机类型，通过在线拟合的 logistic 回归从草发者 logits 推导 logit(q_max) 特征来预测目标模型的接受概率，作为 Adaptive Verification 的置信分。
信息来源：vLLM 官方博客（RSS）
产品发布 / 更新精选
vLLM 新增基于 Gumbel-max 的无失真文本水印功能
vLLM 宣布支持基于 Gumbel-max 算法的无失真水印，将其集成进 Model Runner v2 的采样管线，并通过 PR #54053、#56122、#56233 实现融合 GPU kernel、双键方案和上下文去重，以兼容投机解码并保持输出多样性。
信息来源：vLLM 官方博客（RSS）
产品发布 / 更新精选
vLLM 发布 vllm-metal v0.28.0：在 Apple Silicon 上支持并发推理服务
vLLM 官方发布 vllm-metal v0.28.0，把 vLLM 的 V1 调度器、paged KV cache 和 OpenAI 兼容服务器带到 Apple Silicon，由 MLX 和 Metal 执行模型，版本号与上游 vLLM 对齐。
信息来源：vLLM 官方博客（RSS） · OpenAI
产品发布 / 更新精选
vLLM 发布 Kimi K3 Day-0 支持：2.8T 混合 MoE 的部署指南与性能数据
vLLM 官方宣布 Day-0 支持 Kimi K3，这是一个 2.8 万亿参数的 MoE 模型（每 token 激活 896 专家中的 16 个），基于 Kimi Delta Attention 与 Attention Residuals，支持 1M token 上下文窗口和原生视觉。
信息来源：vLLM 官方博客（RSS） · Kimi
产品发布 / 更新精选
vLLM 实现 TML Inkling Day-0 支持并完成推理性能优化
vLLM 宣布对 Thinking Machines Lab 的 1T 参数多模态模型 TML Inkling 提供 Day-0 支持，覆盖 thinkingmachines/Inkling-NVFP4 和 BF16 两个版本，支持文本、图像、音频输入和最长 1M token 上下文。
信息来源：vLLM 官方博客（RSS）
产品发布 / 更新精选
vLLM 发布 MiniMax M3 Day-0 支持：1M 上下文多模态推理
vLLM 宣布对 MiniMax M3 的 day-0 支持，覆盖 BF16 与 MXFP8 检查点，支持 1M-token 上下文、原生图像视频输入、minimax_m3 工具与推理解析器、EAGLE3 推测解码（草稿模型 Inferact/MiniMax-M3-EAGLE3）以及 TP/EP 部署和 Docker 镜像。
信息来源：vLLM 官方博客（RSS）