AI圈报
观点 / 方法普通

vLLM 分层 KV Cache 卸载：跨主机内存、存储与远端节点复用 KV 数据

信息来源：vLLM 官方博客（RSS）·
原始标题：Tiered KV Cache Offloading in vLLM

内容摘要

vLLM 推出分层 KV Cache 卸载框架，自 v0.22 起可用，将淘汰的 KV 数据保留在主机内存、文件系统、对象存储和远端节点中，避免重新计算。该设计让所有 KV 数据先经主机内存流转，加速器内存可在拷贝完成后立即释放，并支持跨节点共享 KV 数据、横向扩展缓存与分离式服务。
内容分类AI 观点与方法
内容层级普通情报
发布时间（北京时间）
本站收录时间（北京时间）
信息来源vLLM 官方博客（RSS）
站内情报编号intel-0a7965a51df8ed4b5dffb08d
阅读原始信息 ↗查看数据来源更多观点 / 方法

相关推荐

综合分类、实体标签与信息来源匹配

观点 / 方法精选
vLLM 解析 Kimi K3 在 AMD Instinct MI355X 上的推理优化，单 GPU 吞吐超 NVIDIA HGX B300 24.4%
AMD 与 Embedded LLM 在 vLLM 官方博客详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化。
信息来源：vLLM 官方博客（RSS） · Kimi / NVIDIA
观点 / 方法精选
vLLM 详解 DeepSeek-V4.1-Flash 优化：Agent 场景吞吐提升 5 倍
Inferact 与 vLLM 社区在 DeepSeek-V4.1-Flash 发布三周内完成优化，低并发速度提升 1.9 倍，150 TPS 约束下吞吐提升 5.3 倍。
信息来源：vLLM 官方博客（RSS） · DeepSeek
观点 / 方法精选
用一个 uv 编译开关为 vLLM 容器启动省下约 18 秒
vLLM 博客作者 Nils Matteson 实测在镜像构建时设置 ENV UV_COMPILE_BYTECODE=1 预编译字节码，H100 服务器上 Qwen3-8B 和 Qwen3-32B 的启动到首个正确响应中位节省分别为 17.6 秒（17.6%）和 17.8 秒（13.9%）。
信息来源：vLLM 官方博客（RSS） · Qwen
观点 / 方法精选
vLLM 预览 Kimi K3 生产级支持：解析 KDA 前缀缓存与推理优化
vLLM 发布 Kimi K3 生产级支持预览，为 2026 年 7 月 27 日前开放权重做好 day-0 开源服务准备。
信息来源：vLLM 官方博客（RSS） · Kimi
观点 / 方法精选
vLLM 与 DeepLearning.AI 推出免费课程《Fast & Efficient LLM Inference with vLLM》
vLLM 与 Red Hat、Andrew Ng 的 DeepLearning.AI 联合推出免费课程《Fast & Efficient LLM Inference with vLLM》，约 1.5 小时，含 9 节视频和 3 个 JupyterLab 动手实验。
信息来源：vLLM 官方博客（RSS）
观点 / 方法普通
vLLM 详解 GLM-5.3 在 16 张 H200 上的优化：PCP、DCP 与 Hybrid HiSparse
vLLM 博客详解 GLM-5.3 在 16 张 H200 上拆分 prefill 与 decode 节点的长上下文优化：PCP 按 token 而非注意力头切分 prompt，DCP 按 token 分片 KV cache，使 1M 上下文仅需每 GPU 6.7 GiB。
信息来源：vLLM 官方博客（RSS） · GLM
观点 / 方法普通
vLLM 在 GB300 NVL72 上规模化服务 DeepSeek-V4.1-Flash，解码吞吐与 DeepInfer 差距在 6% 以内
vLLM 用 P/D 分离与 Wide-EP 在单台 NVIDIA GB300 NVL72 上服务 DeepSeek-V4.1-Flash，在 SemiAnalysis AgentX 上达到每 GPU 954K tokens/s、单用户 P90 196 tokens/s，为早期单节点结果的 7.9 倍。
信息来源：vLLM 官方博客（RSS） · DeepSeek / NVIDIA
观点 / 方法普通
vLLM 团队详解 Kimi K3 解码优化：GB300 上 842 tokens/s 与快速验证方法
vLLM 团队介绍如何用 Agent 辅助开发为 Kimi K3 构建统一的 CuTe DSL 解码路径，覆盖 attention、MoE 和 8/16 GPU 通信。
信息来源：vLLM 官方博客（RSS） · Kimi
观点 / 方法普通
vLLM 推出基于 push 的 KV 传输，分离式推理 TTFT 最高提升 3 倍
vLLM 新增 push-based NIXL connector，将 KV 传输的协调与建立从解码关键路径移到预填充侧后台线程，在 1P1D 的 Amazon EC2 P5en + EFA 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 最高提升 30%。该功能先在 AWS Trainium 集群验证，后作为加速器无关特性贡献给 vLLM，GPU 集群同样受益。
信息来源：vLLM 官方博客（RSS） · Qwen
观点 / 方法普通
vLLM 用双向 KV 传输优化多轮智能体负载的 TTFT
vLLM 通过双向 KV 传输让 decode 节点把已计算的 KV 缓存回传给 prefill 节点，避免多轮对话中重复计算上下文。在 Amazon EC2 P5en 的 1P1D 部署上，该特性将 Qwen3-32B 的 TTFT 降低最多 1.6 倍，zai-org/GLM-5-FP8 降低最多 3.3 倍。
信息来源：vLLM 官方博客（RSS） · Qwen / GLM