观点 / 方法普通
vLLM 用双向 KV 传输优化多轮智能体负载的 TTFT
原始标题:Improve TTFT for Multi-Turn Agentic Workloads with Bi-Directional KV Transfer in vLLM
内容摘要
vLLM 通过双向 KV 传输让 decode 节点把已计算的 KV 缓存回传给 prefill 节点,避免多轮对话中重复计算上下文。在 Amazon EC2 P5en 的 1P1D 部署上,该特性将 Qwen3-32B 的 TTFT 降低最多 1.6 倍,zai-org/GLM-5-FP8 降低最多 3.3 倍。