观点 / 方法普通
vLLM 混合模型前缀缓存全零块 bug 修复
原始标题:(2/7) Silent wrong output: hybrid models can continue from an all-zero cache block, and then cache it.
内容摘要
vLLM 在混合模型开启细粒度前缀匹配时,会在缓存块尚未写入就标记为可复用,导致同一步内第二个请求过早复制到全零块并从零继续,错误块还会留在缓存中被后续请求复用,而响应看起来一切正常。在 GB200 上修复前 32 次试验中复制源全为零,修复后为 0 次。小修复将复制源未写入的请求推迟到下一个调度步,PR 见 vllm-project/vllm#67451。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:UCSD Hao AI Lab (@haoailab)
站内情报编号intel-b5275b64950f00a03530d622