AI圈报
论文研究普通

vLLM 流式会话越界写共享缓存漏洞

信息来源:X:UCSD Hao AI Lab (@haoailab)·
原始标题:(4/7) Silent out-of-bounds write: a long streaming session overwrites a shared cache block.

内容摘要

vLLM 存在静默越界写问题:流式输入时只校验每个新 chunk 的长度、不校验整个会话总长,超长会话的 token 数据会溢出到共享前缀缓存块,后续请求复用该块时输出被改变且无报错。限制 worker 写入、丢弃超限 token 数据可修复,PR 见 vllm-project/vllm#67457。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:UCSD Hao AI Lab (@haoailab)
站内情报编号intel-addfb21399fb2d8ce7447742