AI圈报
论文研究普通

SGLang DP 注意力下取消请求丢失问题

信息来源:X:UCSD Hao AI Lab (@haoailab)·
原始标题:(6/8) Lost cancellation: under DP attention, a rapid cancel can overtake its own generation request and be dropped, leaving the request r...

内容摘要

SGLang 在 DP 注意力下存在取消请求丢失问题:快速取消可能先于其对应的生成请求到达而被丢弃,导致请求一直运行到 max_new_tokens。原因是默认 DP 控制路由下生成请求直达所属 rank,而 abort 先到 rank 0 再广播,两条路径无顺序保证。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:UCSD Hao AI Lab (@haoailab)
站内情报编号intel-9cea5f755418654098738d05