论文研究普通
RecSA 长上下文注意力推理提速
原始标题:On one H200 with batch size 1, against dense FlashAttention in the same framework:
内容摘要
在单张 H200、batch size 为 1 的条件下,与同一框架内的稠密 FlashAttention 对比: • 524K 长度下 Prefill 耗时 80 秒,稠密注意力为 257 秒。 • 从 131K 到 524K,Decoding 稳定在每 token 约 6 ms,而稠密注意力从约 9 ms 增长到 23 ms。 • 在 1M 和 2M 长度下,将相应 token 卸载到主机内存后,RecSA 的 Decoding 分别为每 token 8 ms 和 11 ms;稠密注意力则需 177 ms 和 2.9 秒。 我们用 Triton 和 CUDA 编写这些 kernel,并且 e
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:UCSD Hao AI Lab (@haoailab)
站内情报编号intel-9670140061e135d1e269213b