论文研究普通
Luma AI 打包多模态掩码精确序列并行
原始标题:Exact sequence parallelism for packed multimodal masks.
内容摘要
面向打包多模态掩码的精确序列并行。 它按层选择 ring attention、稀疏 all-to-all 或 Ulysses,数值与单 GPU 一致,并在最多 128 块 H100 上于 48 个案例中的 47 个优于 FlashMask + Ulysses 混合方案。 https://lumalabs.ai/news/packed-multimodal-attention
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Luma AI (@LumaLabsAI)
站内情报编号intel-9de81fae072705c990a83651