AI圈报
产品发布 / 更新精选

高效离线推理框架 Flood:吞吐量显著领先,支持多模态与量化

信息来源:蚂蚁 inclusionAI:GitHub 新仓库·
原始标题:inclusionAI/flood

内容摘要

Flood 是一款面向离线应用的高效大语言模型推理框架。它采用流水线并行降低通信开销,并通过分段式KV缓存管理提升连续性。框架支持连续批处理、分块预填充、FP8/INT8量化及多模态模型推理。性能测试表明,其在多种模型和硬件上的吞吐量最高可达 vLLM 的 2.4 倍。其专用内核 SegmentAttention 在处理长序列时,解码速度较 FlashAttention 最高提升 3.16 倍。该项目于 2025 年 3 月开源并快速迭代,已支持前瞻解码等新特性。
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源蚂蚁 inclusionAI:GitHub 新仓库
站内情报编号intel-2cd775c76f677e53a646a197