论文研究普通
Fathom:面向卸载 KV Cache 稀疏解码的按查询读取深度方案
原始标题:Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV Caches
内容摘要
Fathom 是一种按查询决定每个 key 通道读取位数的稀疏解码扫描方法,将 4-bit K cache 按通道主序存为 bit plane,查询通过反向注水分配位预算。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-377a229def1f3233cb0d04b6