论文研究普通
WUSH-KV:用数据自适应变换实现 KV Cache 量化
原始标题:WUSH-KV: KV Cache Quantization with Data-Adaptive Transforms
内容摘要
WUSH-KV 是一种面向低比特 KV cache 的量化方法,利用矩阵乘积两个因子的二阶统计量构建数据感知变换,为 key 和 value 分别构造变换,其中 value 变换折叠进模型权重、key 变换在 RoPE 之后应用。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-6292ba7de0040904565aa48b