AI圈报
论文研究普通

分离式量化:为 LLM Prefill 与 Decode 分别定制量化方案

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Disaggregated Quantization: Specializing LLM Prefill and Decode

内容摘要

研究提出"分离式量化"(DQ),针对 prefill 与 decode 两个阶段分别定制计算格式、权重与存储位置。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-881d30cdc47709565497c9e7