AI圈报
论文研究普通

G^2PTQ:用广义梯度补偿改进 LLM 训练后量化

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:G^2PTQ: Improving LLM Post-Training Quantization with Generalized Gradient Compensation

内容摘要

论文提出 G^2PTQ,一个在全局监督、逐块优化目标下同时整合一阶与二阶信息的统一 PTQ 框架,通过在量化每个 Transformer 块前刷新梯度与 Hessian 估计,避免以往全局方法的估计过时问题。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-6c6f4b2e904d254c642765ea