论文研究普通
Softmax 重参数化:面向输出头量化的后训练方法
原始标题:Softmax Reparameterization for Output-Head Quantization
内容摘要
研究者提出 softmax 重参数化,一种在量化前选取功能等价输出头的后训练方法,通过从每个输出行减去词汇行均值的标量倍数,并按验证 KL 分别为 RTN、激活加权 MSE 和 full-Hessian GPTQ 选择系数。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-fec7da867ced16e3a091a35a