AI圈报
论文研究普通

SQS:通过稀疏量化子分布实现贝叶斯 DNN 压缩

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions

内容摘要

SQS 提出一种统一框架,通过贝叶斯变分学习同时进行剪枝与低比特量化,采用 spike-and-slab 先验结合高斯混合模型(GMM)建模量化权重,在 ResNet、BERT-base、Llama3.2 和 Qwen2.5 上实现比现有方法更高的压缩率,且性能下降相当。在相同位宽下所需参数更少,在 2-bit 和 4-bit 精度下表现尤为突出。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-a0088af0a99428392a993299