AI圈报
论文研究普通

Debias-SparseGPT:面向大语言模型的偏见感知剪枝方法

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Debias-SparseGPT: Bias-Aware Pruning for Large Language Models

内容摘要

论文提出 Debias-SparseGPT,一种后训练剪枝方法,利用人口统计对比输入上的二阶项进行表征去偏。在 25%、50% 和 2:4 结构化稀疏度下,该方法相比 SparseGPT 持续降低剪枝引入的偏见,同时保持模型困惑度和零样本准确率;在限制最严格的 2:4 结构化稀疏模式下,用长上下文、内容丰富的示例扩充校准集可进一步提升下游性能和公平性。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-645853ef1aa070b958c079f6