AI圈报
论文研究普通

GeoPair:面向免训练 Transformer 压缩的几何保持跨层因子分解

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:GeoPair: Geometry-Preserving Cross-Layer Factorization for Training-Free Transformer Compression

内容摘要

GeoPair 提出一种免训练框架,通过顺序优化跨层权重配对与共享字典因子分解,在保留各层校准几何的前提下实现 Transformer 压缩,并结合结构化稀疏。该方法在多种架构、规模和模态上取得 SOTA,持续优于独立结构化权重分解与基于启发式分组的成对权重因子分解方案。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-ece879f2482c827f830b45e0