论文研究普通
PaLoRA:面向持续学习的节奏化低秩适配方法
原始标题:PaLoRA: Paced Low-Rank Adaptation for Continual Learning
内容摘要
PaLoRA 提出一种节奏化低秩适配方法,通过自适应 SVD 截断压缩历史知识、将梯度投影到先前任务的零空间,并按历史更新的有效秩 R 施加 rank-aware 自适应节奏约束,其推导出的节奏律为 s^*=R/c。实验显示该方法持续优于既有方法,在 50 任务 ImageNet-A 与 ImageNet-R 基准上准确率提升 4%。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-0df88864805f1291e239a65a