AI圈报
论文研究普通

NoRA:通过归一化下投影矩阵改进 LoRA 训练

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Normalized Low-Rank Adaptation

内容摘要

论文提出 Normalized Low-Rank Adaptation(NoRA),在训练中对 LoRA 的下投影矩阵做归一化,并发现仅在初始化时归一化也能改进标准 LoRA。在预训练、监督微调和强化学习中,NoRA 加速收敛、提升性能与训练稳定性并缓解灾难性遗忘,且不增加可训练参数和推理时计算。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-cb04f8734db0a5e68d25598b