AI圈报
观点 / 方法普通

NoRA:一行改动让 LoRA 更快更稳

信息来源:X:Elvis Saravia (@omarsar0, DAIR.AI)·
原始标题:// Normalized Low-Rank Adaptation (NoRA) // They propose a one-line change to LoRA that costs nothi…

内容摘要

NoRA 提出对 LoRA 的一行改动,零成本提升收敛速度、稳定性并减少遗忘。其方法是在训练中归一化下投影矩阵,且仅在初始化时应用一次同样有效。该改进在预训练、监督微调和强化学习中均成立,不增加可训练参数或推理计算。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Elvis Saravia (@omarsar0, DAIR.AI)
站内情报编号intel-48e1db37a730d425143fbcf6