论文研究普通
Local Support Learning:无需旧数据即可缓解大模型灾难性遗忘
原始标题:Local Support Learning
内容摘要
研究者提出 Local Support Learning(LSL),一种无需访问旧数据即可保留模型已有能力的通用训练框架,通过权重适配器加基于高斯混合模型(GMM)的门控函数,使更新仅作用于当前训练分布的输入激活。该方法可在最高 70 亿参数的 LLM 上缓解灾难性遗忘,跨多个训练阶段同时保留预训练与微调能力,且内存与计算开销低、对超参数选择稳健,并展现出扩展潜力。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-793544386645214cbfb71dd7