AI圈报
教程 / 实战普通

LoRA 与 QLoRA 如何用一块 GPU 微调大模型

信息来源:X:马东锡 NLP (@dongxi_nlp)·
原始标题:LoRA 与 QLoRA:用一块 GPU 微调大模型

内容摘要

作者以模式(列向量乘行向量)为核心概念,讲解低秩近似、LoRA 与 4 位量化的原理:LoRA 冻结原有权重只训练新增的 r 个模式,量化用 NF4 分块缩放压缩存储。文中回顾华盛顿大学 QLoRA 在单块 48GB GPU 上微调 65B 模型的结果,并估算 7B 模型全参数微调约 100 GB、LoRA 约 15 GB、QLoRA 约 5 GB 显存开销。
内容分类AI 教程与实战
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:马东锡 NLP (@dongxi_nlp)
站内情报编号intel-b4b1381b108fed79472085ed