AI圈报
论文研究普通

SlideDP:跨多 GPU 扩展宿主内存驻留的 LLM 微调

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:SlideDP: Scaling Host-Resident LLM Fine-Tuning Across Multiple GPUs

内容摘要

SlideDP 是面向共享宿主多 GPU 系统的同步数据并行运行时,通过维护单一权威宿主状态、解耦通信路径与状态布局,并对参数传输、梯度聚合和 CPU 更新做流水线化,实现超出 GPU 显存的 LLM 全参数微调。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-d8d263755b458ccef8003f21