AI圈报
论文研究普通

Nereus:面向 LLM 后训练的自适应并行运行时

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Nereus: Adaptive Parallelism for LLM Post-Training

内容摘要

Nereus 是一个面向 LLM 强化学习后训练的成本感知运行时,可动态调整并行策略以适配资源、序列长度和内存压力的变化。在真实数据 trace 中,在线 TP/PP 自适应将平均 step 延迟降低 27.7%;在 1,024 GPU 的 1,000 步运行中,六次切换仅占总运行时间的 0.079%。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-3e19ef7a23b96c21880ae28d