AI圈报
产品发布 / 更新精选

vLLM 推出原生 RL 权重同步 API 并修复异步 RL 死锁

信息来源:vLLM 官方博客(RSS)·
原始标题:Native RL APIs in vLLM

内容摘要

vLLM 引入原生权重同步 API,将 RL 训练器到推理引擎的权重传输标准化为初始化、开始、更新、结束四阶段,采用可插拔 WeightTransferEngine 抽象,目前支持 NCCL 和 IPC 两种后端并支持 packed tensor 优化。
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源vLLM 官方博客(RSS)
站内情报编号intel-c06a072cc2435617f4f3a9fd