观点 / 方法普通
vLLM 集成 PyNvVideoCodec 支持 NVIDIA GPU 硬件视频解码
原始标题:Scaling Multi-GPU Video Captioning with PyNvVideoCodec and vLLM
内容摘要
vLLM 新增对 NVIDIA GPU 硬件视频解码(NVDEC)的支持,通过集成 PyNvVideoCodec 把视频解码负载从 CPU 转移到 GPU。在 8xH100 上,GPU 解码吞吐量比 CPU 解码方案提升一倍以上。该功能已包含在标准 CUDA 版 vLLM 中,自定义安装需依赖 PyNvVideoCodec==2.0.4。