AI圈报
产品发布 / 更新普通

SGLang 驱动 NVIDIA NIM 认证微服务,推进企业级推理

信息来源:LMSYS Blog·
原始标题:SGLang and NVIDIA NIM: Advancing Enterprise Inference Together

内容摘要

SGLang 现已成为 NVIDIA NIM 认证微服务的推理引擎,NVIDIA 通过验证容器、针对受支持模型和 GPU 的优化配置以及 NVIDIA AI Enterprise 企业支持,让企业更易采用 SGLang 的 serving 创新。
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源LMSYS Blog
站内情报编号intel-c68e78cebd59e4a772626848