产品发布 / 更新普通
NVIDIA Dynamo-Triton 26.07 集成 TensorRT 多设备推理,单模型跨多 GPU 服务
原始标题:Simplifying Model Serving Across Multiple GPUs with NVIDIA TensorRT Multi-Device Integration in NVIDIA Dynamo-Triton
内容摘要
NVIDIA Dynamo-Triton 26.07 通过 TensorRT 后端启用多设备推理,让单个 TensorRT 网络借助 NCCL 分布式集合通信跨多 GPU 执行,该能力自 TensorRT 11.0 起全面支持。
内容分类AI 产品发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源NVIDIA Technical Blog:Agentic AI / Generative AI
站内情报编号intel-259c15a2a7d8747c6311ccdf