AI圈报
产品发布 / 更新普通

Google Cloud 发布 llm-d 1.0,为 TPU 与 GPU 集群带来缓存感知路由

信息来源:MarkTechPost(RSS)·
原始标题:Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets

内容摘要

Google 在 PyTorch Conference North America 发布 llm-d 1.0,这是该开源分布式推理栈的首个稳定版本,将 vLLM 或 SGLang 模型服务器整合为 Kubernetes 原生的统一资源池。
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源MarkTechPost(RSS)
站内情报编号intel-4a67fc14f952edfa4ae1bdea