AI圈报产品发布 / 更新精选
llm-d 1.0 发布：Kubernetes 原生分布式推理服务走向生产就绪
原始标题：llm-d 1.0 hardens open-source AI inference for production
内容摘要
IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0，这是一个 Kubernetes 原生的分布式推理服务框架，支持任意模型、任意加速器和任意云。