AI圈报
产品发布 / 更新精选

Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎

信息来源:Google Developers Blog(RSS)·
原始标题:Announcing New vLLM and SGLang Inference Engines on TPU

内容摘要

Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎,分别与 Inferact、RadixArk 合作开发,让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型。
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Google Developers Blog(RSS)
站内情报编号intel-b7f4cccb115bc3ff1d8b1632