AI圈报
产品发布 / 更新普通

RadixArk 联合 Google、Meta 开源 SGLang-TorchTPU,将 SGLang 推理栈带到 TPU

信息来源:LMSYS Blog·
原始标题:SGLang-TorchTPU: PyTorch-Native Production Serving on TPU, Built with Google and Meta

内容摘要

RadixArk 的 SGLang 团队与 Google、Meta 合作开源 SGLang-TorchTPU,一个原生 PyTorch 后端,把 SGLang 完整推理栈带到 Google Cloud TPU,同一引擎可在 GPU 和 TPU 上服务模型。
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源LMSYS Blog
站内情报编号intel-3fe1d4022bdbca00c6cfd7fb