AI圈报
产品发布 / 更新普通

SGLang-TorchTPU 发布,Ling 3.1 Flash 等开源模型入选首批支持阵容

信息来源:X:蚂蚁百灵 (@AntLingAGI)·
原始标题:Excited to see Ling 3.1 Flash and the Ling 3.0 family in the SGLang-TorchTPU launch lineup! Thanks @sgl_project, Google and Meta for brin...

内容摘要

SGLang 与 Google TPU 团队、Meta PyTorch 团队合作发布 SGLang-TorchTPU,这是 SGLang 的 TPU 插件,已在 Meta 生产推理中使用,代码开源于 github.com/sgl-project/sglang-torchtpu。它支持 Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash、MiniMax H3 等开源模型及大规模智能体工作负载,自定义 MegaKernel 让 Muse Spark Open 在 InferenceX 8K/1K、bs=1 下达到 770 tok/s 解码。蚂蚁百灵转发表示,Ling 3.1 Flash 和 Ling 3.0 家族入选发布阵容,PyTorch 原生 TPU 服务扩展了 MoE 推理的硬件选择。
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:蚂蚁百灵 (@AntLingAGI)
站内情报编号intel-ec8f3521cf88339959537e71