AI圈报模型发布 / 更新普通
vLLM TT Plugin 发布：在 Tenstorrent 硬件上服务 LLM
原始标题：Serving LLMs on Tenstorrent Hardware： Inside the vLLM TT Plugin
内容摘要
vLLM 推出 TT Plugin，通过 out-of-tree 平台插件机制将 Tenstorrent 加速器接入 vLLM，安装后只要 TT-Metal 的 ttnn 可导入即自动注册为 vLLM 平台，OpenAI 兼容 API 与客户端代码保持不变。