AI圈报
产品发布 / 更新普通

Cohere 发布基于 decode megakernel 的开源 LLM 推理服务系统

信息来源:X:Cohere(@cohere)·
原始标题:Introducing the next evolution in LLM text generation: the first fully-fledged serving system built …

内容摘要

Cohere 发布首个围绕 decode megakernel 构建的完整 LLM 文本生成服务系统,性能最高比 vLLM 快 1.58x。该系统为 North Mini Code 打造,完全开源。
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Cohere(@cohere)
站内情报编号intel-613611bfc27f8e0403b4c7f0