产品发布 / 更新普通
Cohere 发布基于 decode megakernel 的开源 LLM 推理服务系统
原始标题:Introducing the next evolution in LLM text generation: the first fully-fledged serving system built …
内容摘要
Cohere 发布首个围绕 decode megakernel 构建的完整 LLM 文本生成服务系统,性能最高比 vLLM 快 1.58x。该系统为 North Mini Code 打造,完全开源。
内容分类AI 产品发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Cohere(@cohere)
站内情报编号intel-613611bfc27f8e0403b4c7f0