AI圈报
观点 / 方法普通

vLLM x Novita AI:面向 Kimi K2.x 的 INT4 MoE 算子 Chord,H200 最高 1.3x、B300 最高 2.15x

信息来源:vLLM 官方博客(RSS)·
原始标题:vLLM x Novita AI: Chord, Faster INT4 MoE for Kimi K2.x. Up to 1.3x on H200, 2.15x on Untuned B300

内容摘要

Novita AI 开源了面向 Kimi K2.x 服务形态的 W4A16 MoE CUDA 算子 Chord,支持 BF16 激活、INT4 权重与 group-32 scale,其 indexed 路径兼容 Humming 导入根,可通过 --quantization humming 在兼容的 vLLM 版本上启用。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源vLLM 官方博客(RSS)
站内情报编号intel-f2dd0de39ebb9ca4a1af94dd