AI圈报
产品发布 / 更新精选

腾讯混元 AI Infra 新开源:HPC-Ops 推理核心算子全面升级

信息来源:公众号:腾讯混元·

内容摘要

腾讯混元 AI Infra 团队开源升级 HPC-Ops 推理算子库,推出五大核心算子。Attention 采用运行时动态负载调度,长文本最高加速 2.95x,端到端 QPM 提升 17%;Router GEMM 以双 BF16 组合实现 FP32 精度,对比 CuBLAS FP32 最高提速 3.22x;FusedMoE 相对 vLLM、SGLang 性能提升 1.2x~1.6x;Fused AllReduce+Norm 对比主流方案最高提速 1.68x;Sampler 将解码采样融合为 2 个 CUDA Kernel,相对 vLLM 提速 4.0x~7.5x。所有能力均来自生产实践并完全开源。
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源公众号:腾讯混元
站内情报编号intel-6acf4411e84dd1834e71ea88