AI圈报
论文研究精选

ZCube:超大规模大模型推理的网络优化

信息来源:智谱:研究(网页内嵌数据)·

内容摘要

针对超大规模大模型推理,ZCube网络架构通过取消Spine层、将Leaf交换机分组并全互联等创新设计,有效解决了推理网络的拥塞问题。该架构在集群实测中,实现了交换机与光模块资本支出减少33%、GPU平均推理吞吐提升15%,同时将首token延迟的P99值大幅降低40.6%,在降低成本的同时显著提升了推理性能。
内容分类AI 论文与研究
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源智谱:研究(网页内嵌数据)
站内情报编号intel-58f944aec388a1531947fcf2