AI圈报
论文研究精选

智谱联合驭驯网络与清华提出ZCube组网架构,破解大模型推理网络瓶颈

信息来源:公众号:智谱(GLM)·
原始标题:下一代大模型推理网络架构:ZCube如何有效破解网络瓶颈?

内容摘要

智谱、驭驯网络与清华大学联合提出并落地ZCube组网架构,以扁平化拓扑替代传统Clos/ROFT架构,从结构层面消除PD分离推理中的可避免拥塞。在GLM-5.1 coding生产环境千卡集群实测中,ZCube相比ROFT将GPU平均推理吞吐提升15%以上,TTFT P99降低40.6%,同时减少约三分之一的交换机与光模块成本。
内容分类AI 论文与研究
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源公众号:智谱(GLM)
站内情报编号intel-775d119380801adfd6e9d451