教程 / 实战普通
在 32GB Mac 上运行 180B MoE:Transformers 专家流式加载实战与 Strata 对比
原始标题:180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
内容摘要
作者在 Transformers 中实现 MoE 专家权重流式加载,让 Qwen3.8-Flash-Next(121GB FP8 专家权重)能在 32GB 内存 MacBook 上运行,方法是将专家量化到 3bit 存盘、用槽位池缓存配合 grouped_mm,并通过预取和 Metal 内核优化。
内容分类AI 教程与实战
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Hugging Face 官方团队博客
站内情报编号intel-540664b6f913ed3f92708668