模型发布 / 更新普通
Ai2 发布 Olmo-core 3 开源 MoE 训练框架
原始标题:Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
内容摘要
Ai2 发布 Olmo-core 3,这是支持大规模混合专家(MoE)训练的开源框架,已验证可扩展至万亿参数级别。在 8 张 NVIDIA B300 GPU 上,47B 参数 MoE 吞吐达 52,000 tokens/秒/GPU,约为旧 FSDP 实现的 2.7 倍;专家池从 8 扩至 128 而训练吞吐下降不足 5%。
内容分类AI 模型发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Ai2 / Allen Institute for AI(RSS)
站内情报编号intel-d9cc68a1045f9ab4d4d88b25