产品发布 / 更新普通
蚂蚁 inclusionAI 开源 TorchTurbo:面向 SuperNode 的后训练训练引擎
原始标题:inclusionAI/TorchTurbo
内容摘要
蚂蚁 inclusionAI 在 GitHub 开源 TorchTurbo,一个面向 SuperNode 的后训练分布式训练引擎,基于 PyTorch FSDP2 与 Hugging Face Transformers,融合 FSDP、专家并行(EP)和 Ulysses 序列并行(SP)。
内容分类AI 产品发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源蚂蚁 inclusionAI:GitHub 新仓库
站内情报编号intel-5b5a49ccc6d581535db3d53e