AI圈报
模型发布 / 更新精选

蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基座模型

信息来源:蚂蚁 inclusionAI:HuggingFace 新模型·
原始标题:inclusionAI/Ling-3.0-flash-base-midtrain

内容摘要

蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基座模型,采用高度稀疏(1/64)MoE 架构,512 个路由专家中每 token 仅激活 8 个,总参数量 124B,激活参数仅 5.1B。该系列原生融合线性注意力,并以加权检查点合并替代传统学习率衰减。此次发布包含预训练、中期训练及合并(WSM)等多个训练阶段的检查点,支持继续预训练与微调,模型采用 MIT 许可证。
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源蚂蚁 inclusionAI:HuggingFace 新模型
站内情报编号intel-ac2d549d834eea904b2c99e0