模型发布 / 更新精选
蚂蚁 inclusionAI 开源 Ling-3.0 系列高效语言基础模型
原始标题:inclusionAI/Ling-3.0-flash-base-30T
内容摘要
蚂蚁 inclusionAI 开源 Ling-3.0 系列语言基础模型,并发布预训练、中期训练及合并(WSM)等多个阶段检查点。该系列采用高度稀疏(1/64)MoE 架构,512 个路由专家中每 token 仅激活 8 个,激活参数仅 5.1B(Non-emb),总参数 124B,并原生结合 KDA 与 Gated MLA 混合线性注意力以高效处理长上下文。
内容分类AI 模型发布与更新
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源蚂蚁 inclusionAI:HuggingFace 新模型
站内情报编号intel-ea5d88d074194e9fe0609c8b