AI圈报
模型发布 / 更新普通

百度开源 ERNIE 5.5 Flash Base 基座模型:280B 总参数、14B 激活

信息来源:X:百度 Baidu (@Baidu_Inc)·
原始标题:ERNIE 5.5 Flash Base just dropped! Time to open that project folder. 🚀

内容摘要

百度发布 ERNIE 5.5 Flash Base 稀疏 MoE 基座语言模型并开放权重。模型总参数 280B、每 token 激活 14B,预训练 33.5T tokens,微调和推理上下文最长 1M-token,提供 FP8 与 BF16 权重。官方称其在同规模基座模型中于多个基准取得 SOTA,权重直接来自预训练、未做中后期训练,方便研究者在同一 checkpoint 上比较不同方法的效果。
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:百度 Baidu (@Baidu_Inc)
站内情报编号intel-4e101d5cf1964f41382f8461