模型发布 / 更新精选
Sumi:从头训练的7B开源均匀扩散语言模型
原始标题:Sumi: Open Uniform Diffusion Language Model from Scratch
内容摘要
Sumi(日语"墨")是一个完全开源的7B参数均匀扩散语言模型,从零开始在1.5T模型token上预训练。它在知识、推理和编程评测中与同等token预算的自回归模型表现相当,但在常识推理benchmark上略逊,教育密集型数据混合可能是原因之一。Sumi开放模型权重、检查点及完整训练配方(含公开语料数据混合说明),为社区提供首个大规模均匀扩散模型的基准参考。
内容分类AI 模型发布与更新
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-e3ddc00db804601ca9945f20