观点 / 方法普通
little-lm 以 998 美元将 3.8B LLM 训练至 CORE 0.384 的完整复盘
原始标题:以998美元的价格将一个38亿词的大语言模型(LLM)训练至0.384 CORE
内容摘要
工程师以约 998 美元、8× B200 上 43 小时、65B tokens 训练 3.8B 参数模型 little-lm,CORE 得分 0.384,超过 GPT-2 1.5B 的 0.2565 和 nanochat d32 的 0.310。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Hacker News 热门(buzzing.cc 中文翻译)
站内情报编号intel-ac1f33f7dc8a43b14fd317df