AI圈报
论文研究精选

Dwarkesh Patel 研究:预训练进步主要来自数据改进

信息来源:Dwarkesh Patel:Podcast & Blog(RSS)·
原始标题:Pretraining progress is mostly coming from data

内容摘要

Dwarkesh Patel 发布实验分析,在最高 1e19 FLOPs 的算力预算下训练 2019 至 2025 年各年度代表性模型配方与数据语料,发现数据改进带来 12.0x 算力效率提升,模型改进为 3.7x,数据贡献约为模型的 3.24 倍。
内容分类AI 论文与研究
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Dwarkesh Patel:Podcast & Blog(RSS)
站内情报编号intel-7aea2d3527cbbe68b4a47bc5