论文研究普通
别放弃 Dropout:Cerebras 团队提出层稀疏优化方法,高效训练与推理 LLM
原始标题:Don't Drop Dropout: Optimizing Layer Sparsity for Efficient LLM Training and Inference
内容摘要
Cerebras 团队研究表明,层 dropout(随机深度)应被用于大语言模型预训练,在相同训练 FLOPs 下可实现更低损失,并节省高达 25% 的训练 FLOPs。该方法还支持提前退出、中间层跳过和自推测解码等推理优化,带来高达 1.5 倍加速且精度损失可忽略。研究基于 2400 余次实验,覆盖 271M 至 8.2B 参数模型及 160B token 数据集。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-56d220c464361bfae0f768a2