论文研究普通
面壁智能提出长上下文训练新缩放定律
原始标题:Long-context training: don't stop too early 📈
内容摘要
面壁智能(OpenBMB)发布长上下文性能的新经验缩放定律,对 log(LongPPL) 建模为 N、Ds、Dl 的加性幂律,在留出规模上外推 R²=0.97。配套的 Constant-Last4 协议可在单条可扩展训练轨迹上稳定监控,收益可从 32K 迁移到 128K,并在 SFT 后及长上下文与智能体任务中保持。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:面壁智能 OpenBMB (@OpenBMB)
站内情报编号intel-85b4363055c1c091f4b4123e