论文研究普通
Q Labs Research 提出无反向传播的预训练方法 Dust
原始标题:Dust:无需反向传播的Transformer预训练
内容摘要
Q Labs Research 发布 Dust,一种零阶优化方法,通过在每个 token 上独立扰动激活(虚拟种群)预训练 GPT 式 Transformer,无需反向传播。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Hacker News 热门(buzzing.cc 中文翻译)
站内情报编号intel-18cea7a81d2d5acd97d96fe2