AI圈报
论文研究普通

EleutherAI 论文追踪预训练中的潜意识学习:教师偏好可跨模型架构迁移

信息来源:EleutherAI:Blog·
原始标题:Tracing Subliminal Learning Through Pretraining

内容摘要

EleutherAI 的 SOAR 项目论文《Tracing Subliminal Learning Through Pretraining》研究潜意识学习:教师模型的动物偏好可通过蒸馏迁移给学生,且不要求共享初始化、数据顺序、预训练语料、模型规模或架构。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源EleutherAI:Blog
站内情报编号intel-fc76abf36e8fdc17e6da0b73