AI圈报
论文研究普通

通过方向分解解析 Transformer 表征演化

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Disentangling Representation Evolution in Transformers through Directional Decomposition

内容摘要

研究将 Transformer 学习到的表征更新分解为平行与垂直分量,发现预训练模型中存在超出残差恒等路径的大量平行分量。针对注意力与 MLP 更新及注意力 value 聚合的定向编辑显示,value 空间排除自身的平行操作鲁棒性明显强于残差空间和垂直操作。预训练中全聚合平行抑制可降低验证损失轨迹并提升下游平均表现,value 空间变体效果最强。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-0c5b20e20c6c004a96c82e44