论文研究普通
Transformer 残差流中的推理几何:六款预训练语言模型研究
原始标题:The Geometry of Inference in Transformer Residual Streams
内容摘要
研究对比六款预训练语言模型的中间残差状态与自身最终状态及其他上下文的最终状态,发现模型自身终点在早期就优于平均替代项,但许多单个终点距离更近。竞争终点集合随深度总体收缩,但其成员不断变化,存活终点之间未必更相似;方向对齐和终点排名可以改善,而到最终状态的欧氏距离变化很小。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-c08930cc91aaa3f843f745d0