论文研究普通
WhiteMatter:通过 KV Source Mixing 实现全连接跨层连接
原始标题:WhiteMatter: All-to-All Cross-Layer Connections via KV Source Mixing
内容摘要
WhiteMatter 让 Transformer 每一层都能调用任意深度的历史 token 表示,通过学习型 mixer 为当前上下文挑选最有用的深度并合并进共享 KV cache 通道。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-f49e70f3c2ed662ec46983f9