AI圈报
论文研究普通

不改参数改乘积:面向 Transformer 的结合代数层

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Change the Product, Keep the Parameters: Associative Algebra Layers for Transformers

内容摘要

研究者提出用结合代数中的稀疏交互表替代 Transformer 投影层的普通矩阵乘法,在物理块大小固定时实现矩阵维度上的二次算术复杂度,并给出适配 GPU 执行的形状约束。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-83df2353a32a5351ca17a854