AI圈报模型发布 / 更新普通
位置嵌入的数学约束与泛化探索
原始标题：Attention has no innate notion of time. Positional embeddings are how language models tell how far a…
内容摘要
注意力机制本身没有时间概念。位置嵌入是语言模型判断 token 之间距离的方式。 Jane Street 和 3Blue1Brown 最近的一个 YouTube 视频，探讨了满足常见数学约束的嵌入空间。这个空间不仅在代数上有良好定义，而且在 ML 文献中已被充分挖掘。 如果我们放宽这些约束呢？是否存在一个更一般的可能函数空间？让我们来折腾一下（1/7）🧵
内容分类AI 模型发布与更新
内容层级普通情报
发布时间（北京时间）
本站收录时间（北京时间）
信息来源X：SemiAnalysis (@SemiAnalysis_)
站内情报编号intel-be484cd9b91b623728cab4db