论文研究普通
小红书 DoSA 将长上下文首 token 延迟无损减少近一半
原始标题:提速不降智,小红书DoSA将首token延迟无损减少近一半
内容摘要
小红书自研的稀疏注意力索引器加速方法 DoSA,在保持原始 Top-K 选择结果的前提下,用分数上下界提前排除不可能入选的候选。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源公众号:小红书技术(dots.llm)
站内情报编号intel-f64cc90e846253e22d23574b