AI圈报
论文研究普通

RecSA:对数成本实现百万级 token 外推

信息来源:X:UCSD Hao AI Lab (@haoailab)·
原始标题:RecSA: Million-Token Extrapolation at Logarithmic Cost 🚀

内容摘要

RecSA 在 KV cache 上构建树结构并让每个查询逐层搜索,使单次查询成本降至 O(log L),仅在 32K 训练即可外推到 2M token。基于 Qwen3-4B、用 0.62B token 在 32K 下训练后,它在 RULER 的 131K 至 2M 区间全面超越基线,1M 处得分 60.5,最强基线 Dense + DCA 为 40.0。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:UCSD Hao AI Lab (@haoailab)
站内情报编号intel-80d8e3dfaf06857cb8666fcd