论文研究普通
TokenGate 用可学习剪枝把长上下文 Prefill 提速约 11 倍
原始标题:像人一样跳读长上下文:TokenGate 用可学习剪枝把 Prefill 最高提速约 11 倍
内容摘要
斯坦福与伯克利研究者提出可插拔小模块 TokenGate,插在现有 LLM 浅层学习"跳读"长上下文,只把 top-K token 传给上层。论文报告无精度损失时首 token 时间快 1.4–11.3 倍、峰值显存降 1.5–3.4 倍,相对最强免训练剪枝最高约 6.4 倍更快、2 倍更省显存。训练成本接近 LoRA,无需从零预训练。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:邵猛 (@shao__meng)
站内情报编号intel-7d8e22279304e19fff71a73c