AI圈报
论文研究普通

斯坦福与 UC Berkeley 推出 TokenGate:token 门控注意力让长上下文 prefill 最快提升 11.3 倍

信息来源:MarkTechPost(RSS)·
原始标题:Researchers from Stanford and UC Berkeley Introduce TokenGate: Token-Gated Attention Makes Long-Context Prefill Up to 11.3x Faster

内容摘要

斯坦福和 UC Berkeley 研究者发布 TokenGate,一种给现有 LLM 加上可学习 token 剪枝的模块,在 Qwen3-1.7B 上实现 1.4x 至 11.3x 的 TTFT 加速,峰值 prefill 显存降低 1.5x 至 3.4x 且无精度损失。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源MarkTechPost(RSS)
站内情报编号intel-cb2637be6a360936b56b1751