AI圈报
论文研究普通

微软康奈尔新论文:免费暂停token不增上下文

信息来源:X:DAIR.AI (@dair_ai)·
原始标题:Banger paper from Microsoft and Cornell. If you have looked at thinking tokens and decided you cann…

内容摘要

微软与康奈尔大学提出"免费暂停token",在权重共享的并行预测流中携带额外计算,不占用序列位置。推理时上下文长度、KV缓存和延迟均不变,1B模型上下一token预测提升2-3 centinats;训练开销约为优化预训练管线的1.14倍。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:DAIR.AI (@dair_ai)
站内情报编号intel-9d548c88c05db25bccfe3ba4