AI圈报
论文研究普通

RLT:跨 token 循环的 Transformer 架构设计提案

信息来源:X:Elvis Saravia (@omarsar0, DAIR.AI)·
原始标题:Looped transformers are a popular architecture topic right now. This new technical report extends t…

内容摘要

一份新技术报告提出 Recurrent Looped Transformer(RLT),让解码器对每个 token(含 prompt 与回复)循环复用,因果编码器构建全局 KV 记忆。48 层解码器下,t 个 token 的计算路径经过 48t 个解码块,深度随序列增长而单 token 成本不变。该报告仅为设计提案,作者称推理增益、硬件加速与 RL 扩展尚未实测。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Elvis Saravia (@omarsar0, DAIR.AI)
站内情报编号intel-da8cb65a23abc7fb7cf7fe1b