论文研究普通
FRAC:用分数阶状态空间转移实现长序列建模的选择性 SSM 架构
原始标题:Fractional State Space Transition for Long Sequence Modeling
内容摘要
研究者提出选择性 SSM 架构 FRAC,用分数阶动力学将传统 SSM 的指数遗忘替换为幂律长记忆,并通过有限状态、对数间隔的指数模式求和近似重尾目标核,使其成为可并行训练与预填充、同时保留有界状态自回归解码的高效循环模块。在包括 1.3B 参数语言建模在内的实验中,FRAC 的长上下文表现持续优于当前最优 SSM 基线,短上下文性能也保持竞争力。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-7000d3b6458700c0ad6417d7