论文研究普通
NVIDIA 与普林斯顿发布 ReplaySSM:缓存 SSM 输入而非状态,加速混合模型解码
原始标题:ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding
内容摘要
NVIDIA 与普林斯顿 Dao AI Lab 发布 ReplaySSM,将 SSM 状态表示为检查点加近期输入缓冲,减少状态内存流量、简化投机解码回滚并限制量化误差累积。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源NVIDIA Technical Blog:Agentic AI / Generative AI
站内情报编号intel-bb5079a47e7ca177296109a6