AI圈报
论文研究普通

Draft-KV:学习语言模型间有用的潜态通信

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:Draft-KV: Learning Useful Latent Communication Between Language Models

内容摘要

论文提出 Draft-KV,让共享模型在起草答案时生成 key-value 状态,经线性投影写入侧记忆并由门控注意力分支读取,两模型均冻结,接口仅训练 1.05M 参数。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-791eb19467cbe0a62345645d