AI圈报
论文研究普通

Google Research 提出 sleep 框架:让 LLM 在持续学习中稳定保留知识

信息来源:Google Research:Blog(网页)·
原始标题:The sleep framework: A new way for LLMs to retain knowledge in continual learning

内容摘要

Google Research 提出面向持续学习的 sleep 框架,让 LLM 在活跃交互与离线记忆巩固之间循环,把脆弱的短期上下文固化为长期参数。该框架结合 MoE 参数扩展、GKD 与 RL 模仿学习,可让模型持续习得新事实、保留最长 10M tokens 的长上下文知识并提升复杂推理。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Google Research:Blog(网页)
站内情报编号intel-0e4c9b596a8a478ffc51d576