据IT之家10月30日报道，谷歌研究团队于10月27日公开“睡眠框架”（Sleep Framework）持续学习研究，尝试让大语言模型在吸收新信息时保留原有知识。相关论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》。
这项研究针对的是模型部署后的学习问题。谷歌指出，主流大模型完成预训练后通常处于相对静态的状态，知识存在“截止日期”；依靠上下文学习获得的新信息，又会随会话结束而丢失。如果直接用新数据反复微调，则容易发生“灾难性遗忘”，即学会新知识后，原有能力明显下降。
睡眠框架把模型运行分为两个阶段：在“清醒阶段”，模型接收和处理输入，将信息暂存于短期记忆；进入“睡眠阶段”后，模型暂停处理新输入，转而整合记忆并进行自我改进。因此，这里的“睡眠”指一段专门用于学习和巩固的运行阶段。
其中，“记忆巩固”环节通过参数扩展、混合专家记忆块和知识蒸馏，把短期上下文信息写入长期参数，同时避免覆盖既有知识。“做梦”环节则由模型生成并筛选合成训练样本，再借助强化学习反复练习，以提升推理与泛化能力。
据报道，实验中该框架在持续翻译、长上下文理解、事实知识吸收和数学推理等任务上优于多种基线方法。模型可处理最长约1000万token的上下文，在未见语言的多阶段持续学习中保持接近零的性能下降，并在AIME 24/25等数学基准上取得更高准确率。这些结果对应研究中的实验任务，并非已上线产品的功能说明。