Google Research·· 4 小时前AI 评分55
Google Research 提出睡眠框架，让 LLM 持续学习并保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google Research 提出睡眠框架，让大语言模型在主动交互与离线巩固间交替，持续吸收新知识并缓解灾难性遗忘。在长上下文和数学推理实验中，该方法展示了接近完美的 10M token 扩展，并在 AIME 等基准上优于 SFT、GRPO 等基线。
来源：Google Research · research.google