谷歌提出“嵌套学习”新范式，突破AI“灾难性遗忘”技术瓶颈

11月10日，据报道，谷歌研究院发布博文正式提出名为“嵌套学习”的全新机器学习范式，为解决这一挑战提供了创新性的解决方案。当前主流的大语言模型虽然功能强大，但其知识体系仍受限于预训练数据。当试图用新数据更新模型时，往往会出现“灾难性遗忘”现象：学会新任务的同时，旧任务的性能会急剧下降。这一缺陷严重制约了AI系统的持续进化能力。

在发表于NeurIPS 2025的论文中，谷歌研究团队提出了突破性的理论框架。与传统方法不同，“嵌套学习”范式首次将模型架构与优化算法这两个核心要素进行了统一考量。该理论认为，复杂的机器学习模型本质上是一系列相互嵌套的优化问题，每个问题都拥有独立的“上下文流”和更新速率。

基于这一创新理念，研究团队开发了两项关键技术：“深度优化器”通过改进优化器的底层目标函数，使其对不完美数据具有更强的适应能力；“连续体内存系统”则将模型内存构建为一个从短期到长期平滑过渡的光谱体系，创造了更高效的持续学习记忆机制。

为验证理论可行性，团队设计了名为“Hope”的概念验证模型。这种基于Titans架构的自修改循环网络，深度集成了连续体内存系统，能够通过自我参照过程优化自身内存，实现近乎无限层级的上下文学习。在实证测试中，Hope模型展现出卓越性能。在语言建模和常识推理任务中，其准确率显著高于现代循环模型和标准Transformer。特别是在考验长文本记忆能力的“大海捞针”测试中，Hope证明了连续体内存系统在处理超长信息序列方面的独特优势。