持续学习或者说 Continual Learning这几年在深度学习领域的热度一直在上升。很多人第一次听到这个概念是在讨论“模型能不能像人一样不断学新东西”的时候。但真正接触之后会发现它并不是一个单独的算法而是一整套问题定义、评测体系和训练策略的组合。本文会围绕持续学习的发展脉络、核心方法、典型场景以及一个可运行的实验案例展开帮助你把零散的知识点串成一张完整的认知地图。不论你是刚入门的研究生、准备搭建增量训练系统的工程师还是在调研算法选型的算法工程师这篇文章都值得从头读完。文章会讲清楚持续学习要解决什么问题、有哪些主流思路、实际落地时有哪些坑并提供一个基于 PyTorch 的持续学习实验框架方便你快速验证自己的想法。1. 为什么要关注持续学习1.1 从“静态训练”到“动态世界”的转变传统的深度学习训练流程通常是这样的收集一批数据清洗标注训练模型评估指标然后部署上线。如果数据分布发生了变化常见的做法是收集更多新数据把新旧数据合并起来重新训练。这种方式在数据规模不大、任务相对固定的场景下没有问题但放到真实业务中会很别扭。举个例子一个推荐系统模型今天上线时数据分布还比较正常明天新的商品类目上线了后天用户行为模式因为节假日发生了变化。如果每次都全量重训不仅训练成本高而且模型需要再次在全体数据上拟合训练周期也难以保证。持续学习要讨论的正是“模型如何在不断到达的新数据或新任务上持续更新同时不忘记已经学过的旧知识”这个问题。持续学习与传统的增量学习Incremental Learning有相似之处但更强调任务序列、灾难性遗忘、稳定性与可塑性之间的权衡。它考虑的不仅是“能不能学新的”还包括“学了新的是不是把旧的忘了”。1.2 灾难性遗忘是核心挑战神经网络在训练过程中如果只使用新任务的数据进行梯度更新很容易覆盖掉旧任务上学到的决策边界。这个现象在 1989 年由 McCloskey 和 Cohen 提出后来被 French 正式命名为灾难性遗忘Catastrophic Forgetting。理解灾难性遗忘可以从参数共享的角度来看。神经网络的所有任务共享同一组参数当新任务的梯度反向传播时对参数的任何修改都会影响旧任务对应的函数映射。如果新旧任务的数据分布差异较大这种干扰尤其明显。研究者发现灾难性遗忘不仅出现在分类任务中也出现在生成模型、强化学习、语音识别和推荐系统等领域。1.3 稳定性与可塑性困境持续学习中一个很经典的理论框架叫 Stability-Plasticity Dilemma即稳定性与可塑性困境。可塑性Plasticity指的是模型学习新知识、适应新数据的能力。稳定性Stability指的是模型保留已有知识、不遗忘旧知识的能力。理想情况下我们希望模型既拥有足够高的可塑性又能保持很好的稳定性。但这两者在共享参数的神经网络中是相互冲突的参数改变得越多学习新任务的能力越强遗忘旧任务的风险也越大参数改变得越少旧任务越稳定但新任务可能学不进去。持续学习的各种方法本质上都是在寻找一种折中方案有的通过约束参数更新的方向来降低遗忘有的通过存储少量旧样本来复习旧知识有的通过给不同任务分配独立参数来避免相互干扰。1.4 持续学习的新阶段从学术走向工程持续学习并不是一个全新的领域早期研究更多集中在理论分析和简单基准测试上。但最近几年由于预训练模型、大规模语言模型和推荐系统的普及持续学习进入了一个新的阶段也就是标题中提到的“Transition”。这个阶段的主要特征有几点从单模态逐步走向多模态例如视觉任务和文本任务之间的跨模态持续学习。从封闭数据集走向开放环境训练数据不再是固定的一批而是不断有新的类别和数据来源。从离线训练走向在线/流式训练对训练效率、显存占用和模型更新方式提出了新的要求。从学术基准走向工业落地越来越多的论文开始考虑计算开销、存储开销和数据隐私。可以这么说持续学习正处在一个从理论探索走向实际应用的转换期。理解这个阶段的问题和趋势对做研究和做工程都有帮助。2. 持续学习的问题定义与评估指标2.1 形式化定义持续学习通常被建模为一系列任务的时间序列。假设模型需要依次学习 T 个任务每个任务 t 拥有训练集 $D_t$其中包含输入输出对 $(x^{(t)}, y^{(t)})$。在任务 t 训练完成后模型会被用于测试所有已经学过的任务。在持续学习中数据的可见性有三种常见设定Task-Incremental Learning任务增量测试时知道当前样本来自哪个任务模型带任务ID输入。Domain-Incremental Learning域增量任务之间共享标签空间但输入分布发生变化。Class-Incremental Learning类增量任务引入新类别测试时不提供任务ID模型需要判断所有见过的类别。其中类增量学习最接近真实应用也最难因为模型必须同时解决任务区分和类别区分的问题。2.2 常用评估指标持续学习的效果不能只看最后一个任务上的准确率。如果只看最终准确率一个只管新任务、完全遗忘旧任务的模型也能表现得不错。所以在持续学习评测中通常使用以下指标。平均准确率Average Accuracy所有学过的任务各自测试准确率的平均值。假设共学习了 T 个任务$a_{i,j}$ 表示在任务 i 训练结束后模型在任务 j 测试集上的准确率那么平均准确率可以表示为$$A \frac{1}{T}\sum_{i1}^{T} a_{i,T}$$这里 $a_{i,T}$ 表示模型训练完最后一个任务后在任务 i 上的准确率。平均遗忘量Average Forgetting衡量模型在学完所有任务后每个旧任务准确率相比刚学完该任务时下降了多少。$$F \frac{1}{T-1}\sum_{i1}^{T-1} \max_{j \in {i,...,T-1}} (a_{i,j} - a_{i,T})$$遗忘量越低说明模型保留旧知识的能力越强。后向迁移Backward Transfer表示学习新任务后对旧任务表现的影响通常为负值正值表示新任务反而帮助了旧任务这在实际中很少见。前向迁移Forward Transfer表示学完旧任务后对新任务学习的促进作用。在实际论文评估中常用的是平均准确率和平均遗忘量。两个指标需要一起看一个模型如果平均准确率很高但遗忘量也很大说明它可能是在新任务上过拟合了。2.3 基准数据集学术研究中常用的持续学习基准包括Split MNIST / Split Fashion-MNIST把 MNIST 按数字类别划分成多个二分类任务。Split CIFAR-10 / Split CIFAR-100把 CIFAR 按类别分组例如每 10 类一个任务。Tiny ImageNet、ImageNet-R更大的类增量基准。5-Datasets 基准使用 CIFAR-10、MNIST、SVHN 等 5 个不同风格的数据集交替训练考验模型的域适应能力。在后面的实战案例中我们会使用 Split CIFAR-10 或 Split MNIST 搭建一个可运行的实验。3. 持续学习的主流方法分类持续学习的方法可以从不同维度划分最常用的分类方式是按“如何缓解遗忘”的角度分为三类基于正则化、基于经验重放、基于参数隔离。此外基于提示的方法和基于预训练模型的方法也越来越受到关注。3.1 基于正则化的方法基于正则化的方法在优化目标中加入一个额外的约束项限制参数更新时对旧任务重要参数的破坏。弹性权重巩固EWC是最经典的方法。它的思想是在旧任务训练完成后利用 Fisher 信息矩阵估计每个参数对旧任务的重要性。重要性越高的参数在后续任务更新时施加越大的惩罚。loss 的更新形式为$$\mathcal{L}(\theta) \mathcal{L}{new}(\theta) \frac{\lambda}{2} \sum_i F_i (\theta_i - \theta{A,i})^2$$其中 $F_i$ 是对角 Fisher 信息量$\theta_{A,i}$ 是旧任务训练完成后的参数值$\lambda$ 控制正则强度。Synaptic IntelligenceSI类似但它在训练过程中动态计算每个参数变化对 loss 的影响不需要显式计算 Fisher 信息。这类方法的好处是不需要存储旧样本隐私性较好内存开销低缺点是在任务数很多时约束项之间的叠加可能导致模型容量被限制可塑性下降。3.2 基于经验重放的方法经验重放Experience Replay的核心思想是把旧任务的部分样本或生成样本存储起来在当前任务训练时混入这些旧样本使模型不忘记旧分布的判断能力。最直接的方式是存储原始样本Rehearsal。这种方法简单有效但会带来存储开销并且在数据隐私要求严格的场景下可能没法使用。在此基础上出现了多种变体梯度重放不使用原始样本而是存储旧任务训练时的梯度信息在新任务训练时叠加这些梯度使总梯度方向尽量不损害旧任务。生成式重放训练一个生成模型来生成旧任务的伪样本用伪样本替代真实样本进行重放。均值特征重放不存储原始图像而是存储每个类别的特征均值或分布然后用这些特征做分类校准。经验重放的方法在类增量学习场景中通常比正则化方法效果好因为它直接“复习”旧知识而不是通过约束间接保留。代价是要额外的存储、加载和训练开销。3.3 基于参数隔离的方法参数隔离Parameter Isolation的思路是把不同任务分配到不同的参数子空间或不同的网络模块中从而避免任务之间的相互干扰。最典型的方法有Progressive Neural Networks每学习一个新任务时新增一个网络列同时通过横向连接利用旧任务的特征。缺点明显就是网络规模随任务数线性增长。PackNet每个任务训练完成后对参数进行剪枝把重要的连接“固化”下来在新任务中只能使用剩余的部分参数。动态扩展网络Dynamic Expansion根据任务复杂度自动决定是否增加新的神经元或层。参数隔离方法能显著降低遗忘甚至几乎完全避免遗忘但存储开销和模型容量随任务数增长这是在实际部署中必须考虑的问题。3.4 基于提示的方法随着预训练模型如 ViT、CLIP、BERT的流行提示Prompt技术被引入持续学习。代表性工作包括 L2PLearning to Prompt、DualPrompt 和 CODA-Prompt。这类方法的核心思路是冻结预训练模型的主干网络只学习一组可学习的提示向量。每次输入新任务样本时通过一个查询函数从提示池中选择合适的提示拼接在输入序列中让模型在少量可学习参数下适配新任务。这样做的好处是避免了对预训练主干的大规模修改大幅度降低了遗忘。提示参数数量很少训练效率和显存开销都很友好。提示池可以不断扩展天然支持任务序列的增长。当前基于提示的方法在视觉-语言预训练模型上的持续学习效果非常突出已经成为较新的研究热点。3.5 各方法的对比方法类别代表性方法核心思路优点缺点正则化EWC, SI, LwF对重要参数施加约束无需存储旧数据内存开销低任务多时约束叠加可塑性受限经验重放Rehearsal, GD复习旧样本/旧梯度效果稳定实现简单需要存储旧样本或额外训练生成器参数隔离Progressive Net, PackNet各任务使用独立参数几乎不遗忘存储和计算开销随任务增长提示学习L2P, DualPrompt冻结主干学习提示参数效率高遗忘低依赖预训练模型质量分布/泛化Geometric KD通过几何属性保持泛化方法新颖研究潜力大尚未大规模验证4. 持续学习的典型应用场景理解持续学习的方法之后再看看现实世界中哪些场景已经受惠于这些技术。持续学习并非只是学术圈的概念它已经被用于多个工业领域并且正在创造实际价值。4.1 计算机视觉在图像分类、目标检测和分割任务中持续学习被用于以下场景新增类别零售商品识别系统需要上线新的商品品类目标检测模型需要识别新出现的障碍物。数据分布漂移自动驾驶场景中光照、天气、地理位置变化都会导致目标分布变化。个性化手机相册的分类系统需要根据用户的照片习惯增量更新同时保留对通用类别的识别能力。在视觉持续学习中Class-Incremental Learning 的设定比较常见。模型需要在新类别到来时不断更新分类器同时不能忘记已经学过的旧类别。4.2 自然语言处理NLP 领域的持续学习也很活跃尤其是大语言模型出现后如何让模型在指令数据流上持续更新、避免“对齐税”和灾难性遗忘成为热点。典型应用包括对话系统不断学习新领域的语料同时保持已有领域的对话能力。情感分类电商平台不断有新的商品类目和新的表达方式模型需要适应新语域。机器翻译新增语言对或新增领域数据后希望模型在保持旧语言翻译质量的同时学会新语言。在 LLM 场景中参数高效的微调方法如 LoRA、Adapter常被当作持续学习的工具。通过冻结主干、更新旁路参数可以让模型在不断学习新任务时尽量减少对旧任务的干扰。4.3 推荐系统推荐系统是持续学习最有价值的落地场景之一。用户的兴趣随时间变化平台的内容生态也在不断变化传统全量重训的成本会越来越高。推荐系统中的持续学习需要处理两个难点长期喜好漂移用户兴趣从“数码产品”变成“户外运动”模型要捕捉这种变化。短期行为波动热门事件、促销活动导致短期行为偏移模型需要快速响应但不应“遗忘”用户长期兴趣。这类系统常使用在线增量学习框架配合用户行为序列的特征工程对模型的冷启动和稳定更新都有较高要求。4.4 强化学习与机器人在强化学习中智能体通常需要在一个环境中学习多个任务。例如机器人需要先学会抓取再学会放置再学会避障。如果从头训练每个任务成本极高如果在一个任务上训练好后直接用于下一个任务往往会灾难性遗忘。持续学习在强化学习中的应用包括多任务策略迁移。非平稳环境下的自适应决策。机器人通过人类演示增量学习新技能。4.5 其他领域持续学习还被应用于医疗影像不同医院、不同设备的数据分布差异很大模型需要在新数据上更新同时保持已有识别能力。金融风控欺诈模式随机演化模型需要不断适应新的欺诈手段。工业质检产线新增产品型号检测模型需要在不降低旧型号检测效果的基础上学习新型号。5. 实战案例基于 PyTorch 的持续学习实验为了把上面的内容串起来下面我们搭建一个简单的持续学习实验。实验使用 Split CIFAR-10 作为基准分别实现一个普通微调基线、一个经验重放方法和一个简单的 EWC 正则化方法对比它们在任务序列上的表现。环境说明本文将使用 Python 3.8、PyTorch 2.x并要求安装 torchvision。如果你使用的是其他版本API 可能有细微差异但核心逻辑是通用的。建议使用虚拟环境进行实验。5.1 项目结构创建以下目录结构continual_learning_demo/ ├── main.py # 主实验脚本 ├── models.py # 模型定义 ├── trainer.py # 训练和评估逻辑 ├── utils.py # 工具函数数据划分、日志 └── results/ └── figures/ # 存放结果图5.2 数据划分我们先把 CIFAR-10 的 10 个类别划分为 5 个任务每两个类别构成一个二分类任务。这个设定属于 Task-Incremental Learning因为我们在测试时会给模型提供任务 ID这里通过只取当前任务对应的类别输出来模拟。# utils.py import torch import torchvision import torchvision.transforms as transforms def get_split_cifar10(task_id, num_tasks5, batch_size64): 获取第 task_id 个任务的训练和测试数据。 每个任务包含 10 / num_tasks 个类别。 classes_per_task 10 // num_tasks start_class task_id * classes_per_task end_class (task_id 1) * classes_per_task transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2470, 0.2435, 0.2616)) ]) full_train torchvision.datasets.CIFAR10(root./data, trainTrue, downloadTrue, transformtransform) full_test torchvision.datasets.CIFAR10(root./data, trainFalse, downloadTrue, transformtransform) # 筛选当前任务的类别索引 train_indices [i for i, (_, y) in enumerate(full_train) if y in range(start_class, end_class)] test_indices [i for i, (_, y) in enumerate(full_test) if y in range(start_class, end_class)] train_subset torch.utils.data.Subset(full_train, train_indices) test_subset torch.utils.data.Subset(full_test, test_indices) train_loader torch.utils.data.DataLoader(train_subset, batch_sizebatch_size, shuffleTrue) test_loader torch.utils.data.DataLoader(test_subset, batch_sizebatch_size, shuffleFalse) return train_loader, test_loader在这个划分下每个任务是一个 2 分类问题。后续在评估所有任务时我们会分别遍历 5 个任务的测试集计算模型在每个任务上的准确率。5.3 定义基础模型这里使用一个简单的 CNN。为了避免过度参数化我们用两层卷积加上两层全连接输出维度是 2也就是当前任务的类别数。# models.py import torch import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes2): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 32, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.AdaptiveAvgPool2d((4, 4)) ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(64 * 4 * 4, 128), nn.ReLU(), nn.Linear(128, num_classes) ) def forward(self, x): return self.classifier(self.features(x))在 Task-Incremental 设定下不同任务对应不同的类别因此我们可以为每个任务保留一个独立的分类头。本文为了简化采用一个特殊技巧输入一个任务嵌入把所有任务的分类头合并到同一个网络里。不过对实验对比来说更简单的做法是每个任务共享特征提取层但训练时只计算当前任务类别的输出。下面先按共享输出头的方式来写比较直观。5.4 普通微调基线普通微调就是按顺序训练每个任务每训练完一个任务后评估所有任务。预期结果是随着任务数增加旧任务的准确率逐渐下降。# trainer.py import torch import torch.nn as nn def train_epoch(model, loader, optimizer, criterion, device): model.train() total_loss 0.0 correct 0 total 0 for x, y in loader: # 将全局类别标签映射为任务内类别 0/1 y y % 2 x, y x.to(device), y.to(device) optimizer.zero_grad() output model(x) loss criterion(output, y) loss.backward() optimizer.step() total_loss loss.item() * x.size(0) correct (output.argmax(1) y).sum().item() total x.size(0) return total_loss / total, correct / total def evaluate(model, loaders, device): model.eval() accs [] with torch.no_grad(): for loader in loaders: correct 0 total 0 for x, y in loader: y y % 2 x, y x.to(device), y.to(device) output model(x) correct (output.argmax(1) y).sum().item() total y.size(0) accs.append(correct / total) return accs主实验脚本中我们依次加载 5 个任务的训练集每训练完一个任务后把当前所有任务的测试集传入evaluate函数记录一组准确率。# main.py import torch import torch.nn as nn from utils import get_split_cifar10 from models import SimpleCNN from trainer import train_epoch, evaluate device torch.device(cuda if torch.cuda.is_available() else cpu) num_tasks 5 epochs_per_task 5 batch_size 64 learning_rate 1e-3 # 预加载所有任务的 train_loader 和 test_loader train_loaders [] test_loaders [] for task_id in range(num_tasks): train_loader, test_loader get_split_cifar10(task_id, num_tasks, batch_size) train_loaders.append(train_loader) test_loaders.append(test_loader) model SimpleCNN(num_classes2).to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lrlearning_rate) history [] for task_id in range(num_tasks): print(fTraining on task {task_id 1}) for epoch in range(epochs_per_task): loss, acc train_epoch(model, train_loaders[task_id], optimizer, criterion, device) print(f Epoch {epoch 1}: loss{loss:.4f}, acc{acc:.4f}) # 训练完当前任务后评估所有已知任务 accs evaluate(model, test_loaders[:task_id 1], device) history.append(accs) print(f After task {task_id 1}: accs{[round(a, 4) for a in accs]})运行后你会看到类似下面的输出After task 1: accs[0.9824] After task 2: accs[0.9486, 0.9771] After task 3: accs[0.7213, 0.8039, 0.9097] After task 4: accs[0.5087, 0.6021, 0.7333, 0.8518] After task 5: accs[0.3982, 0.4705, 0.6112, 0.7243, 0.8331]可以看到随着任务数增多越早的任务准确率下降得越明显这就是灾难性遗忘的直观表现。5.5 加入经验重放经验重放的实现很简单在训练新任务时从旧任务的训练集中随机抽样一部分样本混入当前任务的 DataLoader。我们把前面的训练流程改造成支持重放版本的函数。这里为了演示清晰直接在每个 epoch 中先把旧任务样本拼接进当前 batch。class ReplayBuffer: def __init__(self, capacity_per_task500): self.capacity_per_task capacity_per_task self.buffers [] # 每个元素是 (x_tensor, y_tensor) def add_task_data(self, loader, device): xs, ys [], [] for x, y in loader: xs.append(x) ys.append(y) x_all torch.cat(xs, dim0) y_all torch.cat(ys, dim0) # 随机抽样 if x_all.size(0) self.capacity_per_task: idx torch.randperm(x_all.size(0))[:self.capacity_per_task] x_all x_all[idx] y_all y_all[idx] self.buffers.append((x_all.to(device), y_all.to(device))) def sample(self, batch_size, device): if not self.buffers: return None xs, ys [], [] for x_buf, y_buf in self.buffers: # 从每个旧任务里均匀采样 idx torch.randperm(x_buf.size(0))[: batch_size // len(self.buffers)] xs.append(x_buf[idx]) ys.append(y_buf[idx]) return torch.cat(xs, dim0), torch.cat(ys, dim0)然后在训练函数中每个 epoch 训练完一个 batch 后再使用重放数据做一个额外的梯度更新def train_epoch_with_replay(model, loader, replay_buffer, optimizer, criterion, device, replay_batch_size32): model.train() total_loss 0.0 correct 0 total 0 for x, y in loader: y y % 2 x, y x.to(device), y.to(device) optimizer.zero_grad() output model(x) loss criterion(output, y) loss.backward() optimizer.step() # 重放旧任务数据 replay_data replay_buffer.sample(replay_batch_size, device) if replay_buffer else None if replay_data is not None: x_old, y_old replay_data y_old y_old % 2 optimizer.zero_grad() output_old model(x_old) loss_old criterion(output_old, y_old) loss_old.backward() optimizer.step() total_loss loss.item() * x.size(0) correct (output.argmax(1) y).sum().item() total y.size(0) return total_loss / total, correct / total在每训练完一个任务后调用replay_buffer.add_task_data(train_loaders[task_id], device)把当前任务的一部分数据存入重放缓冲区。经验重放的效果通常优于普通微调。老任务准确率虽然也会下降但下降幅度会小很多。5.6 加入 EWC 正则化EWC 的实现稍微复杂一点。我们需要在旧任务训练结束后记录当前模型参数快照和 Fisher 信息矩阵。Fisher 信息矩阵的计算方式为对于每个样本计算对数似然对参数的梯度平方的平均值。在 PyTorch 中可以基于一个 batch 的 loss 梯度来近似def compute_fisher(model, loader, device): model.eval() fisher {} for name, param in model.named_parameters(): fisher[name] torch.zeros_like(param.data) criterion nn.CrossEntropyLoss() for x, y in loader: y y % 2 x, y x.to(device), y.to(device) model.zero_grad() output model(x) loss criterion(output, y) loss.backward() for name, param in model.named_parameters(): if param.grad is not None: fisher[name] param.grad.data ** 2 # 求平均 for name in fisher: fisher[name] / len(loader.dataset) return fisher注意为了减少计算开销实际使用中可以对 Fisher 信息做对角近似并且只对网络的主要层计算。上面的实现简单直观但如果你在完整数据集上计算 Fisher每一层每个参数都要保存一个值内存开销会比较大。实验时可以使用一个很小的子集来估计 Fisher。保存旧任务参数和 Fisher 信息后在训练当前任务时在原始 loss 上叠加正则项def ewc_loss(model, criterion, x, y, lambda_ewc, fisher_list, old_params_list, device): output model(x) loss criterion(output, y) # 添加 EWC 正则项 ewc_reg 0.0 for name, param in model.named_parameters(): for fisher, old_param in zip(fisher_list, old_params_list): if name in fisher: ewc_reg (fisher[name] * (param - old_param[name]) ** 2).sum() return loss (lambda_ewc / 2.0) * ewc_reg在训练过程中每次反向传播前使用这个函数计算总 loss。每个任务训练完成后把当前模型的参数快照和 Fisher 信息存储下来。后续所有任务共享同一个正则项列表。相比普通微调EWC 在旧任务上的准确率下降会得到一定控制但需要调好lambda_ewc这个超参数。lambda_ewc太大会导致模型难以学习新任务太小又起不到正则作用。常见取值范围在 1 到 10000 之间需要根据实验调整。5.7 实验结果对比运行三种方法后把每个任务训练完成后的平均准确率画在同一张折线图上可以直观看出差异。本文不生成图片但你可以用 matplotlib 实现。预期结果顺序大致如下普通微调的遗忘最严重最终平均准确率最低。经验重放在旧任务记忆上表现较好是三种方法中最稳定的。EWC 的遗忘情况介于两者之间具体与正则权重选择密切相关。这里的实验只是一个最小复现示例用来帮助理解持续学习的基本流程。真实论文里的实验会在多个数据集、多个随机种子和多个方法变体上进行比较。6. 持续学习实战中的常见问题与排查思路6.1 模型在旧任务上快速遗忘现象训练几个新任务后旧任务准确率从 90% 掉到 40%。可能原因没有使用任何抗遗忘机制。学习率太大参数更新幅度过大覆盖了旧任务参数。新旧任务的数据分布差异太大。模型容量不足无法同时容纳多个任务的决策边界。解决思路使用经验重放或 EWC 等抗遗忘方法。降低学习率。尝试基于预训练模型 提示的方法。检查数据预处理是否统一。6.2 添加 EWC 后新任务学习变慢现象EWC 起作用了遗忘降低但新任务准确率上不去。可能原因lambda_ewc设置过大导致参数被过度约束可塑性不足。Fisher 信息估计不准确。旧任务数量太多正则项累积效应过强。解决思路调低lambda_ewc。只对部分层施加正则约束例如只约束特征提取层的参数。使用动态正则权重任务越多时适度放宽正则强度。6.3 经验重放导致存储和训练开销过大现象重放缓冲区越来越大训练时间成倍增加。可能原因每个任务都存储大量样本。每个 epoch 都做多次额外的重放梯度更新。使用了完整数据集而非子集。解决思路限制每个任务的存储容量例如每个类别只保存 50 或 100 张代表性图片。使用更高效的样本选择策略如基于梯度匹配或多样性的样本挑选。在训练时控制重放频率而不是每个 batch 都做重放。6.4 训练框架与评估指标不一致现象训练指标很好但最终的持续学习指标差别很大。可能原因评估时使用的是任务内标签映射但测试数据包含所有类别。测试时没有使用正确的任务信息。对不同任务使用了不同的数据预处理。解决思路在任务增量、类增量、域增量三种设定下明确评估协议。使用同一个评估函数统一处理所有任务。记录每个任务的类别范围并在评估时正确映射。6.5 设备显存不足现象任务数增加后训练报 CUDA out of memory。可能原因重放缓冲区中存储了太多原始图像。Fisher 信息保存了太多参数副本。存在多个模型副本例如某些方法需要保持多个模型。解决思路减少存储容量使用特征级重放而不是像素级重放。使用梯度累积更新参数避免同时存储过多梯度。可以把部分数据放在 CPU 内存中按需加载到 GPU。6.6 问题排查清单问题现象常见原因解决思路旧任务准确率骤降无抗遗忘机制/学习率过大使用重放或 EWC降低学习率新任务学不进去正则权重过大调小正则权重存储增长过快重放缓冲区容量设置不合理限制存储使用代表性样本评估结果不稳定评估协议不一致统一评估函数和预处理流程训练/OOM模型副本过多精简模型增加 offload 策略7. 持续学习的进阶方向与前沿讨论持续学习并不是一个已经定型的领域。学术界近两年的大量工作都在试图回答一个更基本的问题深度学习模型如何像生物神经系统一样在学习新知识的同时保持对旧知识的稳定访问下面梳理几个值得关注的方向。7.1 基于预训练模型的持续学习随着大规模预训练模型的普及持续学习的重心从“从零开始训练网络”转向“基于预训练模型高效适配新任务”。最典型的做法是冻结大部分参数只训练 LoRA、Adapter、Prompt 等少量参数。这样有两个好处降低遗忘风险因为大部分主干参数保持不变。计算和存储开销更低不需要对每个任务保存完整模型副本。这个方向的挑战在于预训练模型可能在很多任务上已经具备不错的基础能力持续学习的核心变成了“如何在不破坏通用特征的前提下注入任务特定知识”。7.2 大语言模型中的持续学习大语言模型LLM的持续学习被讨论得越来越多。LLM 面临的一个实际问题是模型权重冻结后难以持续更新而全量微调又存在灾难性遗忘和“对齐税”。当前常见做法是使用 LoRA 微调并且为不同任务保存不同的 LoRA 模块。训练一个路由网络根据输入选择最合适的 LoRA 模块。通过思维链蒸馏或知识编辑的方式让模型动态更新事实知识。不过这些方法在工业界的验证还不充分怎样在大模型上做安全、稳定的持续学习仍然是一个开放问题。7.3 持续学习与数据隐私持续学习的一个优势是可能降低数据存储需求但许多方法尤其是经验重放依然需要保存旧数据这会触及数据隐私和合规问题。研究人员开始探索生成式重放用生成模型模拟旧数据分布而不是保存真实用户数据。联邦持续学习在多个客户端上分布式更新模型并且不共享原始数据。差分隐私与持续学习的结合在更新过程中保护数据隐私。如果你在真实业务中做持续学习一定要先弄清楚你的数据是否允许缓存、是否有过期时间、是否涉及用户隐私这直接影响方法选型。7.4 持续学习评价体系的重构传统持续学习研究以平均准确率和遗忘量为核心指标但在真实场景中这些指标远远不够。越来越多的论文开始关注模型更新前后的服务稳定性。单次更新的时间与显存开销。不同任务序列顺序对最终效果的影响。模型在新任务上快速适应所需的样本数量。这些评价维度更贴近工程落地也是未来持续学习研究的重点方向之一。8. 最佳实践与工程建议8.1 从简单方案开始如果你的业务刚开始做增量训练不要一上来就实现复杂的持续学习算法。先用最简单的基线验证你的数据流和评估流程然后再根据痛点选择方法。很多时候一个简单的经验重放方案就能解决大部分问题。推荐的落地顺序是全量重训基线明确当前成本和效果。直接增量微调观察遗忘程度。加入经验重放存储少量旧样本观察效果提升。引入正则化或参数隔离根据业务约束决定是否需要。8.2 数据管理比算法更重要无论使用哪种持续学习方法数据管理都是绕不开的一环。你需要明确以下几个问题每个任务的类别边界是什么。新旧任务数据是否可以共存。旧任务样本是否可以存储、是否有保留期限。数据分布漂移的监控指标是什么。建议在系统中为每个任务记录版本信息、数据来源、类别范围和时间戳。这些元数据在做回滚、评估和审计时非常有用。8.3 对评估体系做“双轨制”在持续学习系统中除了常规的模型指标还要关注服务指标。例如模型更新后推荐系统的点击率、转化率是否波动。分类系统的误报率是否上升。模型的平均推理延迟是否增加。建议在发布前做小流量灰度实验观察新任务引入后对旧任务线上表现的影响。8.4 预留回滚能力持续学习模型上线后如果新任务的数据质量有问题可能导致模型整体性能下降。因此线上系统必须保留上一个版本模型的回滚能力。模型版本管理、配置管理和评估日志缺一不可。8.5 监控遗忘和分布漂移在实际部署中可以定期拿出一个“锚定测试集”这个测试集包含从旧任务数据中抽取的代表性样本用于持续监控模型对旧知识的记忆情况。一旦发现锚定测试集准确率明显下降就需要触发告警或回滚。8.6 计算资源规划持续学习不等于持续训练。在工程上你仍然需要控制模型的更新频率、每次更新的数据量和训练耗时。对于资源有限的团队可以优先考虑选参数高效的更新方式如 LoRA、Adapter。利用增量学习框架定期批量更新。使用异步训练避免阻塞线上推理服务。9. 总结与学习路线持续学习正处在一个很有意思的转型阶段传统方法在学术基准上已经相对成熟但真实业务场景对存储、隐私、推理开销、模型更新稳定性提出了更高要求。与此同时预训练模型的发展也为持续学习提供了新的基础架构和新的挑战。读完这篇文章后你应该掌握的知识点包括持续学习的基本问题定义、常见设定和评估指标。灾难性遗忘的本质以及稳定性与可塑性之间的权衡。三大经典方法类别的核心思想和优缺点。如何用 PyTorch 搭建一个简单的持续学习实验对比不同策略。实际落地时的常见坑点和工程建议。如果你打算继续深入可以参考下面几条学习路径从论文入手阅读 EWC、Progress Compress、iCaRL、GDumb、L2P 等代表性论文理解方法演进脉络。从框架入手尝试一些开源持续学习库例如 Avalanche、Mammoth 等这些库已经实现了大量基准方法非常适合做对比实验。从项目入手选择一个你熟悉的业务场景定义任务序列和评估指标先跑通基线再逐步替换方法。持续学习和很多深度学习子领域一样最好的学习方式是在真实任务上做实验。你可以从今天的 CIFAR-10 实验代码开始尝试调整任务数量、重放缓冲区大小、EWC 正则权重等参数观察指标如何变化。动手跑一遍很多抽象的概念会变得具体得多。 持续学习全面解析：从灾难性遗忘到PyTorch实战
持续学习或者说 Continual Learning这几年在深度学习领域的热度一直在上升。很多人第一次听到这个概念是在讨论“模型能不能像人一样不断学新东西”的时候。但真正接触之后会发现它并不是一个单独的算法而是一整套问题定义、评测体系和训练策略的组合。本文会围绕持续学习的发展脉络、核心方法、典型场景以及一个可运行的实验案例展开帮助你把零散的知识点串成一张完整的认知地图。不论你是刚入门的研究生、准备搭建增量训练系统的工程师还是在调研算法选型的算法工程师这篇文章都值得从头读完。文章会讲清楚持续学习要解决什么问题、有哪些主流思路、实际落地时有哪些坑并提供一个基于 PyTorch 的持续学习实验框架方便你快速验证自己的想法。1. 为什么要关注持续学习1.1 从“静态训练”到“动态世界”的转变传统的深度学习训练流程通常是这样的收集一批数据清洗标注训练模型评估指标然后部署上线。如果数据分布发生了变化常见的做法是收集更多新数据把新旧数据合并起来重新训练。这种方式在数据规模不大、任务相对固定的场景下没有问题但放到真实业务中会很别扭。举个例子一个推荐系统模型今天上线时数据分布还比较正常明天新的商品类目上线了后天用户行为模式因为节假日发生了变化。如果每次都全量重训不仅训练成本高而且模型需要再次在全体数据上拟合训练周期也难以保证。持续学习要讨论的正是“模型如何在不断到达的新数据或新任务上持续更新同时不忘记已经学过的旧知识”这个问题。持续学习与传统的增量学习Incremental Learning有相似之处但更强调任务序列、灾难性遗忘、稳定性与可塑性之间的权衡。它考虑的不仅是“能不能学新的”还包括“学了新的是不是把旧的忘了”。1.2 灾难性遗忘是核心挑战神经网络在训练过程中如果只使用新任务的数据进行梯度更新很容易覆盖掉旧任务上学到的决策边界。这个现象在 1989 年由 McCloskey 和 Cohen 提出后来被 French 正式命名为灾难性遗忘Catastrophic Forgetting。理解灾难性遗忘可以从参数共享的角度来看。神经网络的所有任务共享同一组参数当新任务的梯度反向传播时对参数的任何修改都会影响旧任务对应的函数映射。如果新旧任务的数据分布差异较大这种干扰尤其明显。研究者发现灾难性遗忘不仅出现在分类任务中也出现在生成模型、强化学习、语音识别和推荐系统等领域。1.3 稳定性与可塑性困境持续学习中一个很经典的理论框架叫 Stability-Plasticity Dilemma即稳定性与可塑性困境。可塑性Plasticity指的是模型学习新知识、适应新数据的能力。稳定性Stability指的是模型保留已有知识、不遗忘旧知识的能力。理想情况下我们希望模型既拥有足够高的可塑性又能保持很好的稳定性。但这两者在共享参数的神经网络中是相互冲突的参数改变得越多学习新任务的能力越强遗忘旧任务的风险也越大参数改变得越少旧任务越稳定但新任务可能学不进去。持续学习的各种方法本质上都是在寻找一种折中方案有的通过约束参数更新的方向来降低遗忘有的通过存储少量旧样本来复习旧知识有的通过给不同任务分配独立参数来避免相互干扰。1.4 持续学习的新阶段从学术走向工程持续学习并不是一个全新的领域早期研究更多集中在理论分析和简单基准测试上。但最近几年由于预训练模型、大规模语言模型和推荐系统的普及持续学习进入了一个新的阶段也就是标题中提到的“Transition”。这个阶段的主要特征有几点从单模态逐步走向多模态例如视觉任务和文本任务之间的跨模态持续学习。从封闭数据集走向开放环境训练数据不再是固定的一批而是不断有新的类别和数据来源。从离线训练走向在线/流式训练对训练效率、显存占用和模型更新方式提出了新的要求。从学术基准走向工业落地越来越多的论文开始考虑计算开销、存储开销和数据隐私。可以这么说持续学习正处在一个从理论探索走向实际应用的转换期。理解这个阶段的问题和趋势对做研究和做工程都有帮助。2. 持续学习的问题定义与评估指标2.1 形式化定义持续学习通常被建模为一系列任务的时间序列。假设模型需要依次学习 T 个任务每个任务 t 拥有训练集 $D_t$其中包含输入输出对 $(x^{(t)}, y^{(t)})$。在任务 t 训练完成后模型会被用于测试所有已经学过的任务。在持续学习中数据的可见性有三种常见设定Task-Incremental Learning任务增量测试时知道当前样本来自哪个任务模型带任务ID输入。Domain-Incremental Learning域增量任务之间共享标签空间但输入分布发生变化。Class-Incremental Learning类增量任务引入新类别测试时不提供任务ID模型需要判断所有见过的类别。其中类增量学习最接近真实应用也最难因为模型必须同时解决任务区分和类别区分的问题。2.2 常用评估指标持续学习的效果不能只看最后一个任务上的准确率。如果只看最终准确率一个只管新任务、完全遗忘旧任务的模型也能表现得不错。所以在持续学习评测中通常使用以下指标。平均准确率Average Accuracy所有学过的任务各自测试准确率的平均值。假设共学习了 T 个任务$a_{i,j}$ 表示在任务 i 训练结束后模型在任务 j 测试集上的准确率那么平均准确率可以表示为$$A \frac{1}{T}\sum_{i1}^{T} a_{i,T}$$这里 $a_{i,T}$ 表示模型训练完最后一个任务后在任务 i 上的准确率。平均遗忘量Average Forgetting衡量模型在学完所有任务后每个旧任务准确率相比刚学完该任务时下降了多少。$$F \frac{1}{T-1}\sum_{i1}^{T-1} \max_{j \in {i,...,T-1}} (a_{i,j} - a_{i,T})$$遗忘量越低说明模型保留旧知识的能力越强。后向迁移Backward Transfer表示学习新任务后对旧任务表现的影响通常为负值正值表示新任务反而帮助了旧任务这在实际中很少见。前向迁移Forward Transfer表示学完旧任务后对新任务学习的促进作用。在实际论文评估中常用的是平均准确率和平均遗忘量。两个指标需要一起看一个模型如果平均准确率很高但遗忘量也很大说明它可能是在新任务上过拟合了。2.3 基准数据集学术研究中常用的持续学习基准包括Split MNIST / Split Fashion-MNIST把 MNIST 按数字类别划分成多个二分类任务。Split CIFAR-10 / Split CIFAR-100把 CIFAR 按类别分组例如每 10 类一个任务。Tiny ImageNet、ImageNet-R更大的类增量基准。5-Datasets 基准使用 CIFAR-10、MNIST、SVHN 等 5 个不同风格的数据集交替训练考验模型的域适应能力。在后面的实战案例中我们会使用 Split CIFAR-10 或 Split MNIST 搭建一个可运行的实验。3. 持续学习的主流方法分类持续学习的方法可以从不同维度划分最常用的分类方式是按“如何缓解遗忘”的角度分为三类基于正则化、基于经验重放、基于参数隔离。此外基于提示的方法和基于预训练模型的方法也越来越受到关注。3.1 基于正则化的方法基于正则化的方法在优化目标中加入一个额外的约束项限制参数更新时对旧任务重要参数的破坏。弹性权重巩固EWC是最经典的方法。它的思想是在旧任务训练完成后利用 Fisher 信息矩阵估计每个参数对旧任务的重要性。重要性越高的参数在后续任务更新时施加越大的惩罚。loss 的更新形式为$$\mathcal{L}(\theta) \mathcal{L}{new}(\theta) \frac{\lambda}{2} \sum_i F_i (\theta_i - \theta{A,i})^2$$其中 $F_i$ 是对角 Fisher 信息量$\theta_{A,i}$ 是旧任务训练完成后的参数值$\lambda$ 控制正则强度。Synaptic IntelligenceSI类似但它在训练过程中动态计算每个参数变化对 loss 的影响不需要显式计算 Fisher 信息。这类方法的好处是不需要存储旧样本隐私性较好内存开销低缺点是在任务数很多时约束项之间的叠加可能导致模型容量被限制可塑性下降。3.2 基于经验重放的方法经验重放Experience Replay的核心思想是把旧任务的部分样本或生成样本存储起来在当前任务训练时混入这些旧样本使模型不忘记旧分布的判断能力。最直接的方式是存储原始样本Rehearsal。这种方法简单有效但会带来存储开销并且在数据隐私要求严格的场景下可能没法使用。在此基础上出现了多种变体梯度重放不使用原始样本而是存储旧任务训练时的梯度信息在新任务训练时叠加这些梯度使总梯度方向尽量不损害旧任务。生成式重放训练一个生成模型来生成旧任务的伪样本用伪样本替代真实样本进行重放。均值特征重放不存储原始图像而是存储每个类别的特征均值或分布然后用这些特征做分类校准。经验重放的方法在类增量学习场景中通常比正则化方法效果好因为它直接“复习”旧知识而不是通过约束间接保留。代价是要额外的存储、加载和训练开销。3.3 基于参数隔离的方法参数隔离Parameter Isolation的思路是把不同任务分配到不同的参数子空间或不同的网络模块中从而避免任务之间的相互干扰。最典型的方法有Progressive Neural Networks每学习一个新任务时新增一个网络列同时通过横向连接利用旧任务的特征。缺点明显就是网络规模随任务数线性增长。PackNet每个任务训练完成后对参数进行剪枝把重要的连接“固化”下来在新任务中只能使用剩余的部分参数。动态扩展网络Dynamic Expansion根据任务复杂度自动决定是否增加新的神经元或层。参数隔离方法能显著降低遗忘甚至几乎完全避免遗忘但存储开销和模型容量随任务数增长这是在实际部署中必须考虑的问题。3.4 基于提示的方法随着预训练模型如 ViT、CLIP、BERT的流行提示Prompt技术被引入持续学习。代表性工作包括 L2PLearning to Prompt、DualPrompt 和 CODA-Prompt。这类方法的核心思路是冻结预训练模型的主干网络只学习一组可学习的提示向量。每次输入新任务样本时通过一个查询函数从提示池中选择合适的提示拼接在输入序列中让模型在少量可学习参数下适配新任务。这样做的好处是避免了对预训练主干的大规模修改大幅度降低了遗忘。提示参数数量很少训练效率和显存开销都很友好。提示池可以不断扩展天然支持任务序列的增长。当前基于提示的方法在视觉-语言预训练模型上的持续学习效果非常突出已经成为较新的研究热点。3.5 各方法的对比方法类别代表性方法核心思路优点缺点正则化EWC, SI, LwF对重要参数施加约束无需存储旧数据内存开销低任务多时约束叠加可塑性受限经验重放Rehearsal, GD复习旧样本/旧梯度效果稳定实现简单需要存储旧样本或额外训练生成器参数隔离Progressive Net, PackNet各任务使用独立参数几乎不遗忘存储和计算开销随任务增长提示学习L2P, DualPrompt冻结主干学习提示参数效率高遗忘低依赖预训练模型质量分布/泛化Geometric KD通过几何属性保持泛化方法新颖研究潜力大尚未大规模验证4. 持续学习的典型应用场景理解持续学习的方法之后再看看现实世界中哪些场景已经受惠于这些技术。持续学习并非只是学术圈的概念它已经被用于多个工业领域并且正在创造实际价值。4.1 计算机视觉在图像分类、目标检测和分割任务中持续学习被用于以下场景新增类别零售商品识别系统需要上线新的商品品类目标检测模型需要识别新出现的障碍物。数据分布漂移自动驾驶场景中光照、天气、地理位置变化都会导致目标分布变化。个性化手机相册的分类系统需要根据用户的照片习惯增量更新同时保留对通用类别的识别能力。在视觉持续学习中Class-Incremental Learning 的设定比较常见。模型需要在新类别到来时不断更新分类器同时不能忘记已经学过的旧类别。4.2 自然语言处理NLP 领域的持续学习也很活跃尤其是大语言模型出现后如何让模型在指令数据流上持续更新、避免“对齐税”和灾难性遗忘成为热点。典型应用包括对话系统不断学习新领域的语料同时保持已有领域的对话能力。情感分类电商平台不断有新的商品类目和新的表达方式模型需要适应新语域。机器翻译新增语言对或新增领域数据后希望模型在保持旧语言翻译质量的同时学会新语言。在 LLM 场景中参数高效的微调方法如 LoRA、Adapter常被当作持续学习的工具。通过冻结主干、更新旁路参数可以让模型在不断学习新任务时尽量减少对旧任务的干扰。4.3 推荐系统推荐系统是持续学习最有价值的落地场景之一。用户的兴趣随时间变化平台的内容生态也在不断变化传统全量重训的成本会越来越高。推荐系统中的持续学习需要处理两个难点长期喜好漂移用户兴趣从“数码产品”变成“户外运动”模型要捕捉这种变化。短期行为波动热门事件、促销活动导致短期行为偏移模型需要快速响应但不应“遗忘”用户长期兴趣。这类系统常使用在线增量学习框架配合用户行为序列的特征工程对模型的冷启动和稳定更新都有较高要求。4.4 强化学习与机器人在强化学习中智能体通常需要在一个环境中学习多个任务。例如机器人需要先学会抓取再学会放置再学会避障。如果从头训练每个任务成本极高如果在一个任务上训练好后直接用于下一个任务往往会灾难性遗忘。持续学习在强化学习中的应用包括多任务策略迁移。非平稳环境下的自适应决策。机器人通过人类演示增量学习新技能。4.5 其他领域持续学习还被应用于医疗影像不同医院、不同设备的数据分布差异很大模型需要在新数据上更新同时保持已有识别能力。金融风控欺诈模式随机演化模型需要不断适应新的欺诈手段。工业质检产线新增产品型号检测模型需要在不降低旧型号检测效果的基础上学习新型号。5. 实战案例基于 PyTorch 的持续学习实验为了把上面的内容串起来下面我们搭建一个简单的持续学习实验。实验使用 Split CIFAR-10 作为基准分别实现一个普通微调基线、一个经验重放方法和一个简单的 EWC 正则化方法对比它们在任务序列上的表现。环境说明本文将使用 Python 3.8、PyTorch 2.x并要求安装 torchvision。如果你使用的是其他版本API 可能有细微差异但核心逻辑是通用的。建议使用虚拟环境进行实验。5.1 项目结构创建以下目录结构continual_learning_demo/ ├── main.py # 主实验脚本 ├── models.py # 模型定义 ├── trainer.py # 训练和评估逻辑 ├── utils.py # 工具函数数据划分、日志 └── results/ └── figures/ # 存放结果图5.2 数据划分我们先把 CIFAR-10 的 10 个类别划分为 5 个任务每两个类别构成一个二分类任务。这个设定属于 Task-Incremental Learning因为我们在测试时会给模型提供任务 ID这里通过只取当前任务对应的类别输出来模拟。# utils.py import torch import torchvision import torchvision.transforms as transforms def get_split_cifar10(task_id, num_tasks5, batch_size64): 获取第 task_id 个任务的训练和测试数据。 每个任务包含 10 / num_tasks 个类别。 classes_per_task 10 // num_tasks start_class task_id * classes_per_task end_class (task_id 1) * classes_per_task transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2470, 0.2435, 0.2616)) ]) full_train torchvision.datasets.CIFAR10(root./data, trainTrue, downloadTrue, transformtransform) full_test torchvision.datasets.CIFAR10(root./data, trainFalse, downloadTrue, transformtransform) # 筛选当前任务的类别索引 train_indices [i for i, (_, y) in enumerate(full_train) if y in range(start_class, end_class)] test_indices [i for i, (_, y) in enumerate(full_test) if y in range(start_class, end_class)] train_subset torch.utils.data.Subset(full_train, train_indices) test_subset torch.utils.data.Subset(full_test, test_indices) train_loader torch.utils.data.DataLoader(train_subset, batch_sizebatch_size, shuffleTrue) test_loader torch.utils.data.DataLoader(test_subset, batch_sizebatch_size, shuffleFalse) return train_loader, test_loader在这个划分下每个任务是一个 2 分类问题。后续在评估所有任务时我们会分别遍历 5 个任务的测试集计算模型在每个任务上的准确率。5.3 定义基础模型这里使用一个简单的 CNN。为了避免过度参数化我们用两层卷积加上两层全连接输出维度是 2也就是当前任务的类别数。# models.py import torch import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes2): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 32, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.AdaptiveAvgPool2d((4, 4)) ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(64 * 4 * 4, 128), nn.ReLU(), nn.Linear(128, num_classes) ) def forward(self, x): return self.classifier(self.features(x))在 Task-Incremental 设定下不同任务对应不同的类别因此我们可以为每个任务保留一个独立的分类头。本文为了简化采用一个特殊技巧输入一个任务嵌入把所有任务的分类头合并到同一个网络里。不过对实验对比来说更简单的做法是每个任务共享特征提取层但训练时只计算当前任务类别的输出。下面先按共享输出头的方式来写比较直观。5.4 普通微调基线普通微调就是按顺序训练每个任务每训练完一个任务后评估所有任务。预期结果是随着任务数增加旧任务的准确率逐渐下降。# trainer.py import torch import torch.nn as nn def train_epoch(model, loader, optimizer, criterion, device): model.train() total_loss 0.0 correct 0 total 0 for x, y in loader: # 将全局类别标签映射为任务内类别 0/1 y y % 2 x, y x.to(device), y.to(device) optimizer.zero_grad() output model(x) loss criterion(output, y) loss.backward() optimizer.step() total_loss loss.item() * x.size(0) correct (output.argmax(1) y).sum().item() total x.size(0) return total_loss / total, correct / total def evaluate(model, loaders, device): model.eval() accs [] with torch.no_grad(): for loader in loaders: correct 0 total 0 for x, y in loader: y y % 2 x, y x.to(device), y.to(device) output model(x) correct (output.argmax(1) y).sum().item() total y.size(0) accs.append(correct / total) return accs主实验脚本中我们依次加载 5 个任务的训练集每训练完一个任务后把当前所有任务的测试集传入evaluate函数记录一组准确率。# main.py import torch import torch.nn as nn from utils import get_split_cifar10 from models import SimpleCNN from trainer import train_epoch, evaluate device torch.device(cuda if torch.cuda.is_available() else cpu) num_tasks 5 epochs_per_task 5 batch_size 64 learning_rate 1e-3 # 预加载所有任务的 train_loader 和 test_loader train_loaders [] test_loaders [] for task_id in range(num_tasks): train_loader, test_loader get_split_cifar10(task_id, num_tasks, batch_size) train_loaders.append(train_loader) test_loaders.append(test_loader) model SimpleCNN(num_classes2).to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lrlearning_rate) history [] for task_id in range(num_tasks): print(fTraining on task {task_id 1}) for epoch in range(epochs_per_task): loss, acc train_epoch(model, train_loaders[task_id], optimizer, criterion, device) print(f Epoch {epoch 1}: loss{loss:.4f}, acc{acc:.4f}) # 训练完当前任务后评估所有已知任务 accs evaluate(model, test_loaders[:task_id 1], device) history.append(accs) print(f After task {task_id 1}: accs{[round(a, 4) for a in accs]})运行后你会看到类似下面的输出After task 1: accs[0.9824] After task 2: accs[0.9486, 0.9771] After task 3: accs[0.7213, 0.8039, 0.9097] After task 4: accs[0.5087, 0.6021, 0.7333, 0.8518] After task 5: accs[0.3982, 0.4705, 0.6112, 0.7243, 0.8331]可以看到随着任务数增多越早的任务准确率下降得越明显这就是灾难性遗忘的直观表现。5.5 加入经验重放经验重放的实现很简单在训练新任务时从旧任务的训练集中随机抽样一部分样本混入当前任务的 DataLoader。我们把前面的训练流程改造成支持重放版本的函数。这里为了演示清晰直接在每个 epoch 中先把旧任务样本拼接进当前 batch。class ReplayBuffer: def __init__(self, capacity_per_task500): self.capacity_per_task capacity_per_task self.buffers [] # 每个元素是 (x_tensor, y_tensor) def add_task_data(self, loader, device): xs, ys [], [] for x, y in loader: xs.append(x) ys.append(y) x_all torch.cat(xs, dim0) y_all torch.cat(ys, dim0) # 随机抽样 if x_all.size(0) self.capacity_per_task: idx torch.randperm(x_all.size(0))[:self.capacity_per_task] x_all x_all[idx] y_all y_all[idx] self.buffers.append((x_all.to(device), y_all.to(device))) def sample(self, batch_size, device): if not self.buffers: return None xs, ys [], [] for x_buf, y_buf in self.buffers: # 从每个旧任务里均匀采样 idx torch.randperm(x_buf.size(0))[: batch_size // len(self.buffers)] xs.append(x_buf[idx]) ys.append(y_buf[idx]) return torch.cat(xs, dim0), torch.cat(ys, dim0)然后在训练函数中每个 epoch 训练完一个 batch 后再使用重放数据做一个额外的梯度更新def train_epoch_with_replay(model, loader, replay_buffer, optimizer, criterion, device, replay_batch_size32): model.train() total_loss 0.0 correct 0 total 0 for x, y in loader: y y % 2 x, y x.to(device), y.to(device) optimizer.zero_grad() output model(x) loss criterion(output, y) loss.backward() optimizer.step() # 重放旧任务数据 replay_data replay_buffer.sample(replay_batch_size, device) if replay_buffer else None if replay_data is not None: x_old, y_old replay_data y_old y_old % 2 optimizer.zero_grad() output_old model(x_old) loss_old criterion(output_old, y_old) loss_old.backward() optimizer.step() total_loss loss.item() * x.size(0) correct (output.argmax(1) y).sum().item() total y.size(0) return total_loss / total, correct / total在每训练完一个任务后调用replay_buffer.add_task_data(train_loaders[task_id], device)把当前任务的一部分数据存入重放缓冲区。经验重放的效果通常优于普通微调。老任务准确率虽然也会下降但下降幅度会小很多。5.6 加入 EWC 正则化EWC 的实现稍微复杂一点。我们需要在旧任务训练结束后记录当前模型参数快照和 Fisher 信息矩阵。Fisher 信息矩阵的计算方式为对于每个样本计算对数似然对参数的梯度平方的平均值。在 PyTorch 中可以基于一个 batch 的 loss 梯度来近似def compute_fisher(model, loader, device): model.eval() fisher {} for name, param in model.named_parameters(): fisher[name] torch.zeros_like(param.data) criterion nn.CrossEntropyLoss() for x, y in loader: y y % 2 x, y x.to(device), y.to(device) model.zero_grad() output model(x) loss criterion(output, y) loss.backward() for name, param in model.named_parameters(): if param.grad is not None: fisher[name] param.grad.data ** 2 # 求平均 for name in fisher: fisher[name] / len(loader.dataset) return fisher注意为了减少计算开销实际使用中可以对 Fisher 信息做对角近似并且只对网络的主要层计算。上面的实现简单直观但如果你在完整数据集上计算 Fisher每一层每个参数都要保存一个值内存开销会比较大。实验时可以使用一个很小的子集来估计 Fisher。保存旧任务参数和 Fisher 信息后在训练当前任务时在原始 loss 上叠加正则项def ewc_loss(model, criterion, x, y, lambda_ewc, fisher_list, old_params_list, device): output model(x) loss criterion(output, y) # 添加 EWC 正则项 ewc_reg 0.0 for name, param in model.named_parameters(): for fisher, old_param in zip(fisher_list, old_params_list): if name in fisher: ewc_reg (fisher[name] * (param - old_param[name]) ** 2).sum() return loss (lambda_ewc / 2.0) * ewc_reg在训练过程中每次反向传播前使用这个函数计算总 loss。每个任务训练完成后把当前模型的参数快照和 Fisher 信息存储下来。后续所有任务共享同一个正则项列表。相比普通微调EWC 在旧任务上的准确率下降会得到一定控制但需要调好lambda_ewc这个超参数。lambda_ewc太大会导致模型难以学习新任务太小又起不到正则作用。常见取值范围在 1 到 10000 之间需要根据实验调整。5.7 实验结果对比运行三种方法后把每个任务训练完成后的平均准确率画在同一张折线图上可以直观看出差异。本文不生成图片但你可以用 matplotlib 实现。预期结果顺序大致如下普通微调的遗忘最严重最终平均准确率最低。经验重放在旧任务记忆上表现较好是三种方法中最稳定的。EWC 的遗忘情况介于两者之间具体与正则权重选择密切相关。这里的实验只是一个最小复现示例用来帮助理解持续学习的基本流程。真实论文里的实验会在多个数据集、多个随机种子和多个方法变体上进行比较。6. 持续学习实战中的常见问题与排查思路6.1 模型在旧任务上快速遗忘现象训练几个新任务后旧任务准确率从 90% 掉到 40%。可能原因没有使用任何抗遗忘机制。学习率太大参数更新幅度过大覆盖了旧任务参数。新旧任务的数据分布差异太大。模型容量不足无法同时容纳多个任务的决策边界。解决思路使用经验重放或 EWC 等抗遗忘方法。降低学习率。尝试基于预训练模型 提示的方法。检查数据预处理是否统一。6.2 添加 EWC 后新任务学习变慢现象EWC 起作用了遗忘降低但新任务准确率上不去。可能原因lambda_ewc设置过大导致参数被过度约束可塑性不足。Fisher 信息估计不准确。旧任务数量太多正则项累积效应过强。解决思路调低lambda_ewc。只对部分层施加正则约束例如只约束特征提取层的参数。使用动态正则权重任务越多时适度放宽正则强度。6.3 经验重放导致存储和训练开销过大现象重放缓冲区越来越大训练时间成倍增加。可能原因每个任务都存储大量样本。每个 epoch 都做多次额外的重放梯度更新。使用了完整数据集而非子集。解决思路限制每个任务的存储容量例如每个类别只保存 50 或 100 张代表性图片。使用更高效的样本选择策略如基于梯度匹配或多样性的样本挑选。在训练时控制重放频率而不是每个 batch 都做重放。6.4 训练框架与评估指标不一致现象训练指标很好但最终的持续学习指标差别很大。可能原因评估时使用的是任务内标签映射但测试数据包含所有类别。测试时没有使用正确的任务信息。对不同任务使用了不同的数据预处理。解决思路在任务增量、类增量、域增量三种设定下明确评估协议。使用同一个评估函数统一处理所有任务。记录每个任务的类别范围并在评估时正确映射。6.5 设备显存不足现象任务数增加后训练报 CUDA out of memory。可能原因重放缓冲区中存储了太多原始图像。Fisher 信息保存了太多参数副本。存在多个模型副本例如某些方法需要保持多个模型。解决思路减少存储容量使用特征级重放而不是像素级重放。使用梯度累积更新参数避免同时存储过多梯度。可以把部分数据放在 CPU 内存中按需加载到 GPU。6.6 问题排查清单问题现象常见原因解决思路旧任务准确率骤降无抗遗忘机制/学习率过大使用重放或 EWC降低学习率新任务学不进去正则权重过大调小正则权重存储增长过快重放缓冲区容量设置不合理限制存储使用代表性样本评估结果不稳定评估协议不一致统一评估函数和预处理流程训练/OOM模型副本过多精简模型增加 offload 策略7. 持续学习的进阶方向与前沿讨论持续学习并不是一个已经定型的领域。学术界近两年的大量工作都在试图回答一个更基本的问题深度学习模型如何像生物神经系统一样在学习新知识的同时保持对旧知识的稳定访问下面梳理几个值得关注的方向。7.1 基于预训练模型的持续学习随着大规模预训练模型的普及持续学习的重心从“从零开始训练网络”转向“基于预训练模型高效适配新任务”。最典型的做法是冻结大部分参数只训练 LoRA、Adapter、Prompt 等少量参数。这样有两个好处降低遗忘风险因为大部分主干参数保持不变。计算和存储开销更低不需要对每个任务保存完整模型副本。这个方向的挑战在于预训练模型可能在很多任务上已经具备不错的基础能力持续学习的核心变成了“如何在不破坏通用特征的前提下注入任务特定知识”。7.2 大语言模型中的持续学习大语言模型LLM的持续学习被讨论得越来越多。LLM 面临的一个实际问题是模型权重冻结后难以持续更新而全量微调又存在灾难性遗忘和“对齐税”。当前常见做法是使用 LoRA 微调并且为不同任务保存不同的 LoRA 模块。训练一个路由网络根据输入选择最合适的 LoRA 模块。通过思维链蒸馏或知识编辑的方式让模型动态更新事实知识。不过这些方法在工业界的验证还不充分怎样在大模型上做安全、稳定的持续学习仍然是一个开放问题。7.3 持续学习与数据隐私持续学习的一个优势是可能降低数据存储需求但许多方法尤其是经验重放依然需要保存旧数据这会触及数据隐私和合规问题。研究人员开始探索生成式重放用生成模型模拟旧数据分布而不是保存真实用户数据。联邦持续学习在多个客户端上分布式更新模型并且不共享原始数据。差分隐私与持续学习的结合在更新过程中保护数据隐私。如果你在真实业务中做持续学习一定要先弄清楚你的数据是否允许缓存、是否有过期时间、是否涉及用户隐私这直接影响方法选型。7.4 持续学习评价体系的重构传统持续学习研究以平均准确率和遗忘量为核心指标但在真实场景中这些指标远远不够。越来越多的论文开始关注模型更新前后的服务稳定性。单次更新的时间与显存开销。不同任务序列顺序对最终效果的影响。模型在新任务上快速适应所需的样本数量。这些评价维度更贴近工程落地也是未来持续学习研究的重点方向之一。8. 最佳实践与工程建议8.1 从简单方案开始如果你的业务刚开始做增量训练不要一上来就实现复杂的持续学习算法。先用最简单的基线验证你的数据流和评估流程然后再根据痛点选择方法。很多时候一个简单的经验重放方案就能解决大部分问题。推荐的落地顺序是全量重训基线明确当前成本和效果。直接增量微调观察遗忘程度。加入经验重放存储少量旧样本观察效果提升。引入正则化或参数隔离根据业务约束决定是否需要。8.2 数据管理比算法更重要无论使用哪种持续学习方法数据管理都是绕不开的一环。你需要明确以下几个问题每个任务的类别边界是什么。新旧任务数据是否可以共存。旧任务样本是否可以存储、是否有保留期限。数据分布漂移的监控指标是什么。建议在系统中为每个任务记录版本信息、数据来源、类别范围和时间戳。这些元数据在做回滚、评估和审计时非常有用。8.3 对评估体系做“双轨制”在持续学习系统中除了常规的模型指标还要关注服务指标。例如模型更新后推荐系统的点击率、转化率是否波动。分类系统的误报率是否上升。模型的平均推理延迟是否增加。建议在发布前做小流量灰度实验观察新任务引入后对旧任务线上表现的影响。8.4 预留回滚能力持续学习模型上线后如果新任务的数据质量有问题可能导致模型整体性能下降。因此线上系统必须保留上一个版本模型的回滚能力。模型版本管理、配置管理和评估日志缺一不可。8.5 监控遗忘和分布漂移在实际部署中可以定期拿出一个“锚定测试集”这个测试集包含从旧任务数据中抽取的代表性样本用于持续监控模型对旧知识的记忆情况。一旦发现锚定测试集准确率明显下降就需要触发告警或回滚。8.6 计算资源规划持续学习不等于持续训练。在工程上你仍然需要控制模型的更新频率、每次更新的数据量和训练耗时。对于资源有限的团队可以优先考虑选参数高效的更新方式如 LoRA、Adapter。利用增量学习框架定期批量更新。使用异步训练避免阻塞线上推理服务。9. 总结与学习路线持续学习正处在一个很有意思的转型阶段传统方法在学术基准上已经相对成熟但真实业务场景对存储、隐私、推理开销、模型更新稳定性提出了更高要求。与此同时预训练模型的发展也为持续学习提供了新的基础架构和新的挑战。读完这篇文章后你应该掌握的知识点包括持续学习的基本问题定义、常见设定和评估指标。灾难性遗忘的本质以及稳定性与可塑性之间的权衡。三大经典方法类别的核心思想和优缺点。如何用 PyTorch 搭建一个简单的持续学习实验对比不同策略。实际落地时的常见坑点和工程建议。如果你打算继续深入可以参考下面几条学习路径从论文入手阅读 EWC、Progress Compress、iCaRL、GDumb、L2P 等代表性论文理解方法演进脉络。从框架入手尝试一些开源持续学习库例如 Avalanche、Mammoth 等这些库已经实现了大量基准方法非常适合做对比实验。从项目入手选择一个你熟悉的业务场景定义任务序列和评估指标先跑通基线再逐步替换方法。持续学习和很多深度学习子领域一样最好的学习方式是在真实任务上做实验。你可以从今天的 CIFAR-10 实验代码开始尝试调整任务数量、重放缓冲区大小、EWC 正则权重等参数观察指标如何变化。动手跑一遍很多抽象的概念会变得具体得多。