点击下方卡片关注“CVer”公众号AI/CV重磅干货第一时间送达点击进入—【顶会/顶刊】投稿交流群添加微信号CVer2233小助手拉你进群扫描下方二维码加入CVer学术星球可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料及应用发论文/搞科研/涨薪强烈推荐来源天大视觉智能实验室Elastic Multi-Gradient Descent for Parallel Continual Learning 作者:Fan Lyu, Wei Feng*, Yuepan Li, Qing Sun, Fanhua Shang, Liang Wan, Liang Wang 单位:天津大学ViL实验室、巴塞罗那自治大学计算机视觉中心、腾讯、中科院自动化研究所 期刊:IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 论文:https://ieeexplore.ieee.org/abstract/document/11505041 IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)是计算机视觉、人工智能、模式识别领域公认的顶级学术期刊影响因子18.6CCF-A类期刊在计算机科学和工程技术两个大类学科里均列首位。✨ 本工作聚焦一种更贴近真实动态环境的持续学习范式并行持续学习 Parallel Continual Learning, PCL。针对多个任务在不同时间到达并与已有任务同时训练时产生的任务冲突和灾难性遗忘问题本文提出了Elastic Multi-Gradient Descent, EMGD通过动态多目标优化和梯度引导的记忆编辑实现新任务学习与旧知识保持的平衡。简介在真实世界中智能系统往往需要面对持续变化的多任务环境。例如推荐系统、机器人感知、视频理解和多源数据分析等场景中新任务或新数据流可能随时出现而已有任务仍在训练或维护中。传统多任务学习通常假设所有任务一开始就已经给定难以适应新任务的动态加入。传统持续学习则通常按照严格的任务顺序进行训练新任务必须等待当前任务完成后才能学习导致系统响应不够及时。为了解决这一问题本文研究了Parallel Continual Learning, PCL。在 PCL 中任务可以在不同时间被访问也可以与其他任务并行训练从而更符合动态多源环境中的学习需求。然而这一设定也带来了更复杂的挑战一方面并行训练多个任务会导致梯度方向相互冲突形成任务冲突另一方面已结束任务的数据不可再完整访问又会导致灾难性遗忘。为此本文提出了一种新的优化方法Elastic Multi-Gradient Descent, EMGD。EMGD 将 PCL 表述为动态多目标优化问题通过任务特定的弹性因子控制不同任务的梯度约束并进一步提出梯度引导的记忆编辑机制使 rehearsal memory 更符合当前的 Pareto 下降方向从而同时缓解任务冲突和灾难性遗忘。图 1MTL、SCL 与 PCL 的学习范式对比研究动机现有方法的局限性现有的多任务学习和持续学习方法在动态任务环境中仍存在明显局限 多任务学习难以处理新任务动态到达:多任务学习通常假设任务集合固定并且所有任务数据可以同时访问。这一假设在真实场景中较强因为很多任务会随着时间逐步出现系统无法在一开始就获得完整任务集合。 传统持续学习响应新任务不够及时:传统持续学习通常采用串行任务流程即一个任务完成后才进入下一个任务。当多个任务同时存在或新任务需要立即响应时串行学习会产生明显延迟。 PCL 同时面对任务冲突和灾难性遗忘:PCL 同时继承了 MTL 和 CL 的核心挑战。并行训练多个任务会引入梯度干扰旧任务数据不可完整访问又会带来灾难性遗忘。本文的核心问题因此本文旨在探索一个问题在任务动态到达且可并行训练的持续学习环境中如何让模型快速适应新任务同时尽量不破坏已有任务的知识这一问题的关键不只是“如何防止遗忘”也不只是“如何平衡多任务”而是要在一个动态变化的任务集合中同时实现新任务学习、旧任务保持和任务间冲突控制。方法框架本文提出的 EMGD 包含两个核心部分弹性多梯度下降优化和梯度引导的记忆编辑。弹性多梯度下降EMGD 将 PCL 建模为动态多目标优化问题。在每个训练时刻当前活跃任务和记忆任务都对应一个优化目标。直接平均不同任务的梯度容易忽略任务之间的冲突而传统 MGDA 虽然可以寻找 Pareto 下降方向但在 PCL 中可能因为任务梯度不平衡而过于保守甚至导致模型更新停滞。为了解决这一问题EMGD 为每个任务引入一个elastic factor。该因子用于调节每个任务对共享模型更新方向的约束强度使优化方向既能兼顾 Pareto 性质又能适应不同任务的训练状态。论文中设计了两种依赖梯度幅度和梯度关系的弹性因子计算方式。通过这种设计EMGD 可以根据当前任务状态动态调节梯度更新方向避免简单平均梯度带来的偏置也避免过度保守的优化。梯度引导的记忆编辑在 rehearsal-based continual learning 中记忆样本的质量会直接影响旧知识保持效果。传统记忆重放通常假设保存下来的样本始终能够代表旧任务但随着模型不断更新这一假设可能逐渐失效。本文进一步提出gradient-guided memory editing。该机制不只是简单重放旧样本而是利用 EMGD 得到的 Pareto 下降方向来编辑记忆样本使记忆样本产生的梯度更接近当前期望的全局下降方向。这样记忆样本不仅用于“回忆旧任务”还可以主动减少旧任务与新任务之间的优化冲突。图 2EMGD 方法框架核心创新点动态多目标优化视角本文将 PCL 中的训练过程表述为动态多目标优化问题。与传统持续学习方法主要关注旧知识保持不同EMGD 同时关注多个活跃任务之间的优化关系并显式寻找非平凡的 Pareto 下降方向使模型更新尽量不破坏任一活跃任务。任务特定的弹性因子EMGD 的关键在于引入任务特定的 elastic factors。不同任务在不同训练阶段可能具有不同的梯度幅值、收敛状态和冲突关系。弹性因子可以根据 GMC 或 GS 自适应调整每个任务的约束强度使优化过程更加灵活。梯度引导的记忆编辑本文不是简单地保存和重放旧任务样本而是根据当前优化方向对记忆样本进行编辑。该机制让 rehearsal memory 更好地服务于当前多任务优化过程从而减少 memory-induced interference。理论分析论文给出了 EMGD 更新规则的理论分析证明在所提出的优化形式下EMGD 的累积点具有 Pareto critical 性质。这为方法提供了比启发式任务平衡更清晰的优化解释。实验结果定量结果本文在三个 PCL benchmark 上进行了系统实验 PS-EMNIST:将 EMNIST 划分为 5 个任务用于验证方法在较小规模分类任务上的持续学习能力。 PS-CIFAR-100:将 CIFAR-100 划分为 20 个任务每个任务包含 5 个类别用于评估方法在中等规模视觉分类任务上的效果。 PS-ImageNet-TINY:从 ImageNet 子集构建 20 个任务每个任务包含 10 个类别用于进一步验证方法在更复杂视觉数据上的泛化能力。实验同时考虑task-incremental PCL和class-incremental PCL两种设置结果表明EMGD 在多个数据集和设置下均取得最优或具有竞争力的性能说明其能够有效缓解任务冲突和灾难性遗忘。表 1EMGD 在 task-incremental PCL上表和 class-incremental PCL下表设置下的定量结果主要贡献提出并行持续学习中的新优化框架:本文将 PCL 表述为动态多目标优化问题提出 EMGD 来同时处理任务冲突和灾难性遗忘。设计任务特定的弹性多梯度下降机制:EMGD 通过 GMC 和 GS 两种方式估计任务弹性因子使模型能够根据任务训练状态和梯度关系动态调整更新方向。提出梯度引导的记忆编辑方法:本文利用 Pareto 下降方向指导 rehearsal memory 编辑使记忆样本更好地配合当前多任务优化需求从而降低旧任务和新任务之间的干扰。系统验证方法有效性与泛化性:在 PS-EMNIST、PS-CIFAR-100 和 PS-ImageNet-TINY 上EMGD 相比 MTL、SCL 和 PCL 中的多类代表性方法取得稳定提升并在效率分析中展现出良好的性能与开销折中。应用前景本文提出的 EMGD 面向动态多任务学习环境具有广泛的潜在应用价值 机器人持续学习机器人在真实环境中会不断遇到新物体、新任务和新场景。PCL 可以支持机器人在执行已有任务的同时快速学习新任务。 视频理解与多源感知在智能监控、自动驾驶和多摄像头感知中不同数据流可能动态出现。EMGD 可以为多源任务的并行适应提供优化基础。 个性化智能系统推荐系统、交互式 AI 和个性化助手需要同时维护不同用户或不同偏好的任务。PCL 有助于在新需求加入时保持已有用户知识。 工业检测与动态部署工业场景中产品类型、缺陷类型和采集环境可能持续变化。EMGD 可用于支持模型在多任务动态变化下持续更新。总结本文研究了并行持续学习这一更贴近真实动态环境的学习范式。相比传统多任务学习和串行持续学习PCL 允许新任务在任意时间加入并与已有任务共同训练因此同时面临任务冲突和灾难性遗忘两个核心挑战。为解决这一问题本文提出了 Elastic Multi-Gradient Descent。EMGD 通过任务特定的弹性因子自适应调节不同任务的梯度约束并利用 Pareto 下降方向指导模型更新。同时本文进一步提出梯度引导的记忆编辑机制使 rehearsal memory 更好地服务于当前多任务优化过程。大量实验表明EMGD 在多种 PCL 设置下均优于现有 MTL、SCL 和 PCL 方法验证了其在动态多任务持续学习中的有效性和泛化性。— END —本文系学术转载如有侵权请联系CVer小助手删文何恺明在MIT授课的课件PPT下在CVer公众号后台回复何恺明即可下载566页课件PPT大家赶紧学起来CVPR 2026 所有论文和代码下载在CVer公众号后台回复CVPR2026即可下载CVPR 2026 所有论文和代码CV垂直方向和论文投稿交流群成立扫描下方二维码或者添加微信号CVer2233即可添加CVer小助手微信便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖目标检测、图像分割、目标跟踪、人脸检测识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注研究方向地点学校/公司昵称如Mamba、多模态学习或者论文投稿上海上交卡卡根据格式备注可更快被通过且邀请进群▲扫码或加微信号: CVer2233进交流群 CVer计算机视觉知识星球人数破万如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料一定要扫描下方二维码加入CVer知识星球最强助力你的科研和工作 ▲扫码加入星球学习▲点击上方卡片关注CVer公众号 整理不易请点赞和在看
顶刊TPAMI 2026！天大提出EMGD：面向动态多任务环境的并行持续学习新框架
发布时间：2026/5/17 9:40:06
点击下方卡片关注“CVer”公众号AI/CV重磅干货第一时间送达点击进入—【顶会/顶刊】投稿交流群添加微信号CVer2233小助手拉你进群扫描下方二维码加入CVer学术星球可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料及应用发论文/搞科研/涨薪强烈推荐来源天大视觉智能实验室Elastic Multi-Gradient Descent for Parallel Continual Learning 作者:Fan Lyu, Wei Feng*, Yuepan Li, Qing Sun, Fanhua Shang, Liang Wan, Liang Wang 单位:天津大学ViL实验室、巴塞罗那自治大学计算机视觉中心、腾讯、中科院自动化研究所 期刊:IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 论文:https://ieeexplore.ieee.org/abstract/document/11505041 IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)是计算机视觉、人工智能、模式识别领域公认的顶级学术期刊影响因子18.6CCF-A类期刊在计算机科学和工程技术两个大类学科里均列首位。✨ 本工作聚焦一种更贴近真实动态环境的持续学习范式并行持续学习 Parallel Continual Learning, PCL。针对多个任务在不同时间到达并与已有任务同时训练时产生的任务冲突和灾难性遗忘问题本文提出了Elastic Multi-Gradient Descent, EMGD通过动态多目标优化和梯度引导的记忆编辑实现新任务学习与旧知识保持的平衡。简介在真实世界中智能系统往往需要面对持续变化的多任务环境。例如推荐系统、机器人感知、视频理解和多源数据分析等场景中新任务或新数据流可能随时出现而已有任务仍在训练或维护中。传统多任务学习通常假设所有任务一开始就已经给定难以适应新任务的动态加入。传统持续学习则通常按照严格的任务顺序进行训练新任务必须等待当前任务完成后才能学习导致系统响应不够及时。为了解决这一问题本文研究了Parallel Continual Learning, PCL。在 PCL 中任务可以在不同时间被访问也可以与其他任务并行训练从而更符合动态多源环境中的学习需求。然而这一设定也带来了更复杂的挑战一方面并行训练多个任务会导致梯度方向相互冲突形成任务冲突另一方面已结束任务的数据不可再完整访问又会导致灾难性遗忘。为此本文提出了一种新的优化方法Elastic Multi-Gradient Descent, EMGD。EMGD 将 PCL 表述为动态多目标优化问题通过任务特定的弹性因子控制不同任务的梯度约束并进一步提出梯度引导的记忆编辑机制使 rehearsal memory 更符合当前的 Pareto 下降方向从而同时缓解任务冲突和灾难性遗忘。图 1MTL、SCL 与 PCL 的学习范式对比研究动机现有方法的局限性现有的多任务学习和持续学习方法在动态任务环境中仍存在明显局限 多任务学习难以处理新任务动态到达:多任务学习通常假设任务集合固定并且所有任务数据可以同时访问。这一假设在真实场景中较强因为很多任务会随着时间逐步出现系统无法在一开始就获得完整任务集合。 传统持续学习响应新任务不够及时:传统持续学习通常采用串行任务流程即一个任务完成后才进入下一个任务。当多个任务同时存在或新任务需要立即响应时串行学习会产生明显延迟。 PCL 同时面对任务冲突和灾难性遗忘:PCL 同时继承了 MTL 和 CL 的核心挑战。并行训练多个任务会引入梯度干扰旧任务数据不可完整访问又会带来灾难性遗忘。本文的核心问题因此本文旨在探索一个问题在任务动态到达且可并行训练的持续学习环境中如何让模型快速适应新任务同时尽量不破坏已有任务的知识这一问题的关键不只是“如何防止遗忘”也不只是“如何平衡多任务”而是要在一个动态变化的任务集合中同时实现新任务学习、旧任务保持和任务间冲突控制。方法框架本文提出的 EMGD 包含两个核心部分弹性多梯度下降优化和梯度引导的记忆编辑。弹性多梯度下降EMGD 将 PCL 建模为动态多目标优化问题。在每个训练时刻当前活跃任务和记忆任务都对应一个优化目标。直接平均不同任务的梯度容易忽略任务之间的冲突而传统 MGDA 虽然可以寻找 Pareto 下降方向但在 PCL 中可能因为任务梯度不平衡而过于保守甚至导致模型更新停滞。为了解决这一问题EMGD 为每个任务引入一个elastic factor。该因子用于调节每个任务对共享模型更新方向的约束强度使优化方向既能兼顾 Pareto 性质又能适应不同任务的训练状态。论文中设计了两种依赖梯度幅度和梯度关系的弹性因子计算方式。通过这种设计EMGD 可以根据当前任务状态动态调节梯度更新方向避免简单平均梯度带来的偏置也避免过度保守的优化。梯度引导的记忆编辑在 rehearsal-based continual learning 中记忆样本的质量会直接影响旧知识保持效果。传统记忆重放通常假设保存下来的样本始终能够代表旧任务但随着模型不断更新这一假设可能逐渐失效。本文进一步提出gradient-guided memory editing。该机制不只是简单重放旧样本而是利用 EMGD 得到的 Pareto 下降方向来编辑记忆样本使记忆样本产生的梯度更接近当前期望的全局下降方向。这样记忆样本不仅用于“回忆旧任务”还可以主动减少旧任务与新任务之间的优化冲突。图 2EMGD 方法框架核心创新点动态多目标优化视角本文将 PCL 中的训练过程表述为动态多目标优化问题。与传统持续学习方法主要关注旧知识保持不同EMGD 同时关注多个活跃任务之间的优化关系并显式寻找非平凡的 Pareto 下降方向使模型更新尽量不破坏任一活跃任务。任务特定的弹性因子EMGD 的关键在于引入任务特定的 elastic factors。不同任务在不同训练阶段可能具有不同的梯度幅值、收敛状态和冲突关系。弹性因子可以根据 GMC 或 GS 自适应调整每个任务的约束强度使优化过程更加灵活。梯度引导的记忆编辑本文不是简单地保存和重放旧任务样本而是根据当前优化方向对记忆样本进行编辑。该机制让 rehearsal memory 更好地服务于当前多任务优化过程从而减少 memory-induced interference。理论分析论文给出了 EMGD 更新规则的理论分析证明在所提出的优化形式下EMGD 的累积点具有 Pareto critical 性质。这为方法提供了比启发式任务平衡更清晰的优化解释。实验结果定量结果本文在三个 PCL benchmark 上进行了系统实验 PS-EMNIST:将 EMNIST 划分为 5 个任务用于验证方法在较小规模分类任务上的持续学习能力。 PS-CIFAR-100:将 CIFAR-100 划分为 20 个任务每个任务包含 5 个类别用于评估方法在中等规模视觉分类任务上的效果。 PS-ImageNet-TINY:从 ImageNet 子集构建 20 个任务每个任务包含 10 个类别用于进一步验证方法在更复杂视觉数据上的泛化能力。实验同时考虑task-incremental PCL和class-incremental PCL两种设置结果表明EMGD 在多个数据集和设置下均取得最优或具有竞争力的性能说明其能够有效缓解任务冲突和灾难性遗忘。表 1EMGD 在 task-incremental PCL上表和 class-incremental PCL下表设置下的定量结果主要贡献提出并行持续学习中的新优化框架:本文将 PCL 表述为动态多目标优化问题提出 EMGD 来同时处理任务冲突和灾难性遗忘。设计任务特定的弹性多梯度下降机制:EMGD 通过 GMC 和 GS 两种方式估计任务弹性因子使模型能够根据任务训练状态和梯度关系动态调整更新方向。提出梯度引导的记忆编辑方法:本文利用 Pareto 下降方向指导 rehearsal memory 编辑使记忆样本更好地配合当前多任务优化需求从而降低旧任务和新任务之间的干扰。系统验证方法有效性与泛化性:在 PS-EMNIST、PS-CIFAR-100 和 PS-ImageNet-TINY 上EMGD 相比 MTL、SCL 和 PCL 中的多类代表性方法取得稳定提升并在效率分析中展现出良好的性能与开销折中。应用前景本文提出的 EMGD 面向动态多任务学习环境具有广泛的潜在应用价值 机器人持续学习机器人在真实环境中会不断遇到新物体、新任务和新场景。PCL 可以支持机器人在执行已有任务的同时快速学习新任务。 视频理解与多源感知在智能监控、自动驾驶和多摄像头感知中不同数据流可能动态出现。EMGD 可以为多源任务的并行适应提供优化基础。 个性化智能系统推荐系统、交互式 AI 和个性化助手需要同时维护不同用户或不同偏好的任务。PCL 有助于在新需求加入时保持已有用户知识。 工业检测与动态部署工业场景中产品类型、缺陷类型和采集环境可能持续变化。EMGD 可用于支持模型在多任务动态变化下持续更新。总结本文研究了并行持续学习这一更贴近真实动态环境的学习范式。相比传统多任务学习和串行持续学习PCL 允许新任务在任意时间加入并与已有任务共同训练因此同时面临任务冲突和灾难性遗忘两个核心挑战。为解决这一问题本文提出了 Elastic Multi-Gradient Descent。EMGD 通过任务特定的弹性因子自适应调节不同任务的梯度约束并利用 Pareto 下降方向指导模型更新。同时本文进一步提出梯度引导的记忆编辑机制使 rehearsal memory 更好地服务于当前多任务优化过程。大量实验表明EMGD 在多种 PCL 设置下均优于现有 MTL、SCL 和 PCL 方法验证了其在动态多任务持续学习中的有效性和泛化性。— END —本文系学术转载如有侵权请联系CVer小助手删文何恺明在MIT授课的课件PPT下在CVer公众号后台回复何恺明即可下载566页课件PPT大家赶紧学起来CVPR 2026 所有论文和代码下载在CVer公众号后台回复CVPR2026即可下载CVPR 2026 所有论文和代码CV垂直方向和论文投稿交流群成立扫描下方二维码或者添加微信号CVer2233即可添加CVer小助手微信便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖目标检测、图像分割、目标跟踪、人脸检测识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注研究方向地点学校/公司昵称如Mamba、多模态学习或者论文投稿上海上交卡卡根据格式备注可更快被通过且邀请进群▲扫码或加微信号: CVer2233进交流群 CVer计算机视觉知识星球人数破万如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料一定要扫描下方二维码加入CVer知识星球最强助力你的科研和工作 ▲扫码加入星球学习▲点击上方卡片关注CVer公众号 整理不易请点赞和在看
