点击下方卡片关注“CVer”公众号AI/CV重磅干货第一时间送达点击进入—【顶会/顶刊】投稿交流群添加微信号CVer2233小助手拉你进群扫描下方二维码加入CVer学术星球可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料及应用发论文/搞科研/涨薪强烈推荐图1. 论文首页截图论文名称Co-Seg: Mutual Prompt-Guided Collaborative Learning for Versatile Medical Segmentation期刊名称TMIIEEE Transactions on Medical Imaging医学图像处理顶级期刊代码https://github.com/xq141839/Co-Seg-Plus1. 导语在医学图像分析领域语义分割如组织区域分类和实例分割如单个细胞核分离是临床诊断的两大核心任务。例如组织病理图像分析需要准确分割组织区域并分离区域内的单个细胞核以评估组织亚型和肿瘤分级类似地锥形束计算机断层扫描CBCT需要精确勾绘解剖结构如颌骨和鼻穦同时进行单颗牙齿的实例级分割。然而现有研究通常将这两类分割任务独立处理忽视了它们之间的内在关联性导致分割性能欠佳且计算资源冗余。为克服上述局限本文提出了Co-Seg框架开创性地提出了“协作分割”范式允许语义分割和实例分割任务相互增强。具体而言我们设计了空间序列提示编码器SSP-Encoder来捕捉远程空间和序列关系作为先验空间约束并进一步提出多任务协作解码器MTC-Decoder利用跨任务引导来增强两个任务的上下文一致性联合计算语义和实例分割掩码。大量实验证明Co-Seg在多种医学图像分割任务上均超越了当前最优方法。2. 研究内容在组织病理和牙科影像分析中语义分割和实例分割是实现全面图像理解的两个关键任务。语义分割将每个像素分类到预定义的组织类别如肿瘤、基质、腺体等而实例分割则检测并勾绘单个对象如细胞核、牙齿等。现有方法主要分为以下两类范式1独立模型范式使用两个完全独立的编码器-解码器网络分别处理语义和实例分割任务导致计算复杂度高且特征提取冗余。2编码器共享范式共享特征提取骨干网络但保持分离的解码器在关键解码阶段缺乏跨任务交互。本文通过分析多个组织病理数据集的区域间相互依赖关系发现语义分割和实例分割之间存在高度关联性。例如准确识别细胞核实例可以为理解底层组织结构提供有价值的线索而组织分割可以辅助定位细胞核。这种协同关系激发了我们开发协作学习框架的研究动机。图2. 语义分割和实例分割任务之间的区域相互依赖关系。语义区域如腺体通常包含多种类型的实例级结构如淋巴细胞核和结缔组织细胞核充分证明了联合优化的必要性为克服上述矛盾本文提出了Co-Seg协作分割框架基于全新的协作分割范式通过捕捉两个任务之间的上下文依赖关系来提高分割掩码质量。框架的核心贡献包括• 提出了协作分割范式Co-Segmentation Paradigm允许语义和实例分割任务相互增强打破了多任务学习中梯度流相互隔离的局面。• 设计了空间序列提示编码器SSP-Encoder融合远程空间和序列信息提取高质量的语义和实例提示为跨任务分割提供有效的先验空间约束。• 设计了多任务协作解码器MTC-Decoder采用共享图像嵌入和联合提示机制实现协作分割解码通过双向交互增强掩码预测一致性。• 在多种组织病理和CBCT数据集上进行了广泛的实验验证Co-Seg在语义、实例和全景分割任务上均超越了当前最优方法。3. 方法详解图3. Co-Seg框架总览。框架包含SSP-Encoder和MTC-Decoder两大核心组件通过两次前向传播实现语义和实例分割的相互增强3.1 协作分割范式Co-Segmentation Paradigm现有的多功能医学图像分割方法将语义和实例分割的参数空间解耦破坏了它们的相互依赖性。为解决这一问题我们提出了协作分割范式利用闭环双向交互实现双任务协作优化。核心思想是将两个任务的联合预测建模为条件概率的对称分解当语义分割结果已知时它直接影响实例分割的预测反之亦然。这种互恶关系使得两个任务的梯度流能够相互传递实现真正的双向优化。3.2 空间序列提示编码器SSP-Encoder图4. SSP-Encoder结构图。融合空间提示和序列记忆建立目标分割区域和共享图像嵌入之间的远程关系为跨任务引导提供先验空间约束SSP-Encoder包含两个并行分支时序分支和空间分支。时序分支以共享图像嵌入为输入通过线性层降维、一维卷积和状态空间模型SSM提取序列特征并建模远程关系。值得注意的是与现有Mamba网络不同该分支省略了SiLU激活和门控操作因为图像嵌入已经被编码器充分处理。空间分支则采用二维卷积和自注意力机制转换任务特定的掩码特征。最终通过交叉注意力将空间提示与序列提示进行融合生成先验空间约束。3.3 多任务协作解码器MTC-Decoder图5. MTC-Decoder结构图。采用跨引导机制和概率分布对齐使语义和实例分割任务相互增强同时确保分割解码的空间一致性MTC-Decoder是实现双向交互的核心组件包含语义头和实例头两个分支。每个分支利用查询嵌入保存解码信息并通过跨注意力机制与另一任务的先验空间约束进行交互。当语义特征作为键和值、实例特征作为查询时跨注意力操作将全局上下文信息整合到实例级特征中帮助区分密集排列的细胞核。同时我们还采用KL散度计算空间一致性约束损失进一步增强两个任务之间的空间一致性。3.4 优化策略Co-Seg采用Hiera ViT作为共享图像编码器加载SAM 2预训练权重初始化并冻结主干网络仅通过插入轻量级Adapter实现参数高效微调。整体损失函数包含两部分第一次前向传播优化概率分布和先验空间约束第二次前向传播联合优化语义和实例分割。通过这种双次前向传播设计语义损失可以通过实例的先验空间约束反向传播到实例查询嵌入实现真正的双向优化。4. 实验结果我们在多种组织病理和CBCT数据集上进行了全面的实验验证包括PUMA、CRAG、GlaS和牙科CBCT数据集涵盖语义分割、实例分割和全景分割三大任务。实验结果表明Co-Seg在所有任务和数据集上均显著超越了所有基线方法。1语义分割结果在组织病理语义分割中Co-Seg在PUMA数据集上取得了肿瘤分割Dice 93.15%、基质分割Dice 60.88%的最优性能相比最优基线方法PathoSAM分别提升了1.37%和6.02%。在CBCT语义分割中Co-Seg在下颌骨分割中达到Dice 96.54%上颌骨分割中达到Dice 92.78%。表1. 组织病理语义分割结果比较对应论文Table II表2. CBCT语义分割结果比较对应论文Table III2实例分割结果在组织病理实例分割中Co-Seg在PUMA数据集肿瘤实例分割上达到F1 80.25%、AJI 70.59%相比PathoSAM分别提升了3.71%和4.97%。在CBCT实例分割中Co-Seg在下牙分割中达到F1 81.99%上牙分割中达到F1 72.41%。表3. 组织病理实例分割结果比较对应论文Table IV3全景分割结果Co-Seg在PUMA数据集上肿瘤全景质量达到64.52%基质分割达到41.67%分别超过PathoSAM 2.35%和3.22%。在CBCT全景分割中下牙和上牙分割分别达到PQ 70.84%和61.66%。表4. 组织病理全景分割结果比较对应论文Table V图6. 组织病理图像的语义和实例分割可视化结果。Co-Seg能够识别更多细胞核实例同时保持准确的组织/腺体边界并具有更少的假阳性图7. CBCT语义和实例分割可视化结果。Co-Seg能够精确勾绘颌骨区域并分割准确的牙齿实例5. 消融实验与深入分析为验证各组件的有效性我们进行了全面的消融实验。通过分别引入SSP-Encoder、MTC-Decoder和协作分割范式性能均呈现一致提升。其中协作分割范式贡献最大平均PQ提升了1.61%。完整的Co-Seg框架达到了平均PQ 54.25%的最优性能相比基线提升了3.10%。表5. Co-Seg消融实验结果对应论文Table VII计算效率分析Co-Seg仅需869.67G FLOPs相比独立模型CellViT减少5.6倍相比编码器共享PathoSAM减少3.2倍。推理延迟仅为186.53ms可学习参数仅为22.18M比CellViT减少40.2倍同时在性能上仍然超越PathoSAM 2.63%Dice和4.03%AJI。表6. 计算效率对比对应论文Table IX域迁移评估在跨扫描仪、跨染色和跨数据集三种域迁移场景下Co-Seg均保持了显著优势。例如在PUMA→DSB跨染色评估中Co-Seg达到F1 74.14%和AJI 66.23%超过PathoSAM分别4.87%和2.08%。表7. 域迁移评估结果对应论文Table X有限标注分析在仅10%到50%不等的训练数据比例下Co-Seg始终保持对其他方法的优势。仅用10%训练数据时Co-Seg在淋巴细胞检测中达到PQ 43.48%比PromptNucSeg提升了7.01%证明了协作学习范式在有限标注场景下的显著优势。图8. 超参数分析。左损失系数λ₁的影响右前向传播次数的影响可解释性分析通过训练动态分析和定性可视化我们验证了MTC-Decoder的跨任务引导机制始终使两个任务受益不存在负迁移现象。注意力图显示语义特征能够提供全局上下文信息帮助实例分割区分密集细胞核而实例特征提供精细边界信息帮助语义分割减少过分割错误。图9. 训练动态对比。带MTC-Decoder的配置在所有训练epoch上始终优于不带MTC-Decoder的配置图10. 跨任务引导机制可视化。展示了二值掩码提示和注意力图验证了语义和实例任务的相互增强效果6. 总结本文揭示了医学图像中语义分割和实例分割之间的相互依赖性并提出了一种新颖的协作分割范式来构建Co-Seg框架。该框架集成了SSP-Encoder和MTC-Decoder两大核心组件分别用于捕捉远程空间序列关系和实现跨任务协作解码。在多种组织病理和CBCT数据集上的广泛实验表明Co-Seg在语义、实例和全景分割任务上均超越了当前最优方法充分验证了协作学习方法在多功能医学图像分割中的有效性。未来工作将聚焦于将协作分割范式扩展到三维医学图像分析如CT和MRI分割以及多模态医学影像任务。本文系学术转载如有侵权请联系CVer小助手删文何恺明在MIT授课的课件PPT下载在CVer公众号后台回复何恺明即可下载566页课件PPT大家赶紧学起来CVPR 2026 所有论文和代码下载在CVer公众号后台回复CVPR2026即可下载CVPR 2026 所有论文和代码CV垂直方向和论文投稿交流群成立扫描下方二维码或者添加微信号CVer2233即可添加CVer小助手微信便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖目标检测、图像分割、目标跟踪、人脸检测识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注研究方向地点学校/公司昵称如Mamba、多模态学习或者论文投稿上海上交卡卡根据格式备注可更快被通过且邀请进群▲扫码或加微信号: CVer2233进交流群 CVer计算机视觉知识星球人数破万如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料一定要扫描下方二维码加入CVer知识星球最强助力你的科研和工作 ▲扫码加入星球学习▲点击上方卡片关注CVer公众号 整理不易请点赞和在看
顶刊TMI 2025！Co-Seg++：多功能医学图像分割的互引提示引导的协作学习框架
发布时间：2026/5/23 8:27:59
点击下方卡片关注“CVer”公众号AI/CV重磅干货第一时间送达点击进入—【顶会/顶刊】投稿交流群添加微信号CVer2233小助手拉你进群扫描下方二维码加入CVer学术星球可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料及应用发论文/搞科研/涨薪强烈推荐图1. 论文首页截图论文名称Co-Seg: Mutual Prompt-Guided Collaborative Learning for Versatile Medical Segmentation期刊名称TMIIEEE Transactions on Medical Imaging医学图像处理顶级期刊代码https://github.com/xq141839/Co-Seg-Plus1. 导语在医学图像分析领域语义分割如组织区域分类和实例分割如单个细胞核分离是临床诊断的两大核心任务。例如组织病理图像分析需要准确分割组织区域并分离区域内的单个细胞核以评估组织亚型和肿瘤分级类似地锥形束计算机断层扫描CBCT需要精确勾绘解剖结构如颌骨和鼻穦同时进行单颗牙齿的实例级分割。然而现有研究通常将这两类分割任务独立处理忽视了它们之间的内在关联性导致分割性能欠佳且计算资源冗余。为克服上述局限本文提出了Co-Seg框架开创性地提出了“协作分割”范式允许语义分割和实例分割任务相互增强。具体而言我们设计了空间序列提示编码器SSP-Encoder来捕捉远程空间和序列关系作为先验空间约束并进一步提出多任务协作解码器MTC-Decoder利用跨任务引导来增强两个任务的上下文一致性联合计算语义和实例分割掩码。大量实验证明Co-Seg在多种医学图像分割任务上均超越了当前最优方法。2. 研究内容在组织病理和牙科影像分析中语义分割和实例分割是实现全面图像理解的两个关键任务。语义分割将每个像素分类到预定义的组织类别如肿瘤、基质、腺体等而实例分割则检测并勾绘单个对象如细胞核、牙齿等。现有方法主要分为以下两类范式1独立模型范式使用两个完全独立的编码器-解码器网络分别处理语义和实例分割任务导致计算复杂度高且特征提取冗余。2编码器共享范式共享特征提取骨干网络但保持分离的解码器在关键解码阶段缺乏跨任务交互。本文通过分析多个组织病理数据集的区域间相互依赖关系发现语义分割和实例分割之间存在高度关联性。例如准确识别细胞核实例可以为理解底层组织结构提供有价值的线索而组织分割可以辅助定位细胞核。这种协同关系激发了我们开发协作学习框架的研究动机。图2. 语义分割和实例分割任务之间的区域相互依赖关系。语义区域如腺体通常包含多种类型的实例级结构如淋巴细胞核和结缔组织细胞核充分证明了联合优化的必要性为克服上述矛盾本文提出了Co-Seg协作分割框架基于全新的协作分割范式通过捕捉两个任务之间的上下文依赖关系来提高分割掩码质量。框架的核心贡献包括• 提出了协作分割范式Co-Segmentation Paradigm允许语义和实例分割任务相互增强打破了多任务学习中梯度流相互隔离的局面。• 设计了空间序列提示编码器SSP-Encoder融合远程空间和序列信息提取高质量的语义和实例提示为跨任务分割提供有效的先验空间约束。• 设计了多任务协作解码器MTC-Decoder采用共享图像嵌入和联合提示机制实现协作分割解码通过双向交互增强掩码预测一致性。• 在多种组织病理和CBCT数据集上进行了广泛的实验验证Co-Seg在语义、实例和全景分割任务上均超越了当前最优方法。3. 方法详解图3. Co-Seg框架总览。框架包含SSP-Encoder和MTC-Decoder两大核心组件通过两次前向传播实现语义和实例分割的相互增强3.1 协作分割范式Co-Segmentation Paradigm现有的多功能医学图像分割方法将语义和实例分割的参数空间解耦破坏了它们的相互依赖性。为解决这一问题我们提出了协作分割范式利用闭环双向交互实现双任务协作优化。核心思想是将两个任务的联合预测建模为条件概率的对称分解当语义分割结果已知时它直接影响实例分割的预测反之亦然。这种互恶关系使得两个任务的梯度流能够相互传递实现真正的双向优化。3.2 空间序列提示编码器SSP-Encoder图4. SSP-Encoder结构图。融合空间提示和序列记忆建立目标分割区域和共享图像嵌入之间的远程关系为跨任务引导提供先验空间约束SSP-Encoder包含两个并行分支时序分支和空间分支。时序分支以共享图像嵌入为输入通过线性层降维、一维卷积和状态空间模型SSM提取序列特征并建模远程关系。值得注意的是与现有Mamba网络不同该分支省略了SiLU激活和门控操作因为图像嵌入已经被编码器充分处理。空间分支则采用二维卷积和自注意力机制转换任务特定的掩码特征。最终通过交叉注意力将空间提示与序列提示进行融合生成先验空间约束。3.3 多任务协作解码器MTC-Decoder图5. MTC-Decoder结构图。采用跨引导机制和概率分布对齐使语义和实例分割任务相互增强同时确保分割解码的空间一致性MTC-Decoder是实现双向交互的核心组件包含语义头和实例头两个分支。每个分支利用查询嵌入保存解码信息并通过跨注意力机制与另一任务的先验空间约束进行交互。当语义特征作为键和值、实例特征作为查询时跨注意力操作将全局上下文信息整合到实例级特征中帮助区分密集排列的细胞核。同时我们还采用KL散度计算空间一致性约束损失进一步增强两个任务之间的空间一致性。3.4 优化策略Co-Seg采用Hiera ViT作为共享图像编码器加载SAM 2预训练权重初始化并冻结主干网络仅通过插入轻量级Adapter实现参数高效微调。整体损失函数包含两部分第一次前向传播优化概率分布和先验空间约束第二次前向传播联合优化语义和实例分割。通过这种双次前向传播设计语义损失可以通过实例的先验空间约束反向传播到实例查询嵌入实现真正的双向优化。4. 实验结果我们在多种组织病理和CBCT数据集上进行了全面的实验验证包括PUMA、CRAG、GlaS和牙科CBCT数据集涵盖语义分割、实例分割和全景分割三大任务。实验结果表明Co-Seg在所有任务和数据集上均显著超越了所有基线方法。1语义分割结果在组织病理语义分割中Co-Seg在PUMA数据集上取得了肿瘤分割Dice 93.15%、基质分割Dice 60.88%的最优性能相比最优基线方法PathoSAM分别提升了1.37%和6.02%。在CBCT语义分割中Co-Seg在下颌骨分割中达到Dice 96.54%上颌骨分割中达到Dice 92.78%。表1. 组织病理语义分割结果比较对应论文Table II表2. CBCT语义分割结果比较对应论文Table III2实例分割结果在组织病理实例分割中Co-Seg在PUMA数据集肿瘤实例分割上达到F1 80.25%、AJI 70.59%相比PathoSAM分别提升了3.71%和4.97%。在CBCT实例分割中Co-Seg在下牙分割中达到F1 81.99%上牙分割中达到F1 72.41%。表3. 组织病理实例分割结果比较对应论文Table IV3全景分割结果Co-Seg在PUMA数据集上肿瘤全景质量达到64.52%基质分割达到41.67%分别超过PathoSAM 2.35%和3.22%。在CBCT全景分割中下牙和上牙分割分别达到PQ 70.84%和61.66%。表4. 组织病理全景分割结果比较对应论文Table V图6. 组织病理图像的语义和实例分割可视化结果。Co-Seg能够识别更多细胞核实例同时保持准确的组织/腺体边界并具有更少的假阳性图7. CBCT语义和实例分割可视化结果。Co-Seg能够精确勾绘颌骨区域并分割准确的牙齿实例5. 消融实验与深入分析为验证各组件的有效性我们进行了全面的消融实验。通过分别引入SSP-Encoder、MTC-Decoder和协作分割范式性能均呈现一致提升。其中协作分割范式贡献最大平均PQ提升了1.61%。完整的Co-Seg框架达到了平均PQ 54.25%的最优性能相比基线提升了3.10%。表5. Co-Seg消融实验结果对应论文Table VII计算效率分析Co-Seg仅需869.67G FLOPs相比独立模型CellViT减少5.6倍相比编码器共享PathoSAM减少3.2倍。推理延迟仅为186.53ms可学习参数仅为22.18M比CellViT减少40.2倍同时在性能上仍然超越PathoSAM 2.63%Dice和4.03%AJI。表6. 计算效率对比对应论文Table IX域迁移评估在跨扫描仪、跨染色和跨数据集三种域迁移场景下Co-Seg均保持了显著优势。例如在PUMA→DSB跨染色评估中Co-Seg达到F1 74.14%和AJI 66.23%超过PathoSAM分别4.87%和2.08%。表7. 域迁移评估结果对应论文Table X有限标注分析在仅10%到50%不等的训练数据比例下Co-Seg始终保持对其他方法的优势。仅用10%训练数据时Co-Seg在淋巴细胞检测中达到PQ 43.48%比PromptNucSeg提升了7.01%证明了协作学习范式在有限标注场景下的显著优势。图8. 超参数分析。左损失系数λ₁的影响右前向传播次数的影响可解释性分析通过训练动态分析和定性可视化我们验证了MTC-Decoder的跨任务引导机制始终使两个任务受益不存在负迁移现象。注意力图显示语义特征能够提供全局上下文信息帮助实例分割区分密集细胞核而实例特征提供精细边界信息帮助语义分割减少过分割错误。图9. 训练动态对比。带MTC-Decoder的配置在所有训练epoch上始终优于不带MTC-Decoder的配置图10. 跨任务引导机制可视化。展示了二值掩码提示和注意力图验证了语义和实例任务的相互增强效果6. 总结本文揭示了医学图像中语义分割和实例分割之间的相互依赖性并提出了一种新颖的协作分割范式来构建Co-Seg框架。该框架集成了SSP-Encoder和MTC-Decoder两大核心组件分别用于捕捉远程空间序列关系和实现跨任务协作解码。在多种组织病理和CBCT数据集上的广泛实验表明Co-Seg在语义、实例和全景分割任务上均超越了当前最优方法充分验证了协作学习方法在多功能医学图像分割中的有效性。未来工作将聚焦于将协作分割范式扩展到三维医学图像分析如CT和MRI分割以及多模态医学影像任务。本文系学术转载如有侵权请联系CVer小助手删文何恺明在MIT授课的课件PPT下载在CVer公众号后台回复何恺明即可下载566页课件PPT大家赶紧学起来CVPR 2026 所有论文和代码下载在CVer公众号后台回复CVPR2026即可下载CVPR 2026 所有论文和代码CV垂直方向和论文投稿交流群成立扫描下方二维码或者添加微信号CVer2233即可添加CVer小助手微信便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖目标检测、图像分割、目标跟踪、人脸检测识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注研究方向地点学校/公司昵称如Mamba、多模态学习或者论文投稿上海上交卡卡根据格式备注可更快被通过且邀请进群▲扫码或加微信号: CVer2233进交流群 CVer计算机视觉知识星球人数破万如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料一定要扫描下方二维码加入CVer知识星球最强助力你的科研和工作 ▲扫码加入星球学习▲点击上方卡片关注CVer公众号 整理不易请点赞和在看
宏原理与Linux内核结构体地址反推技术)
