01文献信息本次分享的文献是由上海科技大学钱学军团队联合安徽医科大学第一附属医院、南京医科大学附属南京医院、复旦大学附属肿瘤医院、宣城人民医院、阜阳肿瘤医院等多中心医疗机构于2024年10月在Nature子刊《Nature Biomedical Engineering》中科院1区topIF26.6上发表的研究“A multimodal machine learning model for the stratification of breast cancer risk”即一种用于乳腺癌风险分层的多模态机器学习模型本研究开发了一种名为BMU-Net的多模态深度学习模型旨在解决乳腺癌风险分层中“单模态局限、临床流程偏离、缺乏病理级鉴别诊断”等问题。模型整合钼靶影像MG、三模态超声USB超、彩色多普勒、弹性成像和临床元数据基于5025名患者5216个乳房、19360张图像均经手术病理证实训练支持细粒度病理亚型预测T1-T5和粗粒度良恶性分类。通过多中心、多设备及前瞻性数据验证模型在细粒度鉴别诊断上优于经验丰富的放射科医生粗粒度性能媲美医生且接近病理科医生的初步活检评估可辅助临床制定活检选择和后续管理方案推动乳腺癌AI诊断向临床转化。02研究背景1. 研究问题乳腺癌诊疗现状乳腺癌是全球最常见癌症2020年超肺癌年新增230万病例、68.5万死亡早期诊断可显著提升生存率但现有影像技术存在局限钼靶对致密乳腺敏感性低单独超声特异性不足。临床诊断痛点放射科医生依赖BI-RADS指南但存在三大问题①专业人员短缺②影像解读主观性强③观察者内/间变异大导致漏诊延误手术治疗或假阳性引发患者焦虑及不必要有创操作。现有AI模型缺陷多为单模态仅MG或US、偏离临床标准流程未包含必要视图、未整合临床元数据、缺乏多中心前瞻性验证、仅能区分良恶性而无法提供病理级鉴别诊断如原位癌vs浸润癌。2. 研究难点多模态整合与临床合规需同时处理钼靶CC/MLO视图、三模态超声横断/纵断位和临床元数据且符合BI-RADS指南避免脱离临床实际。真实世界数据鲁棒性临床中常存在模态缺失如部分患者无弹性成像模型需适应数据不完整场景。病理级鉴别诊断需实现细粒度亚型分类如T3原位癌、T5浸润癌而非仅良恶性以指导活检/手术决策。泛化性验证需在多中心、多品牌设备数据中验证避免“单中心过拟合”。3. 解决思路设计多模态BMU-Net模型严格遵循BI-RADS指南整合MG、三模态US和临床元数据提出“疾病树分类体系”T1-T5通过推理算法实现细粒度→粗粒度预测无需重新训练采用“随机掩码策略”处理模态缺失提升真实世界适应性在多中心、多设备及前瞻性数据中全面验证对比放射科/病理科医生性能。03BMU-Net模型架构图1 | BMU-Net模型整体架构示意图1. 核心输入三模态数据协同模型严格匹配临床诊断流程整合三类关键数据覆盖影像与临床语境乳腺钼靶MG模块输入标准CC颅尾位和MLO内外侧斜位双视图影像提取全乳腺全局特征超声US模块输入三模态B模式、彩色多普勒、弹性成像横纵双视图影像聚焦病灶局部特征临床元数据输入含年龄、BMI、症状3类、病史2类、影像表现3类等共10项临床变量补充诊断语境。2. 特征提取模态特异性编码器采用ResNet-18作为骨干网络分别为乳腺钼靶和超声设计独立编码器确保模态适配性先通过单模态数据集乳腺钼靶/超声单独训练两个模块得到预训练的“模态特异性图像编码器”权重针对各自模态优化编码器通过1×1平均池化聚合空间特征再经全连接层输出初步特征向量且同模态下不同视图如MG的CC/MLO、US的横/纵视图共享卷积权重。3. 跨模态融合Transformer与后期融合通过Transformer块和“后期融合Late Fusion”解决多模态特征协同问题同时提升鲁棒性先将乳腺钼靶、超声的预训练编码器权重迁移至BMU-Net通过Transformer注意力层将两者特征向量统一维度实现影像特征跨模态关联学习临床元数据单独通过“表格编码器”权重随机初始化处理后与上述融合后的影像特征进行后期融合形成完整特征表示微调阶段引入随机模态掩码Random Masking模拟临床中模态缺失场景如仅存MG/US提升模型对不完整数据的适应性。4. 输出设计双粒度预测无需重训基于“乳腺疾病树”结构实现细粒度与粗粒度双输出匹配临床不同决策需求细粒度输出直接预测5类疾病T1-T5对应“常规随访良性-需关注良性-原位癌-原位癌伴浸润-浸润癌”为活检方式如VAB/CNB、手术方案如保乳术/乳房切除术提供精准参考粗粒度输出通过推理算法汇总细粒度概率得到“良恶性”二分类结果无需重新训练模型可解释性采用Grad-CAM生成热力图叠加于原始影像上可视化模型关注的病灶区域辅助临床信任与决策。5. 训练策略分阶段优化与泛化保障第一阶段单模态预训练MG/US模块分别训练获取适配权重第二阶段多模态微调用MGUS临床元数据微调BMU-Net固定影像编码器预训练权重仅优化融合层与元数据编码器针对数据不平衡采用“类别平衡采样”过采样稀有类如T3欠采样高频类如T2标签平滑损失提升小样本分类性能。04数据和方法研究数据数据规模:总计19,360张图像来自5,216个乳房5,025名患者所有数据均经手术病理确认。数据来源:乳腺X光摄影数据集:回顾性收集自安徽医科大学第一附属医院等包括MG_H1800个乳房、MG_H2518个乳房、MG_H3783个乳房和MG_Hx仅癌症人群。超声数据集:前瞻性收集自多家医院包括US_H1M1819个乳房、US_H1M2、US_H2和US_H3涵盖三模态超声图像。多模态数据集:前瞻性收集MGUS_H1和MGUS_H2包含配对图像和临床元数据。数据特点:以诊断人群为主包含高比例BI-RADS4和5病例如MGUS_H1中94.2%模拟真实临床挑战。数据经去标识化处理符合伦理标准。患者招募与数据集分配流程图技术方法深度学习框架:使用PyTorch基于ResNet-18和Transformer块优化标签平滑损失函数。训练策略:预训练单模态模块后微调多模态模型采用类别平衡上采样稀有类别和数据增强翻转、旋转。评估指标:细粒度评估使用混淆矩阵和Cohens kappa评估一致性。粗粒度评估使用ROC曲线和AUC评估分类性能。可解释性:通过Grad-CAM生成热图可视化模型决策依据。统计方法:使用Delongs test比较AUCt检验比较差异置信区间基于1,000次bootstrap。05研究结果1.钼靶模块MG模块性能图2 | AI 系统与人类专家的细粒度疾病分类混淆矩阵对比图3 | 单个模块与医生的粗粒度乳腺癌评估ROC 曲线内部测试MG_H1细粒度Kappa0.398优于5名医生的0.187-0.314均为“公平一致”粗粒度AUC0.825优于直接训练二分类模型的0.811对BI-RADS4类最具挑战性医生易误判性能显著优于医生平均水平。外部测试MG_H2单设备AUC0.794MG_H3多设备AUC0.812与内部性能一致泛化性好MG_Hx仅癌症患者灵敏度99.8%漏诊率极低。临床操作点匹配医生特异度时漏诊率13.2%显著低于医生的29.9%2%活检阈值ACR标准下灵敏度99.7%几乎无漏诊。2.超声模块US模块性能内部测试US_H1M1细粒度Kappa0.571优于4名医生的0.325-0.558医生最高0.558粗粒度AUC0.916优于直接二分类模型的0.911ROC曲线略优于医生。外部测试US_H1M2 AUC0.908US_H2 AUC0.908US_H3 AUC0.916Kappa0.383-0.546泛化性优秀。MG模块在MG_H2、MG_H3外部数据集的混淆矩阵临床操作点匹配医生特异度时漏诊率4.8%接近医生的2.0%2%阈值下漏诊率几乎为0灵敏度极高。3.BMU-Net多模态模型性能权重初始化影响用MG/US预训练权重的双模态模型MGUS细粒度准确率53.4%显著高于随机初始化35.1%和ImageNet预训练46.1%P0.05AUC0.945高于后两者的0.807和0.916P0.05。图4 | BMU-Net模型在真实临床场景的适应性临床元数据增益多模态模型MGUS元数据细粒度Kappa0.643显著一致高于双模态的0.560P0.05准确率62.8%提升10%粗粒度AUC0.948准确率90.1%。外部验证MGUS_H2Kappa0.643AUC0.942与内部性能一致可靠性高。数据缺失鲁棒性单模态BMU-Net仅MG或US性能与对应单模块一致元数据缺失时保留“年龄、BMI、病变大小”Top3关键变量仍能维持非劣效性能。与病理科医生对比前瞻性数据集187患者191乳房中模型粗粒度准确率90.1%接近医生92.7%细粒度准确率62.8%低于医生72.3%但差距较小。4.可解释性结果Grad-CAM热力图可准确标注病变区域如浸润癌的边界、血流丰富区与临床医生关注点高度一致提升模型临床信任度。AI预测依据的热图示例06结论BMU-Net模型通过多模态数据整合实现了乳腺癌风险的准确分层和鉴别诊断。模型在多个前瞻性数据集中验证性能与人类专家相当或更优尤其在高难度的BI-RADS 4病例中表现突出。树状分类法使模型能同时提供多级预测支持临床决策如活检类型选择。研究表明多模态AI可标准化乳腺影像解读减少主观差异具有直接临床应用的潜力。07讨论创新点多模态融合诊断体系BMU-Net将乳腺X线MG、三模态超声B-mode、彩色多普勒、弹性成像与临床元数据整合到同一深度学习框架中实现了影像-临床信息的统一建模是乳腺癌AI诊断领域首个覆盖全流程的多模态系统。树状疾病分类体系T1–T5设计了“从良性到侵袭性”的五级病理分层标签体系用于细粒度训练与推理阶段的层次化输出实现了从粗粒度良恶性到病理级别的多层预测。临床工作流导向设计模型输出直接对应临床决策如是否活检、活检方式、手术类型形成“AI-辅助管理决策树”提升了研究的临床实用性。模态缺失自适应训练策略通过随机mask策略在训练阶段模拟模态缺失使模型在实际临床中即使缺少某一影像模态如未做弹性成像仍能稳定预测。可解释性可视化引入Grad-CAM热力图用于定位模型关注区域增强AI预测结果的可解释性与医生信任度。多中心前瞻性验证在来自多家医院、不同设备的数据上进行外部验证证明模型具备良好的泛化性与临床可推广性。可借鉴的技术方法多模态深度学习融合架构图像编码ResNet-18提取特征融合机制Transformer跨模态特征交互临床数据编码表格编码器后融合late fusion。→这种“图像结构化数据”融合模式可推广到其他多模态医学AI任务。层次化标签与推理算法使用细粒度病理标签训练推理时通过概率加权如PmalignantPT3PT4PT5实现多级决策输出。→适用于需要兼顾“粗粒度诊断细粒度分型”的医学影像问题。多中心数据分层验证流程内部训练/验证/测试外部多医院测试报告AUC、Kappa、敏感性/特异性等多指标。→该方法有助于确保AI模型的稳健性与可临床化。随机模态掩码策略Random Masking模拟真实临床中模态缺失的情况增强模型在不完整输入下的鲁棒性。→值得在其他多模态任务如CTMRI、影像基因数据中借鉴。基于热力图的可解释性验证用Grad-CAM对预测结果进行病灶可视化验证AI聚焦区域与病理区域的一致性。
Nat. Biomed. Eng（1区top，IF=26.6）上海科技大学钱学军团队：一种用于乳腺癌风险分层的多模态机器学习模型
发布时间：2026/5/28 7:57:04
01文献信息本次分享的文献是由上海科技大学钱学军团队联合安徽医科大学第一附属医院、南京医科大学附属南京医院、复旦大学附属肿瘤医院、宣城人民医院、阜阳肿瘤医院等多中心医疗机构于2024年10月在Nature子刊《Nature Biomedical Engineering》中科院1区topIF26.6上发表的研究“A multimodal machine learning model for the stratification of breast cancer risk”即一种用于乳腺癌风险分层的多模态机器学习模型本研究开发了一种名为BMU-Net的多模态深度学习模型旨在解决乳腺癌风险分层中“单模态局限、临床流程偏离、缺乏病理级鉴别诊断”等问题。模型整合钼靶影像MG、三模态超声USB超、彩色多普勒、弹性成像和临床元数据基于5025名患者5216个乳房、19360张图像均经手术病理证实训练支持细粒度病理亚型预测T1-T5和粗粒度良恶性分类。通过多中心、多设备及前瞻性数据验证模型在细粒度鉴别诊断上优于经验丰富的放射科医生粗粒度性能媲美医生且接近病理科医生的初步活检评估可辅助临床制定活检选择和后续管理方案推动乳腺癌AI诊断向临床转化。02研究背景1. 研究问题乳腺癌诊疗现状乳腺癌是全球最常见癌症2020年超肺癌年新增230万病例、68.5万死亡早期诊断可显著提升生存率但现有影像技术存在局限钼靶对致密乳腺敏感性低单独超声特异性不足。临床诊断痛点放射科医生依赖BI-RADS指南但存在三大问题①专业人员短缺②影像解读主观性强③观察者内/间变异大导致漏诊延误手术治疗或假阳性引发患者焦虑及不必要有创操作。现有AI模型缺陷多为单模态仅MG或US、偏离临床标准流程未包含必要视图、未整合临床元数据、缺乏多中心前瞻性验证、仅能区分良恶性而无法提供病理级鉴别诊断如原位癌vs浸润癌。2. 研究难点多模态整合与临床合规需同时处理钼靶CC/MLO视图、三模态超声横断/纵断位和临床元数据且符合BI-RADS指南避免脱离临床实际。真实世界数据鲁棒性临床中常存在模态缺失如部分患者无弹性成像模型需适应数据不完整场景。病理级鉴别诊断需实现细粒度亚型分类如T3原位癌、T5浸润癌而非仅良恶性以指导活检/手术决策。泛化性验证需在多中心、多品牌设备数据中验证避免“单中心过拟合”。3. 解决思路设计多模态BMU-Net模型严格遵循BI-RADS指南整合MG、三模态US和临床元数据提出“疾病树分类体系”T1-T5通过推理算法实现细粒度→粗粒度预测无需重新训练采用“随机掩码策略”处理模态缺失提升真实世界适应性在多中心、多设备及前瞻性数据中全面验证对比放射科/病理科医生性能。03BMU-Net模型架构图1 | BMU-Net模型整体架构示意图1. 核心输入三模态数据协同模型严格匹配临床诊断流程整合三类关键数据覆盖影像与临床语境乳腺钼靶MG模块输入标准CC颅尾位和MLO内外侧斜位双视图影像提取全乳腺全局特征超声US模块输入三模态B模式、彩色多普勒、弹性成像横纵双视图影像聚焦病灶局部特征临床元数据输入含年龄、BMI、症状3类、病史2类、影像表现3类等共10项临床变量补充诊断语境。2. 特征提取模态特异性编码器采用ResNet-18作为骨干网络分别为乳腺钼靶和超声设计独立编码器确保模态适配性先通过单模态数据集乳腺钼靶/超声单独训练两个模块得到预训练的“模态特异性图像编码器”权重针对各自模态优化编码器通过1×1平均池化聚合空间特征再经全连接层输出初步特征向量且同模态下不同视图如MG的CC/MLO、US的横/纵视图共享卷积权重。3. 跨模态融合Transformer与后期融合通过Transformer块和“后期融合Late Fusion”解决多模态特征协同问题同时提升鲁棒性先将乳腺钼靶、超声的预训练编码器权重迁移至BMU-Net通过Transformer注意力层将两者特征向量统一维度实现影像特征跨模态关联学习临床元数据单独通过“表格编码器”权重随机初始化处理后与上述融合后的影像特征进行后期融合形成完整特征表示微调阶段引入随机模态掩码Random Masking模拟临床中模态缺失场景如仅存MG/US提升模型对不完整数据的适应性。4. 输出设计双粒度预测无需重训基于“乳腺疾病树”结构实现细粒度与粗粒度双输出匹配临床不同决策需求细粒度输出直接预测5类疾病T1-T5对应“常规随访良性-需关注良性-原位癌-原位癌伴浸润-浸润癌”为活检方式如VAB/CNB、手术方案如保乳术/乳房切除术提供精准参考粗粒度输出通过推理算法汇总细粒度概率得到“良恶性”二分类结果无需重新训练模型可解释性采用Grad-CAM生成热力图叠加于原始影像上可视化模型关注的病灶区域辅助临床信任与决策。5. 训练策略分阶段优化与泛化保障第一阶段单模态预训练MG/US模块分别训练获取适配权重第二阶段多模态微调用MGUS临床元数据微调BMU-Net固定影像编码器预训练权重仅优化融合层与元数据编码器针对数据不平衡采用“类别平衡采样”过采样稀有类如T3欠采样高频类如T2标签平滑损失提升小样本分类性能。04数据和方法研究数据数据规模:总计19,360张图像来自5,216个乳房5,025名患者所有数据均经手术病理确认。数据来源:乳腺X光摄影数据集:回顾性收集自安徽医科大学第一附属医院等包括MG_H1800个乳房、MG_H2518个乳房、MG_H3783个乳房和MG_Hx仅癌症人群。超声数据集:前瞻性收集自多家医院包括US_H1M1819个乳房、US_H1M2、US_H2和US_H3涵盖三模态超声图像。多模态数据集:前瞻性收集MGUS_H1和MGUS_H2包含配对图像和临床元数据。数据特点:以诊断人群为主包含高比例BI-RADS4和5病例如MGUS_H1中94.2%模拟真实临床挑战。数据经去标识化处理符合伦理标准。患者招募与数据集分配流程图技术方法深度学习框架:使用PyTorch基于ResNet-18和Transformer块优化标签平滑损失函数。训练策略:预训练单模态模块后微调多模态模型采用类别平衡上采样稀有类别和数据增强翻转、旋转。评估指标:细粒度评估使用混淆矩阵和Cohens kappa评估一致性。粗粒度评估使用ROC曲线和AUC评估分类性能。可解释性:通过Grad-CAM生成热图可视化模型决策依据。统计方法:使用Delongs test比较AUCt检验比较差异置信区间基于1,000次bootstrap。05研究结果1.钼靶模块MG模块性能图2 | AI 系统与人类专家的细粒度疾病分类混淆矩阵对比图3 | 单个模块与医生的粗粒度乳腺癌评估ROC 曲线内部测试MG_H1细粒度Kappa0.398优于5名医生的0.187-0.314均为“公平一致”粗粒度AUC0.825优于直接训练二分类模型的0.811对BI-RADS4类最具挑战性医生易误判性能显著优于医生平均水平。外部测试MG_H2单设备AUC0.794MG_H3多设备AUC0.812与内部性能一致泛化性好MG_Hx仅癌症患者灵敏度99.8%漏诊率极低。临床操作点匹配医生特异度时漏诊率13.2%显著低于医生的29.9%2%活检阈值ACR标准下灵敏度99.7%几乎无漏诊。2.超声模块US模块性能内部测试US_H1M1细粒度Kappa0.571优于4名医生的0.325-0.558医生最高0.558粗粒度AUC0.916优于直接二分类模型的0.911ROC曲线略优于医生。外部测试US_H1M2 AUC0.908US_H2 AUC0.908US_H3 AUC0.916Kappa0.383-0.546泛化性优秀。MG模块在MG_H2、MG_H3外部数据集的混淆矩阵临床操作点匹配医生特异度时漏诊率4.8%接近医生的2.0%2%阈值下漏诊率几乎为0灵敏度极高。3.BMU-Net多模态模型性能权重初始化影响用MG/US预训练权重的双模态模型MGUS细粒度准确率53.4%显著高于随机初始化35.1%和ImageNet预训练46.1%P0.05AUC0.945高于后两者的0.807和0.916P0.05。图4 | BMU-Net模型在真实临床场景的适应性临床元数据增益多模态模型MGUS元数据细粒度Kappa0.643显著一致高于双模态的0.560P0.05准确率62.8%提升10%粗粒度AUC0.948准确率90.1%。外部验证MGUS_H2Kappa0.643AUC0.942与内部性能一致可靠性高。数据缺失鲁棒性单模态BMU-Net仅MG或US性能与对应单模块一致元数据缺失时保留“年龄、BMI、病变大小”Top3关键变量仍能维持非劣效性能。与病理科医生对比前瞻性数据集187患者191乳房中模型粗粒度准确率90.1%接近医生92.7%细粒度准确率62.8%低于医生72.3%但差距较小。4.可解释性结果Grad-CAM热力图可准确标注病变区域如浸润癌的边界、血流丰富区与临床医生关注点高度一致提升模型临床信任度。AI预测依据的热图示例06结论BMU-Net模型通过多模态数据整合实现了乳腺癌风险的准确分层和鉴别诊断。模型在多个前瞻性数据集中验证性能与人类专家相当或更优尤其在高难度的BI-RADS 4病例中表现突出。树状分类法使模型能同时提供多级预测支持临床决策如活检类型选择。研究表明多模态AI可标准化乳腺影像解读减少主观差异具有直接临床应用的潜力。07讨论创新点多模态融合诊断体系BMU-Net将乳腺X线MG、三模态超声B-mode、彩色多普勒、弹性成像与临床元数据整合到同一深度学习框架中实现了影像-临床信息的统一建模是乳腺癌AI诊断领域首个覆盖全流程的多模态系统。树状疾病分类体系T1–T5设计了“从良性到侵袭性”的五级病理分层标签体系用于细粒度训练与推理阶段的层次化输出实现了从粗粒度良恶性到病理级别的多层预测。临床工作流导向设计模型输出直接对应临床决策如是否活检、活检方式、手术类型形成“AI-辅助管理决策树”提升了研究的临床实用性。模态缺失自适应训练策略通过随机mask策略在训练阶段模拟模态缺失使模型在实际临床中即使缺少某一影像模态如未做弹性成像仍能稳定预测。可解释性可视化引入Grad-CAM热力图用于定位模型关注区域增强AI预测结果的可解释性与医生信任度。多中心前瞻性验证在来自多家医院、不同设备的数据上进行外部验证证明模型具备良好的泛化性与临床可推广性。可借鉴的技术方法多模态深度学习融合架构图像编码ResNet-18提取特征融合机制Transformer跨模态特征交互临床数据编码表格编码器后融合late fusion。→这种“图像结构化数据”融合模式可推广到其他多模态医学AI任务。层次化标签与推理算法使用细粒度病理标签训练推理时通过概率加权如PmalignantPT3PT4PT5实现多级决策输出。→适用于需要兼顾“粗粒度诊断细粒度分型”的医学影像问题。多中心数据分层验证流程内部训练/验证/测试外部多医院测试报告AUC、Kappa、敏感性/特异性等多指标。→该方法有助于确保AI模型的稳健性与可临床化。随机模态掩码策略Random Masking模拟真实临床中模态缺失的情况增强模型在不完整输入下的鲁棒性。→值得在其他多模态任务如CTMRI、影像基因数据中借鉴。基于热力图的可解释性验证用Grad-CAM对预测结果进行病灶可视化验证AI聚焦区域与病理区域的一致性。
