01文献学习今天分享的文献是由南方医科大学南方医院等团队于2026年2月在《Journal of Advanced Research》中科院1区topIF13上发表的研究“Multi-modal gradual fusion transformer-based model for predicting immunotherapy response in patients with hepatocellular carcinoma”即基于多模态渐进融合变换器模型的肝细胞癌免疫治疗反应预测研究该研究开发并验证了一种基于多模态数据临床特征动脉期门静脉期CT影像的渐进融合变换器模型GIFT-CIP用于预测肝细胞癌患者对免疫治疗的反应。创新点①首次将多模态渐进融合Transformer用于HCC免疫治疗响应预测整合临床与CT影像。②结合瘤内与瘤周影像特征挖掘肿瘤微环境对免疫治疗的协同预测价值。③渐进融合策略优先整合高度相关模态动脉/门脉期后融合临床数据优化跨模态信息交互。临床价值①非侵入性预测工具避免活检创伤实时辅助临床决策筛选免疫治疗优势人群。②精确区分高低风险患者指导个体化免疫治疗策略延长无进展生存与总生存期。③多中心验证显示模型稳健适用于不同医疗场景提升肝癌免疫治疗精准管理水平。图 2GIFT-CIP模型架构与渐进融合策略图A整体框架输入层三类输入——临床特征C、瘤内影像I、瘤周影像P影像为224×224像素增强CT块动脉期门静脉期。特征提取层MobileViT分别处理瘤内/瘤周的双期影像输出高维影像特征MLP处理标准化临床特征输出临床特征向量。渐进融合层核心模块见子图C。输出层全连接层Sigmoid激活输出免疫治疗反应预测概率响应/非响应。BMobileViT特征骨干融合MobileNetv2的深度可分离卷积捕捉局部特征与ViT的自注意力机制捕捉长距离依赖输出轻量且高维的影像特征。C渐进融合策略分三步逐层融合解决模态不平衡第一步融合同区域的双期影像动脉期门静脉期捕捉时序影像特征第二步融合瘤内瘤周的双期融合特征整合肿瘤核心与微环境信息第三步融合影像特征与临床特征MLP优化临床特征权重后与影像特征拼接。02研究背景和目的研究背景肝细胞癌HCC作为全球第六大常见癌症和第三大癌症死亡原因其治疗领域近年来因免疫疗法的出现而取得了革命性进展显著延长了患者生存期。然而当前免疫治疗的客观缓解率不足30%这一临床瓶颈凸显了精准筛选获益患者的紧迫性。既往研究试图利用程序性死亡配体1PDL1表达或肿瘤突变负荷等生物标志物来预测疗效但在HCC患者中预测效能普遍较差。与此同时医学影像分析为肿瘤评估提供了非侵入性视角但传统卷积神经网络CNN难以捕捉影像中的长距离依赖关系。近年来兴起的Transformer模型凭借其自注意力机制在提取上下文信息和非局部特征方面展现出显著优势。然而如何有效整合多模态数据如临床特征、动脉期及门静脉期CT图像、瘤内及瘤周影像仍是一大挑战。现有融合策略多为简单的早期或晚期融合未能充分利用不同模态间的互补信息。基于此作者提出假设采用渐进融合策略优先融合高度相关的模态如双期CT影像再逐步整合临床特征可能更适用于复杂的HCC多模态数据分析。研究目的本研究旨在开发并验证一种基于多模态渐进融合Transformer的模型GIFT-CIP用于预测接受免疫治疗的肝细胞癌患者的疗效反应。具体目标包括首先整合临床特征、动脉期及门静脉期CT图像的瘤内与瘤周区域通过渐进融合策略构建深度学习模型其次在来自五个医疗中心的多中心队列中系统评估模型的预测性能包括训练集、内部验证集和外部测试集第三比较不同模态组合如单独临床数据、单独影像数据及多模态融合对免疫治疗反应预测能力的差异验证渐进融合策略相较于传统融合方法的优势第四利用模型输出的风险评分对患者进行危险分层评估其在无进展生存期PFS和总生存期OS方面的预后判别能力最终提供一种非侵入性的临床决策工具辅助临床医师在免疫治疗前筛选最佳获益人群推动HCC个体化治疗策略的优化。03数据和方法研究数据来源5个医疗中心训练集209例医院1内部验证集90例医院1外部测试集85例医院2-5数据模态临床特征年龄、NLR、TBil、ALB、PT等CT影像动脉期门静脉期瘤内瘤周区域图 1患者筛选流程图技术方法临床特征选择LASSO回归筛选与免疫治疗反应相关的特征影像预处理重采样、归一化、ROI分割、瘤周区域扩张模型构建使用MobileViT作为影像特征提取器设计三阶段渐进融合策略动脉期与门静脉期先融合再融合瘤内与瘤周影像最后融合临床特征模型变体包括GIFT-CIP、GIFT-IP、GIFT-CI等训练策略过采样处理类别不平衡SGD优化交叉熵损失评估指标AUC、准确率、ROC曲线、Kaplan-Meier生存分析、决策曲线分析04实验结果GIFT-CIP模型表现最佳训练集AUC0.926内部验证集AUC0.911外部测试集AUC0.883与其他模型比较GIFT-CIP显著优于单模态或简单融合模型如GIFT-P、GIFT-I生存分析高风险组与低风险组在PFS和OS上均有显著差异p 0.05临床效用决策曲线分析显示GIFT-CIP具有更高的净收益图 3模型性能对比ROC曲线与量化指标图 4患者风险分层与生存分析Kaplan-Meier曲线图 5临床效用验证DCA与临床决策曲线05研究结论该研究成功构建并验证了一种基于多模态渐进融合Transformer的预测模型GIFT-CIP用于预测肝细胞癌HCC患者接受免疫治疗的疗效。研究结论表明通过渐进式融合策略整合临床特征、瘤内影像及瘤周影像的多模态数据可显著提升预测性能。GIFT-CIP模型在训练集、内部验证集及外部测试集中的AUC分别达到0.926、0.911和0.883表现出优异的区分度与泛化能力。相较于单一模态或简单融合模型GIFT-CIP在识别疾病进展患者方面具有更高准确性并能有效将患者划分为高风险与低风险组两组在无进展生存期和总生存期方面存在显著差异p 0.01。此外决策曲线分析进一步验证了其良好的临床净收益。该研究首次将瘤周影像特征引入免疫治疗反应预测并采用分层融合机制处理动脉期与门静脉期影像的相关性克服了传统模型对模态间交互建模不足的问题。总体而言GIFT-CIP模型提供了一种非侵入性、可解释性强且具备临床转化潜力的工具有望辅助临床医生优化HCC患者的免疫治疗策略推动个体化精准医疗的发展。未来研究需进一步扩大样本量、提升模型可解释性并在更广泛人群中验证其普适性。参考文献Xiao L, Wang J, Cui H, Zhu H, He J, Deng H, Zhang W, Dong H, Zhou Y, Jiang P, Zeng L, Peng J, Xu P, Shen R, Kurban N, Lin M, Lu S, Weng X, Hong C, Liu L. Multi-modal gradual fusion transformer-based model for predicting immunotherapy response in patients with hepatocellular carcinoma. J Adv Res. 2026 Feb 9:S2090-1232(26)00113-X. doi: 10.1016/j.jare.2026.02.003.
J Adv Res（IF=13）南方医科大学南方医院等团队：基于多模态渐进融合 Transformer 的肝细胞癌患者免疫治疗反应预测模型
发布时间：2026/5/16 3:04:20
01文献学习今天分享的文献是由南方医科大学南方医院等团队于2026年2月在《Journal of Advanced Research》中科院1区topIF13上发表的研究“Multi-modal gradual fusion transformer-based model for predicting immunotherapy response in patients with hepatocellular carcinoma”即基于多模态渐进融合变换器模型的肝细胞癌免疫治疗反应预测研究该研究开发并验证了一种基于多模态数据临床特征动脉期门静脉期CT影像的渐进融合变换器模型GIFT-CIP用于预测肝细胞癌患者对免疫治疗的反应。创新点①首次将多模态渐进融合Transformer用于HCC免疫治疗响应预测整合临床与CT影像。②结合瘤内与瘤周影像特征挖掘肿瘤微环境对免疫治疗的协同预测价值。③渐进融合策略优先整合高度相关模态动脉/门脉期后融合临床数据优化跨模态信息交互。临床价值①非侵入性预测工具避免活检创伤实时辅助临床决策筛选免疫治疗优势人群。②精确区分高低风险患者指导个体化免疫治疗策略延长无进展生存与总生存期。③多中心验证显示模型稳健适用于不同医疗场景提升肝癌免疫治疗精准管理水平。图 2GIFT-CIP模型架构与渐进融合策略图A整体框架输入层三类输入——临床特征C、瘤内影像I、瘤周影像P影像为224×224像素增强CT块动脉期门静脉期。特征提取层MobileViT分别处理瘤内/瘤周的双期影像输出高维影像特征MLP处理标准化临床特征输出临床特征向量。渐进融合层核心模块见子图C。输出层全连接层Sigmoid激活输出免疫治疗反应预测概率响应/非响应。BMobileViT特征骨干融合MobileNetv2的深度可分离卷积捕捉局部特征与ViT的自注意力机制捕捉长距离依赖输出轻量且高维的影像特征。C渐进融合策略分三步逐层融合解决模态不平衡第一步融合同区域的双期影像动脉期门静脉期捕捉时序影像特征第二步融合瘤内瘤周的双期融合特征整合肿瘤核心与微环境信息第三步融合影像特征与临床特征MLP优化临床特征权重后与影像特征拼接。02研究背景和目的研究背景肝细胞癌HCC作为全球第六大常见癌症和第三大癌症死亡原因其治疗领域近年来因免疫疗法的出现而取得了革命性进展显著延长了患者生存期。然而当前免疫治疗的客观缓解率不足30%这一临床瓶颈凸显了精准筛选获益患者的紧迫性。既往研究试图利用程序性死亡配体1PDL1表达或肿瘤突变负荷等生物标志物来预测疗效但在HCC患者中预测效能普遍较差。与此同时医学影像分析为肿瘤评估提供了非侵入性视角但传统卷积神经网络CNN难以捕捉影像中的长距离依赖关系。近年来兴起的Transformer模型凭借其自注意力机制在提取上下文信息和非局部特征方面展现出显著优势。然而如何有效整合多模态数据如临床特征、动脉期及门静脉期CT图像、瘤内及瘤周影像仍是一大挑战。现有融合策略多为简单的早期或晚期融合未能充分利用不同模态间的互补信息。基于此作者提出假设采用渐进融合策略优先融合高度相关的模态如双期CT影像再逐步整合临床特征可能更适用于复杂的HCC多模态数据分析。研究目的本研究旨在开发并验证一种基于多模态渐进融合Transformer的模型GIFT-CIP用于预测接受免疫治疗的肝细胞癌患者的疗效反应。具体目标包括首先整合临床特征、动脉期及门静脉期CT图像的瘤内与瘤周区域通过渐进融合策略构建深度学习模型其次在来自五个医疗中心的多中心队列中系统评估模型的预测性能包括训练集、内部验证集和外部测试集第三比较不同模态组合如单独临床数据、单独影像数据及多模态融合对免疫治疗反应预测能力的差异验证渐进融合策略相较于传统融合方法的优势第四利用模型输出的风险评分对患者进行危险分层评估其在无进展生存期PFS和总生存期OS方面的预后判别能力最终提供一种非侵入性的临床决策工具辅助临床医师在免疫治疗前筛选最佳获益人群推动HCC个体化治疗策略的优化。03数据和方法研究数据来源5个医疗中心训练集209例医院1内部验证集90例医院1外部测试集85例医院2-5数据模态临床特征年龄、NLR、TBil、ALB、PT等CT影像动脉期门静脉期瘤内瘤周区域图 1患者筛选流程图技术方法临床特征选择LASSO回归筛选与免疫治疗反应相关的特征影像预处理重采样、归一化、ROI分割、瘤周区域扩张模型构建使用MobileViT作为影像特征提取器设计三阶段渐进融合策略动脉期与门静脉期先融合再融合瘤内与瘤周影像最后融合临床特征模型变体包括GIFT-CIP、GIFT-IP、GIFT-CI等训练策略过采样处理类别不平衡SGD优化交叉熵损失评估指标AUC、准确率、ROC曲线、Kaplan-Meier生存分析、决策曲线分析04实验结果GIFT-CIP模型表现最佳训练集AUC0.926内部验证集AUC0.911外部测试集AUC0.883与其他模型比较GIFT-CIP显著优于单模态或简单融合模型如GIFT-P、GIFT-I生存分析高风险组与低风险组在PFS和OS上均有显著差异p 0.05临床效用决策曲线分析显示GIFT-CIP具有更高的净收益图 3模型性能对比ROC曲线与量化指标图 4患者风险分层与生存分析Kaplan-Meier曲线图 5临床效用验证DCA与临床决策曲线05研究结论该研究成功构建并验证了一种基于多模态渐进融合Transformer的预测模型GIFT-CIP用于预测肝细胞癌HCC患者接受免疫治疗的疗效。研究结论表明通过渐进式融合策略整合临床特征、瘤内影像及瘤周影像的多模态数据可显著提升预测性能。GIFT-CIP模型在训练集、内部验证集及外部测试集中的AUC分别达到0.926、0.911和0.883表现出优异的区分度与泛化能力。相较于单一模态或简单融合模型GIFT-CIP在识别疾病进展患者方面具有更高准确性并能有效将患者划分为高风险与低风险组两组在无进展生存期和总生存期方面存在显著差异p 0.01。此外决策曲线分析进一步验证了其良好的临床净收益。该研究首次将瘤周影像特征引入免疫治疗反应预测并采用分层融合机制处理动脉期与门静脉期影像的相关性克服了传统模型对模态间交互建模不足的问题。总体而言GIFT-CIP模型提供了一种非侵入性、可解释性强且具备临床转化潜力的工具有望辅助临床医生优化HCC患者的免疫治疗策略推动个体化精准医疗的发展。未来研究需进一步扩大样本量、提升模型可解释性并在更广泛人群中验证其普适性。参考文献Xiao L, Wang J, Cui H, Zhu H, He J, Deng H, Zhang W, Dong H, Zhou Y, Jiang P, Zeng L, Peng J, Xu P, Shen R, Kurban N, Lin M, Lu S, Weng X, Hong C, Liu L. Multi-modal gradual fusion transformer-based model for predicting immunotherapy response in patients with hepatocellular carcinoma. J Adv Res. 2026 Feb 9:S2090-1232(26)00113-X. doi: 10.1016/j.jare.2026.02.003.
