1.研究背景CVD 是全身性血管疾病因此视网膜微血管可能携带反映心血管状态的信息。问题是传统深度学习模型虽然能够从眼底图预测 CVD但并没有明确告诉我们它到底利用了什么血管特征。对于患有CVD有以下四个指标Vessel density血管密度Vessel tortuosity血管迂曲度高CRAE视网膜中央动脉等效口径AVR动静脉比传统的方法是模型学习图像特征网络直接从 retinal image → CVD中间没有一个明确的学习过程说学习到了什么影像因子更易于学习到一些图像背景非血管区域。而作者做出的改进是告诉模型你需要学习这些具有明确医学含义的 concept。血管概念学习模块能预测出来是CVD,但是通过热力图的对比后发现图像并没有关注到视网膜毛细血管附近也就是说并不是因为视网膜血管密度发生了变化才认为它是 CVD。CPM 负责把眼底图转换成具有医学意义的血管 biomarker tokensCFRM 把年龄、性别、BMI、血压和吸烟等临床变量转换成 clinical tokens最后 CAAM 使用 disease tokens 作为 query通过 cross-attention 建模血管 biomarker 与临床因素之间的交互并完成 CVD 分类。1.第一个创新点 血管概念学习模块2.第二个创新点3.第三个创新点--跨模态注意力聚合模块将多模态眼底图像特征与血管生物标志物概念特征拼接得到 K/V使用可学习疾病 Token 作为 Q 执行跨注意力提取与心血管疾病相关的关键血管特征经过投影矩阵变换、平均池化压缩后输出疾病预测 logits。关键点使用可学习疾病 Token 作为 Query专门学习 CVD 疾病的特征模式主动在多模态 血管生物标志物特征中寻找疾病相关证据跨注意力聚合自动给有病理意义的血管区域分配高注意力权重抑制无关背景融合血管生物标志物先验vascular biomarker prior和多模态图像信息输出全局特征用于最终心血管疾病分类。“为了判断 CVD我应该从这些 biomarker 和 clinical features 中寻找什么样的信息”实验效果对比实验消融实验 Retinal vascular biomarker concept learning with multimodal fusion for cardiovascular disease detect
1.研究背景CVD 是全身性血管疾病因此视网膜微血管可能携带反映心血管状态的信息。问题是传统深度学习模型虽然能够从眼底图预测 CVD但并没有明确告诉我们它到底利用了什么血管特征。对于患有CVD有以下四个指标Vessel density血管密度Vessel tortuosity血管迂曲度高CRAE视网膜中央动脉等效口径AVR动静脉比传统的方法是模型学习图像特征网络直接从 retinal image → CVD中间没有一个明确的学习过程说学习到了什么影像因子更易于学习到一些图像背景非血管区域。而作者做出的改进是告诉模型你需要学习这些具有明确医学含义的 concept。血管概念学习模块能预测出来是CVD,但是通过热力图的对比后发现图像并没有关注到视网膜毛细血管附近也就是说并不是因为视网膜血管密度发生了变化才认为它是 CVD。CPM 负责把眼底图转换成具有医学意义的血管 biomarker tokensCFRM 把年龄、性别、BMI、血压和吸烟等临床变量转换成 clinical tokens最后 CAAM 使用 disease tokens 作为 query通过 cross-attention 建模血管 biomarker 与临床因素之间的交互并完成 CVD 分类。1.第一个创新点 血管概念学习模块2.第二个创新点3.第三个创新点--跨模态注意力聚合模块将多模态眼底图像特征与血管生物标志物概念特征拼接得到 K/V使用可学习疾病 Token 作为 Q 执行跨注意力提取与心血管疾病相关的关键血管特征经过投影矩阵变换、平均池化压缩后输出疾病预测 logits。关键点使用可学习疾病 Token 作为 Query专门学习 CVD 疾病的特征模式主动在多模态 血管生物标志物特征中寻找疾病相关证据跨注意力聚合自动给有病理意义的血管区域分配高注意力权重抑制无关背景融合血管生物标志物先验vascular biomarker prior和多模态图像信息输出全局特征用于最终心血管疾病分类。“为了判断 CVD我应该从这些 biomarker 和 clinical features 中寻找什么样的信息”实验效果对比实验消融实验