尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

Large Language Model Aided Birt-Hogg-Dube Syndrome Diagnosis with Multimodal Retrieval-Augmented ...

Large Language Model Aided Birt-Hogg-Dube Syndrome Diagnosis with Multimodal Retrieval-Augmented ... 一、文章主要内容总结本文针对Birt-Hogg-Dubé综合征(BHD)诊断面临的挑战,提出了一种多模态检索增强生成框架BHD-RAG,核心内容如下:研究背景:BHD是一种常染色体显性遗传疾病,需通过胸部CT扫描识别囊性病变和气胸确诊,但它与淋巴管平滑肌瘤病(LAM)、肺朗格汉斯细胞组织细胞增生症(PLCH)、淋巴细胞性间质性肺炎(LIP)等弥漫性囊性肺病(DCLDs)影像学特征相似,且临床样本稀缺,导致传统深度学习方法诊断精度有限;多模态大语言模型(MLLMs)虽在少样本场景有潜力,但存在领域知识缺失和幻觉风险,影响诊断可靠性。框架设计:构建DCLD-Corpus:将CT扫描切片按冠状、矢状、横向分割,保留含病变的异常切片,通过GPT-4-turbo生成初步影像描述,经医学专家修正后,形成多视角、细粒度的影像-描述配对语料库,补充DCLDs领域知识。余弦空间相似度检索器:采用基于相似度的度量学习范式,引入CosFace损失扩大BHD与非BHD类别的角度间隔,精准检索语料库中与查询CT切片最相关的top-k影像-描述对。检索增强生成模块:将检索到的相关配对与专家 curated 的DCLDs专业知识结合,输入MLLM(如GPT-4-turbo、GPT-4o),生成基于证据的诊断结果和影像特征描述。实验结果:在包含4类DCLDs(50例BHD、18例LAM、7例PLCH、22例LIP)的97例患者CT数据集上验证,BHD-RAG(搭配
返回列表