医疗AI数据污染危机：性能退化与应对策略浮出水面

【导语新加坡国立大学等多机构联合研究发现AI生成的临床文本用于训练新模型时会使病理信息流失降低医疗AI诊断可靠性。研究还提出缓解方法为医疗AI安全应用提供思路。】【医疗AI自循环训练潜藏诊断危机】随着生成式人工智能在医疗领域渗透AI参与生成病历、影像报告等临床文本。但当AI生成的临床文本用于训练新一代AI模型时会形成“生成 - 训练 - 再生成”的自循环结构。在其他领域自我训练循环会导致“模型退化”而医学领域特殊性使这一问题危害更严重会造成系统性诊断盲区增加漏诊风险。【多任务实验揭示AI性能全面退化】研究团队对216307份放射学报告、790份临床笔记、1000份眼科病历和9781张胸部X线片进行多任务实验。结果显示AI生成的数据污染导致模型性能退化贯穿于临床文本生成、视觉 - 语言放射学报告、医学图像合成三个真实临床任务。各任务均出现自我训练循环导致病理多样性丧失、诊断可靠度降低且被虚假预测信心掩盖的情况。在临床文本生成中经过四代自我训练放射学报告印象部分词汇量从12078个减至约200个减少98.9%独特医学术语减少66%。视觉 - 语言报告中报告唯一性从96.2%降至0.9%词汇量从8186个减至94个减少98.9%“无急性发现”错误比例从13.3%升至40.3%。医学图像合成则出现视觉退化、病理表征扭曲和人口统计学偏倚等问题。【三种策略应对AI数据污染困境】研究团队通过结构化审查、编辑和医师评价证实了临床效用的退化。同时系统验证了三种应对策略真实数据混合训练当真实数据占比达75%时可保持病理多样性和语言保真度减少人口统计学偏差质量感知过滤可提高有限真实数据利用效率但无法替代高比例真实数据单纯扩增合成数据会加速模型退化、加重性别偏见。【政策强制溯源保障医疗AI安全】研究团队认为应将数据溯源作为医疗AI部署的政策强制要求实行强制人工检验制度。若缺乏制度性限制医疗系统将面临污染未来患者数字生理数据的风险生成式AI部署后也会影响自身医疗数据生态系统引发安全问题。编辑观点此次研究揭示了医疗AI数据污染的严重问题为行业敲响警钟。提出的应对策略和政策建议具有重要指导意义未来需加强监管确保医疗AI安全可靠应用。