基于深度图的新冠肺炎多模态特征提取融合方法及系统

摘要

本发明公开了一种基于深度图的新冠肺炎多模态特征提取融合方法及系统，融合过程由数据表征和数据融合两个阶段构成，在数据表征阶段，综合利用CT影像数据和临床生理指标数据，采用基于图神经网络的语义分割模型来提取肺炎感染部位的高级ROI特征，接着将提取到的ROI特征和其他临床数据转化为图的结构，利用图嵌入技术构建统一的多模态数据表征空间；在特征融合阶段，基于自注意力机制在医学影像图、生理指标图、医疗报告文本之间进行多模态特征融合和逻辑推理，为新冠肺炎诊断提供数据支撑。