基于多模态注意力模型的宫颈非典型病变诊断模型和装置

摘要

本发明公开了一种基于多模态注意力模型的宫颈非典型病变诊断模型和装置，属于医疗人工智能领域，首先获取患者宫颈醋酸图和碘图，将该患者的病级别划分为正常、LSIL、HSIL三类，使用该类别作为对应醋酸图和碘图的标签，形成训练数据。进行数据预处理后，传入多模态融合模型，对模型中学习到的多层特征图分别进行融合，融合时，引入注意力机制，选择分类效果好的模态，从其特征图中产生辅助注意力信息，应用于效果较差的模态中的特征图，逐层进行融合操作，最终输出图像属于三种类别的概率，重复上述过程对模型迭代训练直至收敛。之后，将需要诊断病变类别的图像输入训练好的模型，使用上述特征融合方法，输出对应预测结果，辅助医生诊断。