考虑模态间语义距离度量的多模态融合分类优化方法

摘要

本发明提供一种考虑模态间语义距离度量的多模态融合分类优化方法。针对模态信息融合中构建统一语义下的特征子空间存在的融合效果不稳定、改善作用比较有限的问题，本发明基于改进的CBAM注意力机制进行自适应特征细化，采用横向结构，聚合空间及通道维度上的有效信息，进行局部语义特征加强；在此基础上，构建基于模态间语义距离的语义逼进模型，引入对模态间语义一致性判断的显式度量，减小相同语义特征对之间的分布距离，同时扩大不同语义特征对之间的分布距离；最终结合考虑模型分类性能目标与模型语义逼近目标，进行多模态信息下的线性融合，从而使模型更好地搜寻到公共特征子空间，提高多模态融合模型诊断的效能。