一种基于多模态融合的艺术品分类方法及系统

摘要

本发明提供了一种基于多模态融合的艺术品分类方法及系统，属于自然语言处理和计算机视觉领域。该方法首先对艺术品的两种模态的数据进行预处理，然后分别获得文本模态的预测结果和图像的预测结果，并利用学习权重向量得到艺术品分类预测结果。本发明克服了预先定义决策规则不能从数据中学习的缺点，可以对多模态的分类器预测数据进行权重学习，作为决策规则进行决策级的融合，而且，本发明克服了单模态艺术品分类的局限性，有效提升了多模态艺术品分类的准确率和鲁棒性。