基于内容生成与特征提取的图像情感识别模型研究

摘要

针对图像情感分析局限于图像模态情感分析,而未扩展到文本模态情感分析的问题,提出一种基于预训练模型BERT(Bidirectional encoder representations from transformers)与图像内容生成模型的图像情感识别方法。首先利用图像生成模型生成图像文本内容,并基于预训练的BERT-base和BERT-wwm语言模型对图像的文本内容特征进行提取,然后对样本特征进行精选和分类,并在Twitter1和FI公开数据集上进行验证。结果表明,本研究所构建的模型可实现图像情感分析,且具有较高的正确率。相较于CCA、SPN、FTR101等常用图像情感分析模型,本研究构建的模型对图像情感分析的正确率较高,在Twitter1数据集上的识别准确率达到81.1%,在FI数据集上的识别准确率达到67.4%,具有一定的优越性和实用性,实现了从文本模态角度对图像情感的分析。