基于情绪基调的音视频双模态情绪识别算法

摘要

在音视频决策层融合过程中,当单模态间的情绪识别结果不一致时,融合后的识别结果不准确.针对这类问题,提出一种基于情绪基调的音视频双模态情绪识别算法.采用连续混合高斯分布的隐马尔科夫模型(GMM-HMM)和随机森林(RF)分别对音频和视频进行情绪识别;基于情绪基调对音频和视频的情绪识别结果进行修正;在不同情绪基调下运用线性相关性分析方法进行决策层融合.实验结果表明:将该算法应用到SEMA-INE数据库上,情绪识别的均方根误差(RMSE)得到降低,皮尔逊相关系数(PCC)得到了提高.