一种对多模态情绪识别进行层次不确定性量化估计的方法

摘要

本发明公开了一种对多模态情绪识别进行层次不确定性量化估计的方法，通过构建权重共享三元网络模型，并通过模型中多模态条件层归一化模块提取当前各模态语句的全局状态特征；利用模型中源自适应噪声干扰注意力模块结合之前轮次的全局状态特征得到上下文关系向量，结合前一轮次各单模态语句更新说话者状态，并利用模型中情绪神经网络单元提取更新后说话者状态特征，得到各单模态情绪表征，最终利用模型中基于胶囊的预测层对各单模态情绪表征进行融合、预测；本发明通过引入上下文层级不确定性和模态层级不确定性，完成对预测结果不确定性与可靠性的量化估计，赋予情绪识别系统量化估计不确定性的能力，提高估计的可靠性，改进情感计算模型的性能。