一种具有多输入多融合策略的双BiLSTM的语音情感识别方法

摘要

本发明公布了一种面向语音情感分类的具有多输入多融合策略的双BiLSTM结构。首先，提取语音信号中的Mel谱特征和统计特征两种帧级特征，然后将两种特征同时输入两个双向LSTM网络进行学习，分别应用注意力机制和平均池化操作将两个双向LSTM的输出进行拼接得到基于各帧的注意加权和及平均的两种高级特征，最后，将这两种特征进行融合及批归一化处理后，使用softmax分类器进行语音情感识别。我们的DABL模型同时处理两种不同类型的特征，以便更好地了解情绪中的细微变化。在“EMO‑DB”数据集上的实验结果表明了本文方法的优越性。