一种双向LSTM时间表征提取的多模态情绪识别方法和系统

摘要

本发明提供了一种双向LSTM时间表征提取的多模态情绪识别方法和系统，涉及智慧医疗技术领域，包括：接收原始生理信号；基于短时傅里叶变换将原始生理信号转化为包含时域信息和频域信息的频谱图；采用双向长短期记忆网络提取频谱图中的时间特征；采用注意力机制提取关键时序信息以及自动跳过情感数据冗余信息，生成注意力数据；将注意力数据输入到深度神经网络，并将深度神经网络的输出接入全连接层进行分类，以获取对分类的预测概率，预测概率用于表达情绪识别结果。本发明分析生理信号的时序特征，以时序特征表征情绪信息，使用简单的DNN便可以实现较高准确率的基于脑电等生理信号的情绪识别。