一种协助视障人员沟通的情感识别方法及装置

摘要

本发明提供一种协助视障人员沟通的情感识别方法及装置。所述方法包括：获取由摄像头拍摄的对话人的脸部图像，获取由语音模块输出的对话人的音频信号及其对应的文本；将所述脸部图像、音频信号和文本分别输入图像情感识别模型、音频情感识别模型和文本情感识别模型，对输出结果进行融合后输出对话人的情感类别；通过语音播放将对话人的情感类别通知视障用户。本发明基于图像、音频和文本的情感识别结果的融合进行情感识别，提高了情感识别的精度。另外，本发明还能同时对视障用户进行情感识别和心理状态识别，并能根据视障用户的心理状态的程度给出心理疏导提示或通过直接播放语音进行疏导。