基于多模态信息的服刑人员心理健康状态评估方法及系统

摘要

本公开公开了基于多模态信息的服刑人员心理健康状态评估方法及系统，获取已改造好的服刑人员和待测服刑人员，在虚拟现实情景体验后的生理信号、面部表情图像和语音信号，从获取的信号中提取生理信号特征、面部表情图像特征和语音信号特征；将已改造好的服刑人员的生理信号特征、面部表情图像特征和语音信号特征输入到预先训练好的神经网络模型中，输出已改造好的服刑人员的心理状态评估向量；将待测服刑人员的生理信号特征、面部表情特征和语音信号特征输入到预先训练好的神经网络模型中，输出待测服刑人员的心理状态评估向量；计算待测服刑人员与已改造好的服刑人员的心理状态评估向量的距离；根据距离评估服刑人员心理健康状态。