一种基于音视频信息的多模态双相抑郁障碍自动检测方法

摘要

本发明公开了一种基于音频、视频的多模态双相情感障碍检测方法。此方法分为两步进行：音、视频单模态双相抑郁障碍检测和将音视频融合的多模态双相抑郁障碍检测。在单模态双相抑郁障碍检测阶段，采用音频和视频两种信息流分别对患者双相抑郁症的程度进行初步判断，之后在多模态检测阶段，将前面得到的音、视频的单模态检测结果相结合，进行最终的多模态双相抑郁症程度分类。这种方法在公开的双相抑郁症数据库上已经取得了很好的效果，且整个系统复杂度低，只需将采集到的患者音视频信息输入到训练好的模型中即可得到患者的双相抑郁症程度，是一种无创性检测方法，因此该方法具有可推广性。