基于多模态的大学生情绪压力检测系统与方法

摘要

本发明公开了基于多模态的大学生情绪压力检测系统与方法，方法步骤如下：S01.人为激发被试处于情绪激发状态进行情绪压力测试实验，并分别获取被试基础情绪压力状态下和压力激发状态下的EEG、ECG和GSR数据；S02.将步骤S01中采集到的EEG、ECG和GSR数据进行预处理与特征提取；S03.将步骤S02中得到的EEG特征、ECG特征和GSR特征输入预先训练好的BP神经网络中进行分类，得到基于多模态的被试基础情绪压力等级与激发压力等级；S04.将步骤S03中的基础情绪压力等级、激发压力等级与压力变化差值输入至预先训练好的感知器中进行分类，判断被试是否处于高情绪压力状态。本发明可以准确地识别被试面对压力环境时的情绪压力变化情况，对识别高危情绪大学生个体具有重要作用。

说明书

技术领域

本发明涉及多模态情绪识别技术领域，具体来说就是使用在压力测试实验的场景下，采集实验者脑电波、心电信号和皮电反射并进行多模态特征融合，进而判断大学生个体情绪压力状态的检测系统与方法。

背景技术

适当的情绪压力能够提高人们的工作效率，但是过大或长期的情绪压力将对人们的生活产生不良影响，甚至影响人们的身体健康。其中大学生群体面对的来自学习、就业、经济等各方面的压力越来越大，其面对压力时往往较难得到自我排解，压力逐渐累积会导致负面情绪爆发，长此以往甚至有走极端的可能。

现有的针对大学生群体的情绪压力检测方法往往是通过调查问卷的形式，这种形式在心理学研究上具有重要的意义，但是对个体而言，很容易通过故意选择与事实相反的选项，或者是故意隐瞒自身的负面情绪等方式“欺骗”调查问卷，以此隐瞒自身的情绪状态。

鉴于大学生面临的现状，本发明将多模态生理信号的情绪压力识别方式，结合程序化的压力诱导与生理信号采集系统，可以更加科学、准确、有效的评估大学生群体中人员的面对压力时候的情绪状态，能够及时的识别处于高危压力心态下的学生，后续通过针对性的心理疏导能够有效地保护学生的心理健康与生命安全。

发明内容

本发明所要解决的技术问题在于解决大学生群体情绪压力评估问题。

本发明通过以下技术手段实现解决上述技术问题的：

本发明提出基于多模态的大学生情绪压力检测方法，方法步骤如下：

S01.通过情绪压力测试实验，人为激发被试处于情绪激发状态，并分别获取被试基础情绪压力状态下和压力激发状态下的EEG、ECG和GSR数据；

S02.将步骤S01中采集到的EEG、ECG和GSR数据进行预处理与特征提取；

S03.将步骤S02中得到的EEG特征、ECG特征和GSR特征输入预先训练好的BP神经网络中进行分类，得到基于多模态的被试基础情绪压力等级与激发压力等级；

S04.将步骤S03中的基础情绪压力等级、激发压力等级与压力变化差值输入至预先训练好的感知器中进行分类，判断被试是否处于高情绪压力状态。

优选的，所述步骤S01中的情绪压力测试实验包括以下阶段：

第一阶段：介绍实验流程与目的，调查被试的基本信息。

第二阶段：佩戴仪器设备同时适应实验环境，待设备佩戴结束后进入十分钟的自我休息阶段，闭目养神，期间记录静息闭眼状态下EEG、ECG和GSR数据五分钟，作为被试的基础情绪压力水平。

第三阶段：进行压力任务测试，测试分为问题陈述环节与心算数学题测试环节；做数学题期间记录压力激发状态下的EEG、ECG和GSR数据五分钟，作为被试的激发情绪压力水平。

第四阶段：放松休息阶段。

优选的，所述步骤S01中EEG数据的获取选用EEG设备，该EEG设备共分布有Fp1，Fp2，C3，C4，Cz，P3，P4，Pz，Tp9，Tp10十个电极，其中的Tp9、Tp10作为参考电极，采样率预先设定为500Hz。

所述步骤S01中ECG数据的获取选用ECG穿戴设备，ECG设备中的NEG端接右手手臂，POS端接左手手臂，Earth端接右脚脚踝处。

所述步骤S01中GSR数据的获取采用GSR设备，GSR设备的两个电极使用连接带连接到同一只手的食指与无名指中段位置。

优选的，所述步骤S02中采集到的EEG、ECG和GSR数据预处理与特征提取包括：

一、EEG数据的预处理与特征提取：

(1)使用插值法去除坏通道，将由于通道故障或者电极位置错误的无用通道信号进行去除；

(2)滤波，使用快速傅里叶变化过滤掉频带外的噪声，保留脑电信号后续处理需要用的阿尔法波和贝塔波频带；

(3)降采样，降低采样率至256Hz，以减少后续的计算量；

(4)使用独立成分分析法(ICA)去除眼动、头部运动、心跳伪影；

(5)选择脑电信号中的power_α(阿尔法波功率)、power_highβ(23～30Hz高贝塔波功率)以及power_highβ/power_α(高贝塔波功率与阿尔法波功率比值)作为脑电信号的特征。

二、ECG数据的预处理与特征提取：

(1)采用小波变换对采集到的心电数据进行去噪；

(2)选择心电信号中的R-R_mean(R-R间期均值)、SDNN(R-R间期的标准差)、HRV(心率变异性)和HR_mean(每组ECG数据的心率平均值)作为ECG的特征。

三、GSR数据的预处理与特征提取：

(1)采用小波变换去除皮电信号中的高频部分干扰噪声，并对皮电信号进行归一化处理；

(2)选择皮肤电信号的GSR_mean(每组GSR数据的平均值)、GSR_median(每组GSR数据的中值)、GSR_std(每组GSR数据的标准差)和GSR_range(每组数据的最大值与最小值的差值)作为GSR的特征。

优选的，所述步骤S03中BP神经网络包括输入层、隐含层、输出层依次串联，且输入层、隐含层、输出层之间的传递函数为线性传输函数；

其中的输入层有11个输入单元，隐含层有13个神经元，输出层有三个输出单元，网络的输入向量为11维的向量x，其中x1,x2,x3代表EEG特征的power_α、power_highβ以及power_highβ/power_α，x4,x5,x6,x7代表ECG特征R-R_mean、SDNN、HRV和HR_mean，x8,x9,x10,x11代表GSR特征GSR_mean、GSR_median、GSR_std和GSR_range，每组数据输入前均做归一化处理。

BP神经网络隐含层按照经验公式设计了13个神经元，其中x代表输入层神经元数量，y代表隐含层神经元个数，z代表输出层神经元个数，a为1至10之间的常数。

设输入层神经元数量为m，网络的输入向量为m维的向量x，隐含层含有s个神经元，输出层有n个输出神经元，输出向量为n维的向量y，其中隐含层神经元的变换函数为F1，输出层神经元的变换函数为F2。令V

输入层的输出值为：

o

隐含层输入为：

隐含层输出为：

输出层的输入为：

输出层输出为：

BP神经网络训练公式为：

其中d

优选的，所述步骤S04中多模态BP神经网络得到被试静息状态下与压力激发状态下的压力值为1～7，压力值为1代表情绪压力最低，压力值为7代表情绪压力最高；通过单层感知器的神经元进行线性分类时，采用加权求和的决策融合方法，输入值为静息状态下压力指数x1，压力激发状态下压力指数x2，以及压力变化值x3＝x2-x1，输出函数选择阈值函数，阈值为3.5。

本发明中情绪压力检测方法的有益效果是：

(1)本发明通过采取情绪压力测试实验的方法主动激发被测者的情绪压力，并将实验中压力激发前后的情绪压力进行对比，能够了解被测者在面对压力事件时候的情绪压力变化情况，能够准确、科学地发现高压力风险者。

(2)本发明采用多模态的方法，结合多种生理信号，通过特征提取EEG信号不同频段下的能量特征，结合ECG特征与GSR特征，作为BP神经网络输入特征，能够准确的识别被测者情绪压力状态；实现对情绪压力状态的准确分类；对心理学、神经生理学方面的多模态情绪压力识别产生广泛的影响，也能够更好地研究情绪压力产生的生理机制。

(3)本发明中预处理可以很好地去除EEG信号伪迹；去除因采集设备电源干扰、被试者肢体动作以及呼吸干扰等干扰原因对ECG信号产生的干扰；去除GSR信号中的基线漂移与噪声信号干扰。

(4)本发明中EEG、ECG与GSR信号特征选择了与情绪压力相关度较高的特征，其中EEG选择power_α、power_highβ以及power_highβ/power_α三个特征，ECG选择R-R_mean、SDNN、HRV和HR_mean四个特征，GSR选择GSR_mean、GSR_median、GSR_std和GSR_range四个特征。选取的这些特征与人员情绪压力相关度较高，能够带来更好的识别和分类效果。

本发明还提出一种应用于上述检测方法中的压力检测系统，包括：

情绪压力测试实验模块，所述情绪压力测试实验模块用于激发被试压力情绪；

EEG、ECG和GSR信号数据采集模块，所述EEG、ECG和GSR信号数据采集模块用于获取EEG、ECG和GSR数据；

EEG、ECG和GSR信号预处理与特征提取模块，所述EEG、ECG和GSR信号预处理与特征提取模块用于对采集的EEG、ECG和GSR数据进行预处理，并进行特征提取；

输入模块，所述输入模块用于把特征提取后的EEG特征、ECG特征和GSR特征作为输入特征，输入到BP神经网络中，实现对情绪压力等级的分类；

决策模块，所述决策模块用于接收输入被试基础压力等级、激发压力等级与压力变化差值，并通过单层感知器的神经元计算后得到被试的压力水平是否处于正常状态。

本发明中情绪检测系统的有益效果为：决策模块使用被试的基础压力等级、激发压力等级与压力变化差值，通过单层感知器的神经元计算后得到被试面对压力任务时候的情绪压力是否处于正常水平。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例1的流程方框图；

图2为本发明中EEG、ECG和GSR信号采集示意图；

图3为本发明中BP神经网络结构示意图；

图4为本发明实施例1的系统框图；

图5为本发明实施例2的结构示意图；

图6为本发明实施例1中的性能结果曲线图；

图7为本发明中感知器的结构示意图。

图中，301-情绪压力测试实验模块，302-EEG、ECG和GSR信号数据采集模块，303-EEG、ECG和GSR信号预处理与特征提取模块，304-输入模块，305-决策模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了更好地理解本发明，首先对本实施例中涉及到的名词进行介绍：

被试，心理学实验或心理测验中接受实验或测试的对象，可产生或显示被观察的心理现象或行为特质；在心理测量中实施测验的人叫主试。

EEG：脑电信号Electroencephalogram的简称，脑电信号是离子跨膜流动所产生的，膜电位是产生神经活动的基础。

ECG：心电信号Electrocardiogram的简称，心电信号是心脏内部产生的电刺激脉冲，在人体不同部位皮肤表面形成的电位差，是心脏活动在体表的综合表现。

GSR：皮电反射Galvanic Skin Reflex的简称，皮肤电反应是皮肤汗腺机能的变化而产生的微小电流，是皮肤传导性指标，常被用来测量情绪反应。

需要说明的是，本发明中的实施例主要针对使用多模态方法对大学生情绪压力检测的方法与流程。

实施例1

一种基于多模态的大学生情绪压力检测方法，如图1、图4所示，包括以下步骤；

S01.通过情绪压力测试实验，人为激发被试处于情绪激发状态，并分别获取被试基础情绪压力状态下和压力激发状态下的EEG、ECG和GSR数据。

其中，步骤S01中的压力测试实验可具体的分为以下几个阶段：

第一阶段：介绍实验流程与目的，调查被试的基本信息。

第二阶段：佩戴仪器设备同时适应实验环境，待设备佩戴结束后进入十分钟的自我休息阶段，闭目养神，期间记录稳态下EEG、ECG和GSR数据五分钟，作为被试的基础情绪压力水平。

第三阶段：进行压力任务测试，测试分为两个部分：问题陈述环节与心算数学题测试环节。

其中问题陈述环节的具体程序与问题选择是：在任务测试开始后，首先让被试抽取一个话题题目，被试需要在五分钟准备过后用演讲的形式叙述一个话题，例如对某学科或者某课程实验的介绍，叙述至少五分钟。如果不满五分钟需要提醒被试继续回答，期间要保持严厉。当被试叙述满五分钟后要求被试停止陈述并且进入心算数学测试环节。

心算数学测试环节的具体程序是：题目类型包括三类数学题，分别是：数字计算题、图形分析题与逻辑推理题。题目来自初中奥数题集，题目以心算的方式计算。心算数学题按照一分钟一题的节奏发布，当被试在内心计算完后需要报出答案，并由主试告诉是否准确。若被试未能在规定的一分钟时间内计算完，则按照时间设置自动播放下一题。

任务测试全程伴随着噪声。记录心算数学测试环节的五分钟EEG、ECG和GSR数据，以此作为被测压力激发状态下的压力水平。

第四阶段：放松休息阶段。

另外，在EEG采集过程中涉及到十个电极，分别为Fp1，Fp2，C3，C4，Cz，P3，P4，Pz，Tp9，Tp10，选择Tp9，Tp10作为参考电极；采样率预先设定为500Hz。EEG设备电极分布情况如图2(a)所示。

ECG设备穿戴如图2(b)所示，NEG端接右手手臂上，POS端接左手手臂上，Earth端接右脚脚踝处。

GSR设备的两个电极使用连接带连接到同一只手的食指与无名指中段位置(指骨)，具体的穿戴方式见图2(c)所示。在开始测量前进行开路调零与目标调零。

S02.将步骤S01中采集到的EEG、ECG和GSR数据进行预处理与特征提取。对采集EEG、ECG和GSR数据进行预处理与特征提取过程为：

EEG预处理与特征提取：

1)使用插值法去除坏通道，将由于通道故障或者电极位置错误的无用通道信号进行去除。

2)滤波，使用快速傅里叶变化，过滤掉频带外的噪声，保留脑电信号后续处理需要用的阿尔法波(8～13Hz)、贝塔波频带(13～30Hz)。

3)降采样，通过降低采样率至256Hz，以减少后续的计算量。

4)使用独立成分分析法(ICA)去除眼动、头部运动、心跳等伪影。

5)选择脑电信号中的power_α(阿尔法波功率)、power_highβ(23～30Hz高贝塔波功率)以及power_highβ/power_α(高贝塔波功率与阿尔法波功率比值)作为脑电信号的特征。

心电信号预处理与特征提取：

1)采用小波变换对采集到的心电数据进行去噪。

2)选择心电信号中的，R-R_mean(R-R间期均值)、SDNN(R-R间期的标准差)、HRV(心率变异性)和HR_mean(每组ECG数据的心率平均值)作为心电信号的特征。

SDNN(R-R间期的标准差)计算公式为：

HR_mean(每组ECG数据的心率平均值)计算公式为：

皮电信号预处理与特征提取：

1)采用小波变换去除皮电信号中的高频部分干扰噪声，并对皮电信号进行归一化处理，降低因个体皮肤电信号存在的差异而带来的误差。

2)选择皮肤电信号的GSR_mean(每组GSR数据的平均值)、GSR_median(每组GSR数据的中值)、GSR_std(每组GSR数据的标准差)和GSR_range(每组数据的最大值与最小值的差值)作为皮肤电信号的特征。

GSR_mean(每组GSR数据的平均值):

GSR_std(每组GSR数据的标准差):

S03.将步骤S02中得到的EEG特征、ECG特征、GSR特征输入预先训练好的BP神经网络中进行分类，得到基于多模态特征融合的被试的情绪压力等级。

如图3所示为本发明中S03步骤使用的BP神经网络结构示意图：

BP神经网络包括输入层、隐含层、输出层依次串联，且输入层、隐含层、输出层之间的传递函数为purelin函数(线性传输函数)；输入值可取任意值，输出值取0或1。

BP神经网络的拓扑结构，输入层有11个输入单元，网络的输入向量为11维的向量X，其中x1,x2,x3代表EEG特征的power_α、power_highβ以及power_highβ/power_α，x4,x5,x6,x7代表ECG特征R-R_mean、SDNN、HRV和HR_mean，x8,x9,x10,x11代表GSR特征GSR_mean、GSR_median、GSR_std和GSR_range，每组数据输入前均做归一化处理。

BP神经网络隐含层则按照经验公式

设输入层神经元数量为m，网络的输入向量为m维的向量x，隐含层含有s个神经元，输出层有n个输出神经元，输出向量为n维的向量y，其中隐含层神经元的变换函数为F1，输出层神经元的变换函数为F2。令V

输入层的输出值为：

o

隐含层输入为：

隐含层输出为：

输出层的输入为：

输出层输出为：

BP神经网络训练公式为：

其中d

根据EEG、ECG、GSR标准情绪数据集对BP神经网络进行训练，经过测试本实例中学习率设置为0.1时分类效果较优。选取80％样本作为训练集，20％样本作为测试集，将情绪压力测试等级分为1～7个等级，其中等级1代表情绪压力最低，情绪7代表情绪压力最高。当迭代次数为300时，均方误差下降较快；当迭代次数达到500次时，曲线比较光滑，系统得到收敛，且均方误差为0.057516，BP神经网络训练迭代图如图6所示。通过本发明进行分类，分类准确率在87.17％，实现了基于多模态的对情绪压力很好的分类，能够用来检测被试的情绪压力状态。

S04.将步骤S04中的基础情绪压力等级与激发压力等级输入至预先训练好的感知器中进行分类，判断被试是否处于高情绪压力状态下。

通过S03中的多模态BP神经网络的到被试者静息状态下与压力激发状态下的压力值(1～7)，其中压力值为1代表情绪压力最低，压力值为7代表情绪压力最高，通过单层感知器的神经元进行线性分类，输入静息状态下压力指数x1，压力激发状态下压力指数x2，以及压力变化值x3＝x2-x1。得到对此被试是否处于高危状态下的评价。感知器结构如图7所示，采用加权求和的决策融合方法，ω

综上，通过本发明中的检测方法，激发被试在实验过程中产生情绪压力，采集被试在压力激发前后的两组EEG、ECG和GSR信号，分别在对这两组EEG、ECG和GSR信号进行预处理和特征提取后，输入到预先训练好的BP神经网络中进行情绪等级分类，最后将静息状态下压力值、压力激发状态下的压力值与压力变化差值结果共同输出到单个感知器中，进行线性分类，以判断此被试的情绪压力是否处于危险状态中。

实施例2

基于与前述实施例一中基于多模态的大学生情绪压力检测方法同样的发明构思，本发明还提供基于多模态的大学生情绪压力检测系统，如图5所示，包括：

情绪压力测试实验模块301，情绪压力测试实验模块301用于激发压力情绪。

EEG、ECG和GSR信号数据采集模块302，EEG、ECG和GSR信号数据采集模块302用于获取EEG、ECG和GSR数据。

EEG、ECG和GSR信号预处理与特征提取模块303，EEG、ECG和GSR信号预处理与特征提取模块303用于对采集的EEG、ECG和GSR数据进行预处理，并进行特征提取。

输入模块304，输入模块304用于把特征提取后的EEG特征、ECG特征和GSR特征作为输入特征，输入到BP神经网络中，实现对情绪压力等级的分类。

决策模块305，决策模块305用于接收输入被试基础压力等级、激发压力等级与压力变化差值，通过单层感知器的神经元计算后得到被试的压力水平是否处于正常状态。

前述实施例一中的基于多模态的大学生情绪压力检测方法的各种变化方式和具体实例同样适用于本实施例的基于多模态的大学生情绪压力检测系统，通过前述对基于多模态的大学生情绪压力检测方法的详细描述，本领域技术人员可以清楚的知道本实施例中基于多模态的大学生情绪压力检测系统的实施方法，所以为了说明书的简洁，在此不再详述。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。