一种基于脑机接口的学生协作状态评估方法及系统

摘要

本发明提供一种基于脑机接口的学生协作状态评估方法及系统，包括：确定学生进行协作学习过程中的脑电波数据；所述脑电波数据通过使用脑机接口技术采集；将所述脑电波数据输入到训练好的分类器，对学生协作学习的状态进行分类；所述协作学习的状态包括：交互学习、构建学习、主动学习以及被动学习；所述分类器基于长短期记忆网络LSTM构建，用于根据学生协作学习过程中的脑电波数据对学生的协作学习状态进行分类。本发明采用脑机接口和机器学习技术，自动监测学生的协作学习状态，相比传统的通过教师的观察来判断学生的状态要更加科学和高效。

说明书

技术领域

本发明属于学生状态监测领域，更具体地，涉及一种基于脑机接口的学生协作状态评估方法及系统。

背景技术

专利CN201810429318.X公开了一种基于脑电波分析的学习状态监测系统及其使用方法。利用脑电波采集器将采集到的脑电波信息通过预处理后、平板电脑上的题库APP收集的做题信息均发送至信号分类及特征提取模块；后台诊断服务器用于对所提取的脑电信号通过PIK核心算法进行处理及相关性分析，从而诊断出学生的学习状态。该发明虽然实现了对学生脑电信号的采集从而达到对学生状态的监测，但是在教学过程中教师只能根据最后的诊断报告了解学生的学习状况，不能在学生的学习过程中实时监测，也不能根据学生的脑电数据预测学生的学习状态。另外，该专利只适用于普通的学习场景学生状态的诊断，不适用于协作学习的场景中学生状态的诊断。

专利CN201510629507.8涉及一种基于脑电波采集的课堂教学监测方法及系统，主要监测课堂教学中学生脑电波的波动情况。系统的采集终端通过脑电波感应器获取被采集学生的脑电波数据，经过处理组帧后，经WIFI模块从无线局域网送至服务器。系统的监测终端经局域网从服务器的数据库中获取并显示各采集终端的脑波数据，实时显示被采集学生的脑电波的个体波动信息和整体波动信息。该专利虽然实现了对学生学习状态的一个监测，但是只能观察到学生实时的专注度和放松度的值，只适用于普通的学习场景中学生状态的监测，不适用于协作学习的场景。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种学生协作状态评估方法及系统，旨在解决现有脑电波分析的学习状态监测系统不适用于协作学习的场景中学生状态诊断的问题。

为实现上述目的，第一方面，本发明提供了一种基于脑机接口的学生协作状态评估方法，包括如下步骤：

确定学生进行协作学习过程中的脑电波数据；所述脑电波数据通过使用脑机接口技术采集；

将所述脑电波数据输入到训练好的分类器，对学生协作学习的状态进行分类；所述协作学习的状态包括：交互学习、构建学习、主动学习以及被动学习；所述分类器基于长短期记忆网络LSTM构建，用于根据学生协作学习过程中的脑电波数据对学生的协作学习状态进行分类。

在一个可选的实施例中，所述训练好的分类器通过如下步骤得到：

基于预先收集到的训练数据对所述分类器进行训练；所述训练数据包括：预先采集的学生协作学习过程中的脑电波数据和对应的协作学习状态；将学习协作学习过程中的脑电波数据作为分类器的输入，对应的协作学习状态作为分类器的输出；

将所述训练数据划分成训练集和测试集，并利用训练集训练分类器，再利用测试集调整训练好的分类器的参数，以保证分类器的分类精度。

在一个可选的实施例中，所述分类器先用一个LSTM层作为输入层用于将输入的脑电波数据和隐藏层连接，再用一个LSTM层和一个Flatten层作为隐藏层，最后再用一个Dense层作为输出层来连接隐藏层和输出数据。

在一个可选的实施例中，所述脑电波数据包括：lowAlpha波、highAlpha波、lowBeta波、highBeta波、lowGamma波、highGamma波、delta波和theta波。

在一个可选的实施例中，所述训练数据中的协作学习状态是根据学生在进行协作学习的视频中每位学生的表现通过人工标注的方式确定。

第二方面，本发明包括一种基于脑机接口的学生协作状态评估系统，包括：脑电传感器和分类器；

所述脑电传感器用于获取学生进行协作学习过程中的脑电波数据；所述脑电波数据通过使用脑机接口技术采集；

所述分类器基于长短期记忆网络LSTM构建，用于根据学生协作学习过程中的脑电波数据对学生的协作学习状态进行分类；

所述分类器经过训练，训练好的分类器接收所述脑电波数据，基于所述脑电波数据对学生协作学习的状态进行分类；所述协作学习的状态包括：交互学习、构建学习、主动学习以及被动学习。

在一个可选的实施例中，所述分类器基于预先收集到的训练数据进行训练；所述训练数据包括：预先采集的学生协作学习过程中的脑电波数据和对应的协作学习状态；将学习协作学习过程中的脑电波数据作为分类器的输入，对应的协作学习状态作为分类器的输出；所述分类器将训练数据划分成训练集和测试集，并利用训练集训练，再利用测试集调整训练好的分类器的参数，以保证分类器的分类精度。

在一个可选的实施例中，所述分类器先用一个LSTM层作为输入层用于将输入的脑电波数据和隐藏层连接，再用一个LSTM层和一个Flatten层作为隐藏层，最后再用一个Dense层作为输出层来连接隐藏层和输出数据。

在一个可选的实施例中，所述脑电波数据包括：lowAlpha波、highAlpha波、lowBeta波、highBeta波、lowGamma波、highGamma波、delta波和theta波。

在一个可选的实施例中，所述训练数据中的协作学习状态是根据学生在进行协作学习的视频中每位学生的表现通过人工标注的方式确定。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

本发明提供一种基于脑机接口的学生协作状态评估方法及系统，采用脑机接口和机器学习技术，自动监测学生的协作学习状态，相比传统的通过教师的观察来判断学生的状态要更加科学和高效。本发明通过为每名学生佩戴便携式脑电设备，采集学生协作学习时的脑电信号，作为自动协作状态分类器的原始数据。本发明通过编写协作分类编码表，利用人工编码，为自动协作分类器提供学习标签。本发明利用深度学习算法(以LSTM为例)，结合多名学习者的同步脑电数据，以及根据学生在进行协作学习的视频中每位学生的表现通过人工标记的协作状态分类标签，构造学生协作学习状态自动分类器。

附图说明

图1为本发明实施例提供的学生协作状态评估方法流程图；

图2为本发明实施例提供的学生协作状态评估系统架构图；

图3为本发明实施例提供的脑电传感器结构图；

图4为本发明实施例提供的状态分类部分的流程图；

图5为本发明实施例提供的状态分类效果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明涉及一种基于脑机接口的学生协作状态评估技术，主要用于对学生在课堂上进行协作学习时的协作状态做出分类，以便在学生的处于低效协同和无效协同的时侯及时进行干预。本发明主要包括脑电波数据的采集和协作状态的分类两部分。在脑电波数据的采集部分，通过便携式的单通道脑电传感器采集每个学生的脑电波数据，原始的脑电波数据经过传感器的处理模块处理后再经过蓝牙模块发送至采集端，采集端经过简要的处理后再发往服务端，多名学生的脑电数据在服务端进行汇聚并存储在数据库中，最后再将这些数据在监测端展示出来。在协作状态分类部分，利用深度学习算法并结合多名学生的同步脑电数据，以及根据学生在进行协作学习的视频中每位学生的表现通过人工标记的协作状态分类标签，构造学生协作学习状态自动分类器。

这样就可以实现在学生进行协作学习时对学生的协作状态进行分类，教师可以根据分类的结果掌握每个学生在协作学习时的协作状态，对低效协同和无效协同的学生给予适当的干预，以提高学生的学习效率。该发明可以帮助教师掌握每个学生在协作学习时的参与情况，同时也为课堂教学过程的改进和评价提供了数据支持。

图1为本发明实施例提供的学生协作状态评估方法流程图；如图1所示，包括如下步骤：

S101，确定学生进行协作学习过程中的脑电波数据；

S102，将所述脑电波数据输入到训练好的分类器，对学生协作学习的状态进行分类；所述协作学习的状态包括：交互学习、构建学习、主动学习以及被动学习；所述分类器基于长短期记忆网络LSTM构建，用于根据学生协作学习过程中的脑电波数据对学生的协作学习状态进行分类。

本发明涉及一种基于脑机接口的学生协作状态评估技术，其主要包括脑电波数据的采集和协作状态的分类两部分。图2为本发明实施例提供的学生协作状态评估系统架构图；如图2所示，为每名学生佩戴便携式脑电设备，采集学生协作学习时的脑电信号，采用脑机接口和机器学习技术，自动监测学生的协作学习状态。

在脑电波数据的采集部分是利用一个便携式的单通道脑电传感器采集学生在协作学习时的脑电波数据，其包括一个参考电极、一个活动电极和一个托架。图3为所用脑电传感器。其中，参考电极位于耳垂，用于将该处的电位设置为0。活动电极位于前额，用于记录此处的电位。脑电信号记录的就是位于耳垂处的参考电极和位于前额处活动电极电位变化的绝对值。

在进行数据采集前，先将参与测试的学生分为几个小组，各小组学生配戴好脑电传感器并根据教师安排的学习任务进行协作学习。且在正式开始之前，参与测试的学生还需先静坐几分钟，以排除测试前的行为对数据产生的干扰。

采集到的原始脑电数据先经过传感器中的芯片处理后可以区分出lowAlpha波、highAlpha波、lowBeta波、highBeta波、lowGamma波、highGamma波、delta波和theta波，并根据相关算法算出专注度attention和放松度meditation的值。

专注度attention值的范围为0-100，数值越大，代表注意力越集中。放松度meditation的值的范围为0-100，数值越大，代表大脑越放松。

delta表示脑电信号中δ节律波，与疲劳和昏睡状态相关，其频率范围为0.5HZ～2.75HZ。

theta表示脑电信号中θ节律波，与放松、困倦和睡眠有关。其频率范围为3.5HZ～6.75HZ。

lowAlpha表示脑电信号中低频的α节律波，与放松状态有关，其频率范围为7.5HZ～9.25HZ。

highAlpha表示脑电信号中高频的α节律波，与放松、平静等状态有关，其频率范围为10HZ～11.75HZ。

lowBeta表示脑电信号中低频的α节律波，与思考、专心等状态有关，其频率范围为13HZ～16.75HZ。

highBeta表示脑电信号中高频的β节律波，与焦虑、紧张、害怕等状态有关，其频率范围为18HZ～29.75HZ。

lowGamma表示脑电信号中低频的Y节律波，与冥想状态有关，其频率范围为31HZ～39.75HZ。

highGamma表示脑电信号中高频的Y节律波，与听说读等行为有关，其频率范围为41HZ～49.75HZ。

然后再将这些数据经过芯片处理并打包后通过蓝牙模块将这些数据发送到采集端，采集端接收到的数据的频率为1秒钟1条，每条数据中都包含attention、meditation、lowAlpha、highAlpha、lowBeta、highBeta、lowGamma、highGamma、delta、和theta这几个数据的值。在采集端将每条数据加上时间戳和所用设备的ID用于区分每个学生的脑电数据。经过这些简单的处理后再将数据汇聚到服务端。服务端再将这些数据存入数据库中，表1为采集的脑电波数据。

表1

在协作状态分类部分，利用深度学习算法并结合多名学习者的同步脑电数据以及人工标记的协作状态分类标签，构造学生协作学习状态自动分类器，从而实现对学习者在协作学习时的协作状态进行分类。教师根据学生协作状态的分类结果给学习者适当的干预，使学生更好的参与协作学习从而提高学习效率。图4为学生协作状态评估分类的流程图。

长短期记忆网络(LongShort-TermMemory，LSTM)是一种特殊的循环神经网络(RNN)，它能够学习序列中的长期依赖关系。因为采集的脑电波数据属于时间序列，所以可以利用LSTM对一段时间内的脑电数据进行分类。

首先用视频记录下学生在协作学习时的学习过程。然后在课程结束后通过查看视频观察每个学生上课时的表现并对每个学生每分钟的协作状态进行人工标注。通过编写协作分类编码表，利用人工编码为自动协作分类器提供学习标签。

根据ICAP学习框架，可以将学生在协作学习时的协作状态分为交互学习(Interactive)、构建学习(Constructive)、主动学习(Active)、被动学习(Passive)四种。

交互学习是一种以对话为交互原型的学习活动类型，强调两个及以上学生围绕同一主题或概念展开学习，“协同创新”为其显著特征。构建学习要求学生通过学习生成超出教材或所提供学习材料之外的新思想和新观点。主动学习是指学生在学习的过程中积极参与教学，通过实际学习行为操控学习材料的一种活动。被动学习是指学生在学习的过程中除了集中注意听取他人的讲解外没有其他外显的活动表现。

再通过对已经收集的脑电数据进行预处理，构造出LSTM模型所规定的标准数据格式。并将这些数据划分训练集和测试集，然后定义和建立LSTM模型，构造出学生协作学习状态自动分类器，最后利用这个分类器并结合学习者的脑电数据对学习者的协作状态进行分类。图5为小组协作状态分类的效果图。

所述方法的实施步骤如下：

(1)获取脑电数据的历史数据，这些数据包括time、attention、meditation、lowAlpha、highAlpha、lowBeta、highBeta、lowGamma、highGamma、delta、theat，只需提取其中的lowAlpha、highAlpha、lowBeta、highBeta、lowGamma、highGamma、delta、theat这8段的数据。并将数据的格式转化成LSTM模型所需的数据格式。

(2)结合学生协作学习时的视频，编写协作分类编码表，利用人工编码为自动协作分类器提供学习标签。

(3)构造出学生协作状态自动分类器，然后在脑电数据的训练集上训练分类器，并在测试集上测试分类器的精度，根据测试的结果调整分类器的参数。使分类器的精度达到较高水平。

(4)利用训练好的学生协作学习状态自动分类器，并结合学生在协作学习时的脑电数据，对学生的协作状态进行分类。

本发明在学生协作状态分类中的主要过程具体如下：

1.数据的预处理

通过脑电传感器采集的原始脑电数据在经过处理后，存入数据库中的数据包括time、attention、meditation、lowAlpha、highAlpha、lowBeta、highBeta、lowGamma、highGamma、delta、theat。要建立学生协作分类模型只需提取其中的8段数据lowAlpha、highAlpha、lowBeta、highBeta、lowGamma、highGamma、delta、theat。

2.编写协作分类编码表

用视频记录下学生在协作学习时的学习过程。在课程结束后通过查看视频观察每个学生上课时的表现并对每个学生每分钟的协作状态进行人工标注。通过编写协作分类编码表，利用人工编码为自动协作分类器提供学习标签。

3.构造标准的数据格式

在定义LSTM模型之前，需要按照模型需要的格式构造输入数据的格式。当前脑电数据是一秒钟一条，一条有8列数据。需要将每分钟也就是每60条数据作为一组数据，然后结合人工标注的协作分类编码表，给每分钟的数据打上标签。

LSTM模型要求输入的数据按照(D,N)的二维格式，其中D代表每次输入的数据的条数，这里设置为60，表示一次输入1分钟的数据，N代表每条数据的特征变量数，这里设置为8，表示每条数据中有lowAlpha、highAlpha、lowBeta、highBeta、lowGamma、highGamma、delta、theat这8个变量值。

4.构造出学生协作状态自动分类器

利用深度学习算法构建分类器用于学生协作状态的分类。此分类器先用一个LSTM层作为输入层用于将输入信息和隐藏状态连接，再用一个LSTM层和一个Flatten层作为隐藏层，最后再用一个Dense层作为输出层来连接隐藏状态和输出状态。并将原始的脑电数据分成训练集和测试集，在训练集上训练分类器，并根据训练结果调整参数。

5.利用学生协作状态自动分类器对学生的协作状态进行分类和精度检验

分类器训练完毕后，将测试集作为分类函数的输入，输出分类结果，将输出与原数据进行精度检验。并根据结果调整参数，使分类器的精度达到较高水平。

6.将学生协作状态自动分类器用于学生协作状态的分类

从服务端中的数据库中读取新测得的学生的脑电数据，使用训练好的分类器对学生的协作状态进行分类。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。