基于人工智能和大数据的职业教育教学辅助系统

摘要

本发明提供一种基于人工智能和大数据的职业教育辅助教学系统，包括图像采集模块、学员姿态置信度获取模块、学员姿态异常判断模块和学员违规识别模块。其中图像采集模块用于获取课堂上学员的图像，学员姿态置信度获取模块用于根据图像中学员的姿态获取其置信度，学员姿态异常判断模块用于根据学员的置信度判断其姿态是否存在异常，学员违规识别模块用于根据学员的姿态是否异常判断其是否违规。本发明所提供的技术方案能够解决现有技术中对学员是否违规判断结果准确性差的问题。

说明书

技术领域

本发明属于教育教学辅助系统技术领域，具体涉及一种基于人工智能和大数据的职业教育教学辅助系统。

背景技术

职业教育是教育体系的一种，包括职业学校和职业培训。在职业教育更加偏重于技能和动手操作的能力，对于学员参加工作，快速适应工作环境极其重要。学员作为学习和受教育的主体，其学习效果是衡量教学质量的最终标准，提高注意力，认真听讲，是学员能够获得良好教育效果的重要保证。随着多媒体、电子设备和网络的普及应用，为教学课堂的教学提供了多种多样的教学方法。

然而随着网络的普及，手机和平板等电子设备同样成为了很多学员标配，游戏、网剧、APP、社交模块等等，都很容易分散课堂上学员的注意力，沉迷于网络和手机的低头族已经成为课堂非常普遍的现象，这种现象直接影响着课堂的教学效果。因此，为了保证教学效果，需要对课堂上各学员的状态进行实时监控。

以前很多教室内都虽然设置有用于监控学员状态的摄像机，但是对于学员状态的判断还是主要依靠人工识别。随着图像识别技术的快速发展和应用的普及，一些教学机构将这种技术应用到教室监控的技术领域中，通过识别图像中学员的姿态来判断其听课状态。但是现有技术中对学员姿态识别的准确性较差，造成监控的效果较差。

发明内容

本发明的目的是提供一种基于人工智能和大数据的职业教育教学辅助系统，以解决现有技术中对学员是否违规判断结果准确性差的问题。

为实现上述目的，本发明采用如下技术方案：

基于人工智能和大数据的职业教育教学辅助系统，包括图像采集模块、学员姿态置信度获取模块、学员姿态异常判断模块和学员违规识别模块；

所述图像采集模块用于获取教室内学员的图像；

所述学员姿态置信度获取模块用于识别图像中学员的关键点和二维姿态信息，根据各学员关键点的被遮挡数量获取其分配权重，并结合姿态分类网络，根据各学员的二维姿态信息和分配权重得到各学员内的置信度；其中学员分配权重的计算方法为：

其中Num是一位学员关键点的总数量，Num

所述学员姿态异常判断模块用于：当学员的置信度小于第一设定值时，判断为学员的姿态正常；当学员的置信度大于第二设定值时，判断为学员内的姿态异常；当学员的置信度大于第一设定值且小于第二设定值时将该学员作为目标学员并计算其特征值，当该学员的特征值大于第三设定值时判断为该学员的姿态异常；计算目标学员特征值的方法为：

采用模糊C均值聚类计算各学员的设定隶属度，根据目标学员及其周围其他学员的设定隶属度计算该目标学员与其周围其他各学员的边权值，并根据各边权值计算该目标学员的特征值；

q

其中β

所述学员违规识别模块用于：获取设定时间内学员姿态异常的次数，判断其是否大于设定次数，如果大于，则判断为学员违规。

进一步的，获取边权值后，进行归一化处理，公式为：

Q

进一步的，采用模糊C均值聚类计算学员隶属度的方法为：

建立图像中学员的隶属度矩阵，该矩阵中每个学员有两个隶属度，其中第一隶属度是该学员属于经常违规学员内的隶属度，第二隶属度是该学员属于不违规学员的隶属度；

对所建立的隶属度矩阵进行初始化，设在初始化隶属度矩阵中第n位学员在设定时间段的第j隶属度为

设历史数据中第n位学员在设定时间段内违规的总次数为x

利用该隶属度的损失函数对

其中

迭代直到损失函数收敛，得到最终的隶属度矩阵。

进一步的，识别图像中关键点和关系亲和场的方法为：

获取第一训练数据集并建立OpenPose网络，其中第一训练数据集包括多帧含有学员姿态的图像，所建立的OpenPose网络包括关键点检测网络和二维姿态信息监测网络，两者均采用的是Encoder-Decoder结构；

对第一训练数据集中的各帧图像中各学员的关键点进行标记，其中被遮挡的关键点标记为0，未被遮挡的关键点标记为1；各关键点存在连接关系的点用方向矢量进行标注；

以第一训练数据集中标记后的图像为输入，采用交叉熵函数作为该网络的损失函数，对所建立的OpenPose网络进行训练，得到训练后的OpenPose网络；

将图像采集模块获取到的图像输入到训练后的OpenPose网络中，得到其中各学员被遮挡的关键点和未被遮挡的关键点，以及各学员的二维姿态信息。

进一步的，采用姿态分类网络获取学员置信度的方法为：

获取第二训练数据集，并建立姿态分类网络；第二训练数据集包括学员的二维姿态信息、分配权重和置信度，所建立的姿态分类网络为为Encoder-FC结构；

以第二训练数据集中学员的二维姿态信息和分配权重为输入，以相应的置信度为输出，以交叉熵函数为损失函数，对所建立的姿态分类网络进行训练，得到训练后的姿态分类网络；

将图像采集模块所获取的图像中各学员的二维姿态信息和分配权重输入到训练后的姿态分类网络，得到其中各学员的置信度。

本发明所提供的技术方案，根据所采集到的图像中学员的二维姿态信息和关键点的遮挡严重程度获取其置信度，并根据其置信度判断学员的姿态是否异常。由于本发明所提供的技术方案能够准确的判断出学员的姿态是否异常，为判断学员是否违规提供准确的依据，所以能够解决现有技术中对学员是否违规判断结果准确性差的问题。

附图说明

图1是本发明实施例中基于人工智能和大数据的职业教育辅助教学系统的结构示意图；

图2是本发明实施例中学员姿态置信度获取模块获取学员置信度的方法的流程图；

图3是本发明实施例中学员姿态异常判断模块判断学员姿态是否异常的方法的流程图。

具体实施方式

本实施例提供一种基于人工智能和大数据的职业教育辅助教学系统，其结构如图1所示，包括图像采集模块、学员姿态置信度获取模块、学员姿态异常判断模块和学员违规识别模块。其中图像采集模块用于获取课堂上学员的图像，学员姿态置信度获取模块用于根据图像中学员的姿态获取其置信度，学员姿态异常判断模块用于根据学员的置信度判断其姿态是否存在异常，学员违规识别模块用于判断学员是否违规。

本实施例中在职业教育教学的教室前方部署广角RGB相机，相机视角为斜视，视野可覆盖所有学员，图像采集模块根据相机获取教室内学员的图像。

本实施例中学员姿态置信度获取模块获取学员置信度的方法的流程如图2所示，包括如下步骤：

步骤1.1：对教师内学员图像中各学员的关键点进行识别，根据图像中各学员的关键点和二维姿态信息，根据各学员的关键点是否被遮计算其被遮挡严重程度，并根据学员的被遮挡程度获取其分配权重。

学员的二维姿态信息包括检测到的学员的关键点和各关键点之间的关系亲和场，遮挡严重程度的计算方法为：

其中α

本实施例中关键点的总数量为18，即Num＝18，分别位于鼻子、左右眼睛、左右耳朵、脖子中心点、左右肩膀、左右手肘、左右手、左右髋关节、左右膝关节、左右脚。

步骤1.2：根据学员的遮挡严重程度计算其分配权重，计算公式为：

其中N为图像中学员的总数量，max(α

步骤1.3：构建分类神经网络模型并对其进行训练，得到训练后的分类神经网络模型；将图像中学员的二维姿态信息和分配权重输入到训练后的分类神经网络模型中，得到图像中各学员的置信度。

本实施例中学员姿态异常判断模块判断学员姿态是否异常的方法的流程如图3所示，包括如下步骤：

步骤2.1：获取各学员置信度与第一设定值0.2和第二设定值0.8的大小关系：

当学员的置信度小于0.2时，判断为该学员的姿态正常；

当学员的置信度大于0.8时，判断为该学员的姿态异常；

当学员的置信度大于0.2且小于0.8时，将该学员作为目标学员并执行步骤2.2。

步骤2.2：根据各学员的违规历史数据，利用模糊C均值聚类对其进行分类，得到各学员每类的隶属度。

每位学员的历史数据中包括各学员在第一设定时间内的违规次数，利用模糊C均值聚类计算学员类隶属度的方法为：

建立图像中学员的隶属度矩阵，本实施例图像中学员的数量为N，每个学员有两个隶属度，其中第一隶属度是该学员属于经常违规学员内的隶属度，第二隶属度是该学员属于不违规学员的隶属度，因此建立的隶属度矩阵为一个N行2列的矩阵；

对隶属度矩阵进行初始化，设在初始化隶属度矩阵中第n位学员在设定时间段的第j隶属度为

设历史数据中第n位学员在设定时间段内违规的次数为x

利用该隶属度的损失函数对

其中

每迭代一次均会得到新的聚类中心以及隶属度矩阵，当隶属度损失函数的数值收敛时停止迭代，得到最终隶属度矩阵。

步骤2.3：根据目标学员及其周围其他学员的隶属度计算该目标学员与其周围其他各学员的边权值，并根据各边权值计算该目标学员的特征值。

计算目标学员与其周围其他学员的隶属度计算该目标学员与其周围其他学员的边权值的计算公式为

q

其中，β

然后对目标学员与其周围其他各学员的边权值进行归一化处理：

根据目标学员与其周围其他各学员的边权值计算其特征值时，计算公式为：

其中R

步骤2.4：判断学员的特征值是否大于0.5，如果是，则判断为该学员的姿态异常。

学员违规识别模块识别学员是否违规的方法为：获取第二设定时间内学员姿态异常的次数，判断其是否大于设定次数，如果大于，则判断为学员违规。

本实施例中通过OpenPose网络获取学员的二维姿态信息，该方法包括如下步骤：

步骤3.1：获取第一训练数据集并建立OpenPose网络，其中第一训练数据集包括多帧含有学员姿态的图像，所建立的OpenPose网络包括关键点检测网络和二维姿态信息监测网络，两者均采用的是Encoder-Decoder结构，即编码-译码结构。

步骤3.2：对第一训练数据集中的各帧图像中各学员的关键点进行标记，其中被遮挡的关键点标记为0，未被遮挡的关键点标记为1；各关键点存在连接关系的点用方向矢量进行标注，完成关系亲和场网络的标注。

步骤3.3：以标记后的第一训练数据集的图像为输入，以其中学员的关键点类型和二维姿态信息为输出，采用交叉熵函数作为该网络的损失函数，对所建立的OpenPose网络进行训练，得到训练后的OpenPose网络。其中关键点的类型包括被遮挡关键点和未被遮挡关键点。

步骤3.4：将图像采集模块获取到的图像输入到训练后的OpenPose网络中，得到图像中各学员被遮挡的关键点和未被遮挡的关键点，以及各学员的二维姿态信息。

在步骤1.3中获取学员的置信度的方法为：

步骤1.3.1：获取第二训练数据集并建立姿态分类网络，本实施例中的第二训练数据集中包括学员的二维姿态信息、分配权重和置信度，所建立的姿态分类网络采用的是Encoder-FC结构，即编码-全连接层结构。

步骤1.3.2：以第二训练数据集中学员的二维姿态信息和分配权重为输入，以相应的置信度为输出，以交叉熵函数为损失函数，对所建立的姿态分类网络进行训练，得到训练后的姿态分类网络。

步骤1.3.3：将图像中各学员的二维姿态信息和分配权重输入到训练后的姿态分类网络，得到图像中各学员的置信度。

以姿态分类网络为例，作为其巡视函数的交叉熵函数为

其中，z

学员违规识别模块识别学员是否违规的方法为：获取设定时间内学员姿态异常的次数，判断其是否大于设定次数，如果大于，则判断为学员违规。

以上公开的本发明的实施例只是用于帮助阐明本发明的技术方案，并没有尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。