一种基于人工智能的校园社交关系大数据分析系统

摘要

本发明涉及计算机视觉技术领域，尤其涉及一种基于人工智能的校园社交关系大数据分析系统，包括依次连接的数据采集系统、数据管理系统、大数据分析系统，解决了传统的社交关系研究系统建立的网络特征不明显，不能精准地获取社交关系亲密度的问题；本发明通过人工智能的方法构建学生的社交关系，从而为教学研究人员提供辅助手段，为教学管理人员提供辅助决策手段；另外，本发明针对课间和校园进行分区域采集和管理，更合理、更灵活，且社交网络特征更明显，同时本发明在社交网络中引入了簇内关注度，大大提高了数据的可靠性。

说明书

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于人工智能的校园社交关系大数据分析系统。

背景技术

随着教育改革的深入，在信息化日益深化的今天，智慧校园成为结合网络并提高学校内用户交流组建活动的解决途径之一，同时可用于为教育者制定有效的干预策略提供指导。

在传统的网络研究中，研究者多通过手机APP、校园卡、校园网WiFi等来收集一个学校里面绝大多数学生的生活和学习行为数据，并对这些学生每天产生的海量数据进行行为分析、挖掘，然而，通过校园卡等方式较为片面，社交网络特征不明显，使得获得的社交网络略有偏差。

发明内容

本发明提供一种基于人工智能的校园社交关系大数据分析系统，解决的技术问题是，传统的社交关系研究系统建立的网络特征不明显，不能精准地获取社交关系亲密度。

为解决以上技术问题，本发明提供了一种基于人工智能的校园社交关系大数据分析系统，包括依次连接的数据采集系统、数据管理系统、大数据分析系统；

所述数据采集系统，包括第一数据采集系统以及第二数据采集系统；

所述第一数据采集系统用于将采集到的室内图像输入第一深度神经网络，输出左右耳热力图以及脸部边界框，以根据所述左右耳热力图获取面部朝向以及室内位置坐标，根据相邻所述脸部边界框获取室内轨迹信息；

所述第二数据采集系统用于将采集到的室外图像输入第二深度神经网络，输出脚掌与地面的接触点热力图以及脸部包围框，以根据所述接触点热力图获取室外位置坐标，根据所述脸部包围框获取身份信息；

所述数据管理系统，包括第一数据管理系统以及第二数据管理系统；

所述第一数据管理系统利用所述室内位置坐标将学生聚类生成有向图，并利用所述人面部朝向为所述有向图赋予边权值，获取室内图网络；还用于将相邻的所述室内图像获取的所述图网络进行融合得到室内社交网络，并将相邻课间的室内社交网络融合得到室内社交关系图；

所述第二数据管理系统根据所述室外位置坐标将学生聚类生成无向图，并利用所述室外位置坐标与聚类中心的距离为所述无向图赋予边权值，获取室外图网络；构建室外社交网络；还用于将相邻的所述室外图像获取的所述图网络进行融合得到室外社交网络，并将一个课间时间长度的室外社交网络融合得到室外社交关系图；

所述大数据分析系统，用于将所述室内社交关系图以及所述室外社交关系图进行融合，得到融合社交关系图，还用于根据所述融合社交关系图进行评估，并上传至上级部门。

更进一步地，所述第一数据采集系统还用于根据所述脸部边界框获取学生信息。

本技术方案基于人工智能构建学生在校的社交关系，根据社交关系进行学生的管理，同时本方案利用大数据分析系统分析每个社交网络中的学生的在校学习情况，从而辅助教育机构对学生的教育和对教育质量的评估；本技术方案考虑了室内外社交的不同情况，通过第一数据采集系统以及第二数据采集系统采集学生数据，即第一数据采集系统通过鱼眼相机进行室内图像的采集，并利用第一深度神经网络实现对室内学生的定位与跟踪，第二数据采集系统通过枪机和球机进行室外图像的采集，并利用第二深度神经网络实现对室外学生的定位和识别，相比于现有技术，本方案针对分区域采集更合理化。

在进一步的实施方案中，所述构建室内社交网络具体包括：

A1.根据所述室内位置坐标将相距近的学生聚类为内簇，聚类距离为课堂上相邻同学的距离的平均值；

A2.每个所述内簇用节点表示学生，将不同的学生节点用边相互连接连，生成有向图，并根据所述人面部朝向计算学生之间的内簇关注度；

A3.根据所述内簇关注度为每帧室内图像中的每个所述内簇所对应的有向图的边赋予边权值；

A4.将相邻的所述有向图融合，获得动态的室内社交网络。

其中，节点的特征数据为所述学生信息；

所述学生信息包括学生的姓名、学号、成绩、近期表现以及性格。

本技术方案根据学生的实时位置生成社交网络，并将不同时刻生成的社交网络进行融合，获得动态的室内社交网络；社交网络将每个学生作为一个节点，节点的特征数据包括学生的基本信息和在校表现，本方案根据室内学生的轨迹，将经常性聚集在一起的学生节点相连接，聚集越频繁的学生节点的边权值越大，最终构建出室内社交网络。

在进一步的实施方案中，所述构建室外社交网络具体包括：

B1.根据所述位置信息将学生聚类为外簇，并获取外簇的聚类中心，其中，聚类距离为学生之间的欧氏距离；

B2.每个所述外簇用节点表示学生，将不同的学生节点用边相互连接，生成一个无向图，并将外簇中的学生到所述聚类中心的距离的倒数作为外簇关注度；

B3.根据所述外簇关注度为每个所述外簇所对应的无向图的边赋予边权值；

B4.将相邻的所述无向图融合，获得动态的室外社交网络。

在本技术方案中，室外社交网络为无向图，且每隔一个课间的时间长度对无向图的边权值作一次时间上的处理，以获取室外社交关系图；本技术方案针对室内外构建了不同的社交网络，使其针对实际环境反馈不同的数据，突出重点，也便于大数据分析系统的统计整理，具有合理性、科学性、灵活性。

在进一步的实施方案中，将所述室内社交关系图以及所述室外社交关系图进行融合，得到融合社交关系图具体包括：

S1.将所述室内社交关系图和所述室外社交关系图进行剪枝，即断开边权值较小的边；

S2.将剪枝后的所述室内社交关系图中的两个节点间权值最小的边断开，将权值最大的边视为无向边，以将有向图转为无向图，得到室内社交关系无向图；

S3.将所述室内社交关系无向图和剪枝后的所述室外社交关系图中同一学生节点互相合并，得到融合社交关系图。

其中，所述融合社交关系图包括所有学生的行为数据；

所述行为数据包括违纪、早退迟到、课堂表现的数据

本技术方案利用大数据分析系统分析学生社交对学生在校或课堂表现的影响，所述融合社交关系图的反馈可作为各项核心能力表现及校园改善的依据；另外，本技术方案采集学生行为数据，可以进一步研究学生的社交影响力，研究他们在校园生活中的活动轨迹，从而为教学研究人员提供辅助手段，为教学管理人员提供辅助决策手段。

附图说明

图1是本发明实施例提供的一种基于人工智能的校园社交关系大数据分析系统的结构框图；

图2是本发明实施例提供的第一数据采集系统训练示意图；

图3是本发明实施例提供的室内社交网络构建流程示意图；

图4是本发明实施例提供的计算内簇关注度的简单说明图；

图5是本发明实施例提供的室外社交网络构建流程示意图。

附图标记包括：

数据采集系统1(第一数据采集系统11、第二数据采集系统12)；

数据管理系统2(第一数据管理系统12、第二数据管理系统22)；

大数据分析系统3。

具体实施方式

下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。

针对传统的社交关系研究系统建立的网络特征不明显，不能精准地获取社交关系亲密度的问题，本发明实施例提供了一种基于人工智能的校园社交关系大数据分析系统，如图1所示，包括依次连接的数据采集系统1、数据管理系统2、大数据分析系统3；

所述数据采集系统1，包括第一数据采集系统11以及第二数据采集系统12；

所述第一数据采集系统11用于将采集到的室内图像输入第一深度神经网络，输出左右耳热力图以及脸部边界框，以根据所述左右耳热力图获取面部朝向以及室内位置坐标，根据相邻所述脸部边界框获取室内轨迹信息；

所述第二数据采集系统12用于将采集到的室外图像输入第二深度神经网络，输出脚掌与地面的接触点热力图以及脸部包围框，以根据所述接触点热力图获取室外位置坐标，根据所述脸部包围框获取身份信息；

所述数据管理系统2，包括第一数据管理系统21以及第二数据管理系统22；

所述第一数据管理系统21利用所述室内位置坐标将学生聚类生成有向图，并利用所述人面部朝向为所述有向图赋予边权值，获取室内图网络；还用于将相邻的所述室内图像获取的所述图网络进行融合得到室内社交网络，并将相邻课间的室内社交网络融合得到室内社交关系图；

所述第二数据管理系统22根据所述室外位置坐标将学生聚类生成无向图，并利用所述室外位置坐标与聚类中心的距离为所述无向图赋予边权值，获取室外图网络；构建室外社交网络；还用于将相邻的所述室外图像获取的所述图网络进行融合得到室外社交网络，并将一个课间时间长度的室外社交网络融合得到室外社交关系图；

所述大数据分析系统3，用于将所述室内社交关系图以及所述室外社交关系图进行融合，得到融合社交关系图，还用于根据所述融合社交关系图进行评估，并上传至上级部门。

为了便于说明，本发明实施例首先针对室内的第一数据采集系统11和第一数据管理系统21进行阐述。

在构建所述第一数据采集系统11之前，本实施例需在室内构建可视化系统，具体包括：

①在教室顶部安装n个鱼眼相机，所有相机俯视向下，保证教室能够被相机视野覆盖，且各鱼眼相机之间有重合的视野；

②采集RGB室内图像，并对室内图像进行预处理，包含图像校正和噪声抑制；

③提取室内图像特征点，并进行特征点的匹配，将两幅图像转换至同一坐标下；

④进行单应性矩阵的估计，可通过RANSAC(随机抽样一致)方法估算单应性矩阵；

⑤将所有图像投影变换至教室地面，同时进行图像的融合以及终端展示，其中，融合方法包括羽化、金字塔、梯度；

本发明实施例中优选羽化法，使用加权平均颜色值融合重叠的像素；

其中，特征点的提取方法包括Harris角点检测算法、SIFT角点检测算法、SUSAN角点检测算法、Kitchen-Rosenfeld角点检测算法，特征点的匹配方法包括NCC(归一化互相关)或者SSD(误差平方和)，实际情况中可根据实际情况选择。

所述第一数据采集系统11的第一深度神经网络网络输入的是RGB室内图像，输出的是学生的脸部边界框和学生的左右耳热力图，如图2所示，其训练过程包括：

Ⅰ.将所述鱼眼相机拍摄的室内图像作为数据集，标注出学生脸部边界框和左右耳朵的关键点，将数据集的80％划分为训练集，余下20％划分为测试集；

Ⅱ.将图像归一化处理，将左右耳的关键点经高斯卷积核处理生成热力图；

Ⅲ.第一编码器对输入的室内图像进行下采样，获取学生的左右耳以及脸部边界框的共享特征信息，第二编码器继续对共享特征信息进行下采样，再经特征金字塔网络FPN的多尺度特征融合，获取学生的脸部边界框的信息，最后通过候选框的回归和非极大值抑制NMS处理输出学生的脸部边界框；第三编码器对共享特征信息进行下采样，得到每个学生的左右耳位置特征，经过解码器的上采样输出左右耳热力图。

Ⅳ.采用均方误差损失函数对左右耳热力图进行监督训练，采用均方误差损失函数对脸部边界框进行监督训练，利用随机梯度下降算法更新网络梯度。

本实施例根据左右耳热力图计算出左右耳的坐标，并将左右耳的坐标的均值作为学生的室内位置坐标，从而根据左右耳的相对位置获取学生的面部朝向。

本实施例根据所述脸部边界框获取学生信息；另外，当处于课间状态时，本实施例通过学生的脸部边界框计算连续两帧室内图像中，学生脸部边界框的并交比IOU，即在两帧室内图像中，并交比IOU最大的学生为同一学生，从而实现室内学生的跟踪与定位。

如图3所示，所述第一数据管理系统21构建室内社交网络包括：

A1.根据所述室内位置坐标将相距近的学生聚类为内簇，聚类距离为课堂上相邻同学的距离的平均值；

A2.每个所述内簇用节点表示学生，将不同的学生节点用边相互连接连，生成有向图，并根据所述面部朝向计算学生之间的内簇关注度；

A3.根据所述内簇关注度为每帧室内图像中的每个所述内簇所对应的有向图的边赋予边权值；

A4.将相邻的所述有向图融合，获得动态的室内社交网络。

其中，所述节点的特征数据为所述学生信息；

所述学生信息包括学生的姓名、学号、成绩、近期表现以及性格。

需要说明的是，本发明实施例也可将相邻距离较近的且人数较少的内簇合并为一个内簇，每个簇的人数需大于1，内簇数量需大于等于2。

在本发明实施例中，如图4，计算学生之间的内簇关注度首先获取学生节点i的面朝向

所有学生节点k和学生节点j与学生节点i的位移，比如学生节点i与学生节点j的位移

在本发明实施例中，为每个簇所对应的有向图的边赋予边权值，公式为：

W

W

需要说明的是，对于内簇中的学生节点分配0.4的基准边权值，若节点之间的簇内关注度越高，本实施例可在0.4的基础上提高基准边权值；无节点连接的学生的边权值视为0。

节点的数量是学生的总数；边权值代表学生之间的亲密度，即学生之间的接触频率，每条边都是有向的，因此社交网络是有向图。

至此，每采集到一帧室内图像即获取一个图网络，为了在时间维度上进行数据分析，本发明实施例利用前后帧获取的有向图进行融合，从而构成一个动态的有向图网络，具体融合包括：

设N

A

式中，0

A

当学生上课时停止数据的采集和分析，获得一个课间的社交网络，该网络的边权值越大说明两个节点关系越紧密。假设T

B

除此之外，对所有的边权值进行归一化处理，将最后的网络存储：

当进入一个课间时，所述第一数据管理系统12读取上一个课间的社交网络，并将上一个课间的社交网络和此课间每帧输出的社交网络进行融合，融合方法如上述，这里不再赘述；本发明实施例的方法也应用于图书馆和餐厅等室内场景。

本实施例根据学生的实时位置生成社交网络，并将不同时刻生成的社交网络进行融合，获得动态的室内社交网络；社交网络将每个学生作为一个节点，节点的特征数据包括学生的基本信息和在校表现，本实施例根据室内学生的轨迹，将经常性聚集在一起的学生节点相连接，聚集越频繁的学生节点的边权值越大，最终构建出室内社交网络。

本发明实施例进一步阐述校园的所述第二数据采集系统12和所述第二数据管理系统22，其虽然和上述室内社交网络架构不同，但基本思想相似，因此，本实施例对此部分作简略说明。

所述第二数据采集系统12包括基于深度神经网络的目标定位网络和人脸识别网络；

首先，本实施例需在校园内安装枪球相机，保证相邻的枪机有重合的视野，所有枪机视野可以覆盖校园区域。需要说明的是，若校园较大，可将校园分区域覆盖，但所覆盖的区域必须包含学生的主要活动区域，同时创建校园的地面二维坐标系，将校园全景图进行投射；

在本发明实施例中，所述枪机通过所述目标定位网络定位学生的位置，枪机的采样时间需保持一致；所述球机通过所述人脸识别网络识别学生的身份信息；

所述目标定位网络输入RGB室外图像，标注出人脚掌与地面接触点关键点，输出人脚掌与地面接触点的热力图，通过热力图获得关键点的坐标，并将此坐标作为学生的位置信息，同时将学生的位置信息投影到校园地面二维坐标系上；

如图5所示，所述构建室外社交网络具体包括：

B1.根据所述位置信息将学生聚类为外簇，并获取外簇的聚类中心，其中，聚类距离为学生之间的欧氏距离；

B2.每个所述外簇用节点表示学生，将不同的学生节点用边相互连接，生成一个无向图，并将外簇中的学生到所述聚类中心的距离的倒数作为外簇关注度；

B3.根据所述外簇关注度为每个所述外簇所对应的无向图的边赋予边权值；

B4.将相邻的所述无向图融合，获得动态的室外社交网络。

本发明实施例无向图的融合方法和上述室内有向图的融合方法相同，这里不再赘述。需要说明的是，此处为无向图的融合，外簇关注度与学生到聚类中心的距离成反比，基准边权值优选0.6。

本发明实施例在校园地面二维坐标系上，对学生进行聚类，得到学生的外簇以及外簇的中心位置，聚类的距离是学生之间的欧氏距离，中心位置在簇内聚集密度大的地方，本实施例采用外簇中学生与中心位置的距离的倒数表示外簇关注度。

所述人脸识别网络将球机视野中面部的相对位置和枪机中学生的相对位置做相似度匹配，相似度大的学生为同一个学生，本实施例无需精确了解每个位置的学生对应的人脸信息。

需要说明的是，一个外簇中的学生较多时，球机可小范围转动抓拍所有人的人脸。当学生背对球机时，此时球机无法获取人脸信息，本发明实施例可将无法获取人脸信息的人标注为未知，不获取其身份并将其从外簇中剔除，此种做法目的在于，对此类学生做采样处理，尽管某些学生被剔除，但是在长时间范围内，经常性聚集的人是能够识别到的，此种采样方法不仅解决了问题，还能抑制噪声数据。

本发明实施例通过所述大数据分析系统分析学生社交圈子对学生在校或课堂表现的影响，具体包括：

融合所述室内社交关系图和所述室外社交关系图；

学生社交对学生在校行为的影响；

学校教育质量的评估。

本发明实施例将所述室内社交关系图以及所述室外社交关系图进行融合，得到融合社交关系图具体包括：

S1.将所述室内社交关系图和所述室外社交关系图进行剪枝，即断开边权值较小的边；

S2.将剪枝后的所述室内社交关系图中的两个节点间权值最小的边断开，将权值最大的边视为无向边，以将有向图转为无向图，得到室内社交关系无向图；

S3.将所述室内社交关系无向图和剪枝后的所述室外社交关系图中同一学生节点互相合并，得到融合社交关系图；

其中，融合社交关系图的边权值计算公式为：

式中，E

x、y为超参数，其中，x+y＝1，本发明实施例优选x＝0.6，y＝0.4。

其中，所述融合社交关系图包括所有学生的行为数据；

所述行为数据包括违纪、早退迟到、课堂表现的数据，本实施例将所述行为数据进行数值化、整合以及归一化处理，获得学生在校行为数据，学生在校行为数据越大，表示学生在校表现越好，反之，学生在校表现越差。

本发明实施例将所述融合社交关系图拆分为多个小社交群体，统计并生成单个小社交群体的每个学生在近半个学期内的在校行为数据变化曲线，获取单个社交群体内所有学生的在校行为数据变化曲线的平均曲线，并将所述平均曲线作为此群体的在校行为曲线；需要说明的是，曲线增长越快，小社交群体对学生在校行为产生的影响越积极；

统计产生积极和消极影响的小社交群体占比，从而评估学校对学生管理教育的质量；

另外，所述大数据分析系统3会将各个学校的积极社交群体和消极社交群体的占比上传至上级教育部门，例如：省市级教育机构的大数据系统，省市级教育机构据此对每个学校进行对比和评估，若某个学校的评估结果明显差于其他学校，省市级教育机构需要对此学校进行教育资源的调整。

需要说明的是，本发明实施例提供的系统也可根据学生的其它课间社交网络数据进行分析，比如：根据学习成绩变化排座位、分班等，从而为科学教育研究提供数据基础。

本发明实施例提供了一种基于人工智能的校园社交关系大数据分析系统，包括依次连接的数据采集系统1、数据管理系统2、大数据分析系统3，解决了传统的社交关系研究系统建立的网络特征不明显，不能精准地获取社交关系亲密度的问题；本发明实施例通过人工智能的方法构建学生的社交关系，同时利用大数据分析系统3分析所述融合社交关系图中的每个学生的学习和在校情况，从而辅助教育机构对学生的教育和对教育质量的评估，相比于现有技术，针对室内外社交的不同情况，本实施例分区域进行采集和管理，具有一定的合理性、灵活性，而且社交网络特征更明显，可靠性更高。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。