基于图卷积网络和群体关系建模的群体行为识别方法

摘要

本发明公开了一种基于图卷积网络和群体关系建模的群体行为识别方法，对个体不同局部位置的传感器采集的连续传感器数据通过滑动窗口对连续的传感器数据进行分割，对于每个个体，将个体局部位置传感器数据输入到卷积神经网络和双向长短期记忆网络得到个体行为特征，通过计算得到个体行为相关性和个体位置相关性，构建个体关系图，输入到图卷积网络对群体行为进行识别。本发明充分挖掘传感器数据群体中个体行为以及个体之间的交互关系特征，进行群体特征级的表征，提高了群体行为识别准确率和鲁棒性。

说明书

技术领域

本申请属于行为识别技术领域，尤其涉及一种基于图卷积网络和群体关系建模的群体行为识别方法。

背景技术

群体行为识别当前已成为一个突出的研究领域，群体行为是指两个及以上相互影响和相互依赖的个体组合而成的集合体所进行的整体行为。在复杂场景下进行群体行为识别是一项具有挑战性的任务，因为群体行为并不是个体行为的简单相加，而是需要通过对个体行为及个体之间的交互关系进行推断。所以它不仅需要对群体中的个体行为进行识别，还需要考虑个体之间复杂的交互关系，进行自下而上的行为分析。

近年来，物联网行业的快速发展，无线传感器网络、可穿戴设备等技术的发展和扩散，伴随着各类传感器的迅速发展与应用，为群体行为识别研究提供了新的数据来源。目前大部分群体行为研究都是在视觉和图像处理领域进行的，基于传感器数据的群体行为识别相较于视频和图像而言成本低，不受地域限制，并且隐私侵入性更小。目前在智能终端上已经集成丰富的传感设备，例如加速度传感器、磁力计、陀螺仪、全球定位系统等，这样就为智能终端设备应用于群体行为识别提供了可行性。

然而基于传感器数据的群体行为识别，对于群体特征表征比较困难。

发明内容

本申请的目的是提供一种基于图卷积网络和群体关系建模的群体行为识别方法，克服了群体特征表征困难的问题，可充分利用传感器数据信息，提高群体行为识别的正确性和鲁棒性。

为了实现上述目的，本申请技术方案如下：

一种基于图卷积网络和群体关系建模的群体行为识别方法，包括：

接收位于个体不同局部位置的传感器采集的连续传感器数据，通过滑动窗口对连续的传感器数据进行分割，分割后得到个体局部位置传感器数据；

对于每个个体，将个体局部位置传感器数据输入到卷积神经网络，得到第一特征，然后将第一特征输入到双向长短期记忆网络，得到第二特征，将所述第一特征与所述第二特征进行拼接得到个人局部行为特征，将个体局部行为特征进行拼接得到个体行为特征；

基于个体行为特征计算个体行为相关性，基于个体坐标计算个体位置相关性，将个体行为相关性和个体位置相关性融合得到个体间的交互关系；

将个体行为特征与个体间的交互关系输入到图卷积网络，提取群体交互关系特征，然后将群体交互关系特征与个体行为特征拼接，进行最大池化操作获取用于描述群体行为的群体行为特征，再通过一个全连接层识别群体行为特征得到群体行为识别结果。

进一步的，所述基于个体行为特征计算个体行为相关性，基于个体坐标计算个体位置相关性，将个体行为相关性和个体位置相关性融合得到个体间的交互关系，包括：

对于群体内个体i和j，在第k个滑动窗口内的个体行为特征

其中

群体内个体i和j间的位置相关性

其中，

将个体行为相关性和个体位置相关性融合得到个体间的交互关系

其中，λ为权重参数。

进一步的，所述通过滑动窗口对连续的传感器数据进行分割，还包括：

在分割时，按照预设的重叠比例进行重叠分割。

进一步的，所述卷积神经网络包括卷积层和平均池化层。

进一步的，所述双向长短期记忆网络包括前向长短期记忆网络和反向长短期记忆网络以及各自对应的平均池化层。

进一步的，所述将个体行为特征与个体间的交互关系输入到图卷积网络，其中以个体行为特征为节点，以个体间的交互关系作为节点之间的边。

本申请提出的一种基于图卷积网络和群体关系建模的群体行为识别方法，充分挖掘传感器数据群体中个体行为以及个体之间的交互关系特征，进行群体特征级的表征，提高了群体行为识别准确率和鲁棒性。

附图说明

图1为本申请基于图卷积网络和群体关系建模的群体行为识别方法流程图。

图2为本申请实施例网络模型群体行为识别框图；

图3为本申请实施例提取个体局部行为特征流程框图。

图4为本申请实施例构建个体交互关系框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

传感器数据群体行为识别是通过传感器获取个体行为数据，并将群体中的不同个体数据作为输入，最后输出所在人群的群体行为。其中收集数据的传感器主要包括加速度计和陀螺仪。当人体以不同的状态活动时，加速度计和陀螺仪会有特定的表现形式。通过以上两种传感器，在身体不同部位收集个体活动数据，再加上个体所在的坐标位置，可充分利用传感器数据信息，提高群体行为识别的正确性和鲁棒性。

在一个实施例中，如图1所示，提供了一种基于图卷积网络和群体关系建模的群体行为识别方法，包括：

步骤S1、接收位于个体不同局部位置的传感器采集的连续传感器数据，通过滑动窗口对连续的传感器数据进行分割，分割后得到个体局部位置传感器数据。

目前各种智能设备已经普及，例如智能手机、智能手表等，这些智能设备通常都集成了各种传感器，如加速度传感器、磁力计、陀螺仪、全球定位系统等。本实施例中，以手腕部位以及下肢口袋位置的加速度计和陀螺仪传感器为例进行说明。本申请对传感器采集的连续传感器数据进行处理，对群体行为进行识别。

本申请通过滑动窗口对连续的传感器数据进行分割，在一个具体的实例中，滑动窗口的大小为200，窗口大小200指当传感器频率为50Hz时，一共收集4s的数据作为一个输入数据，即每秒采样50个数据，四秒内采样200个数据作为一个输入数据。

优选的，在分割时，按照预设的重叠比例进行重叠分割。

例如，选择窗口大小为200进行50％的数据重叠分割。50％数据重叠指有重复的分割，当当前输入数据每一个窗口大小为200时，后100个数据同时也作为下一个输入数据的前100个数据。

在一个具体的实例中，例如手腕和下肢口袋位置有智能设备，每个智能设备都具有加速度计和陀螺仪传感器，每个传感器有x、y、z三轴数据,则每个身体局部位置一共有6维数据(也即6通道)。对这些连续传感器数据进行分割，以得到后续输入到卷积神经网络的个体局部位置传感器数据,表示为l＝{l

在本实施例中，每个个体有两条个体局部位置传感器数据，若个体身体其他部位也有传感器来采集数据，则每个个体可以具有更多的个体局部位置传感器数据，本申请不限制个体局部位置传感器数据的数量。此外，一个身体部位也可以有更多的传感器，本申请也不限制每个个体局部位置传感器数据的维度，可以具有更多的维度。

本申请对群体行为进行识别，需要采集群体中所有个体的传感器数据，输入到网络中进行群体行为识别。图2中，假设群体中有5个个体，以下实施例中以5个个体的群体为例进行说明。

步骤S2、对于每个个体，将个体局部位置传感器数据输入到卷积神经网络，得到第一特征，然后将第一特征输入到双向长短期记忆网络，得到第二特征，将所述第一特征与所述第二特征进行拼接得到个人局部行为特征，将个体局部行为特征进行拼接得到个体行为特征。

本步骤将分割后得到的个体局部位置传感器数据通过卷积神经网络CNN进行一维卷积池化处理，得到第一特征。再将第一特征通过双向长短期记忆神经网络BLSTM，使用平均池化层对双向长短期记忆神经网络输出的状态进行显著性特征提取，得到第二特征。

如图3所示，将个体局部位置传感器数据首先通过一维卷积神经网络，包括卷积层和平均池化层，本实施例卷积神经网络CNN卷积核大小为3，池化层窗口大小为2，得到带时序的高维特征，作为第一特征。并将第一特征作为双向长短期记忆神经网络BLSTM的输入，双向长短期记忆网络BLSTM包括前向长短期记忆网络和反向长短期记忆网络以及各自对应的平均池化层，经过双向长短期记忆神经网络对第一特征进行充分地学习后得到网络输出的状态信息，通过平均池化层对双向长短期记忆神经网络输出的状态信息进行特征提取，得到第二特征。

将所述第一特征与所述第二特征进行拼接得到个人局部行为特征F＝[C,Y]，其中C表示第一特征，Y表示第二特征。由于手腕和下肢口袋位置(相对于身体部位)的传感器数据是在不同网络中进行独立训练，可以得到更加具有代表性的个人局部行为特征F

本实施例将所有个体局部行为特征进行拼接得到个体行为特征，手腕部位个体局部位置传感器数据(手腕传感器数据)、下肢口袋位置个体局部位置传感器数据(身体传感器数据)分别经过卷积神经网络和双向长短期记忆神经网络后，得到手腕部位对应的个体局部行为特征(手腕特征)和下肢口袋位置对应的个体局部行为特征(身体特征)。由于手腕和下肢口袋位置的传感器数据是在不同网络中进行独立训练，可以得到更加具有代表性的局部特征，然后将两个局部特征进行拼接得到完整的个体行为特征，个体行为特征作为图卷积网络的节点输入特征。例如，个体局部行为特征进行拼接得到完整的个体行为特征F

步骤S3、基于个体行为特征计算个体行为相关性，基于个体坐标计算个体位置相关性，将个体行为相关性和个体位置相关性融合得到个体间的交互关系。

通过步骤S2得到了个体行为特征，通过一段时间内群体中任意两个个体之间的行为特征进行相关性分析可以得到个体行为相关性。

例如，对于群体内个体i和j，在第k个滑动窗口内的个体行为特征

其中

通过上述的计算将两个个体行为特征转换成行为相关性度量值，相关性度量值越大，表明两者参与同一群体行为的可能性越大；相反，相关性度量值越小，表明两者不太可能是进行同一行为的群体中的两个个体。

本步骤还使用个体坐标计算个体位置相关性，首先计算群体内两两个体间的欧氏距离，其计算公式如下：

其中，d

第k个滑动窗口内个体i和j间欧氏距离的平均值表示为

其中，e为自然常数。如图4所示，对于一个群体，群体中包括个体P1到P5，其个体行为相关性和个体位置相关性分别采用相关图和距离图来表示，本申请将个体行为相关性和个体位置相关性融合得到个体交互关系图，表示个体间的交互关系。

融合公式表示如下：

其中，λ为权重参数，用来平衡个体行为相关性和位置关系的重要程度。关系值

对于一个具有5个个体的群体，通过提取个体行为相关性和个体位置关系，然后通过交互关系融合公式(5)融合得到个体间的交互关系，关系值

步骤S4、将个体行为特征与个体间的交互关系输入到图卷积网络，提取群体交互关系特征，然后将群体交互关系特征与个体行为特征拼接，进行最大池化操作获取用于描述群体行为的群体行为特征，再通过一个全连接层识别群体行为特征得到群体行为识别结果。

本实施例采用图卷积网络GCN来提取群体交互关系特征，个体行为特征和个体交互关系组成关系图，个体行为特征作为节点，个体交互关系作为节点间的边，输入图卷积网络，使用一层图卷积网络，通过该层的聚合函数来对每个节点的邻域节点进行卷积操作，得到中心节点的更新结果，得到n个包含个体之间的潜在语义关系的节点特征，然后采用激活函数进行非线性变换，得到群体交互关系特征F

图卷积网络可以采用如下公式所示：

其中，σ为激活函数，采用的激活函数为ReLU，F

通过一层图卷积网络得到的群体交互关系特征F

本申请通过在UT-Data数据集构造的群体行为数据集上，进行了群体行为识别的实验。实验时群体人数固定5人，在群体人数固定5人和随机2到5人两种情况下分别进行测试，采用五折交叉验证下，重复10次的准确率、精确率、召回率和F1分数的均值±标准差来衡量识别性能。实验结果如表1和表2所示：

表1

表2

表1和表2分别是群体人数固定和群体人数随机两种情况下的测试结果，通过两个表格的对比可知，本申请方法在分类上优于传统基于CNN网络结构模型、基于BLSTM网络结构模型、基于GCN网络结构模型、基于CNN与BLSTM混合网络结构模型的群体行为识别方法，并且拥有更好的鲁棒性。

在群体人数随机情况下，所有方法的分类结果都比测试集群体人数固定稍差，结果的波动性也变大，本申请方法波动性是最小的。结果表明，本申请的方法在各个指标上都达到或超过现有技术群体行为识别方法，具有更好的群体行为识别效果，提高了群体行为识别准确率和鲁棒性。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。