一种基于双向特征传播的小股人群重识别方法及系统

摘要

本发明公开了一种基于双向特征传播的小股人群重识别方法及系统，该方法包括：根据群组图像构建语义分割图并进行修复和生成处理，得到样本图像；构建信息模型对样本图像进行特征提取处理，得到图像特征信息；基于双向特征传播模块对图像特征信息进行融合处理，得到图像身份特征；基于图像身份特征进行小股人群重识别，得到识别结果。该系统包括：构建模块、提取模块、融合模块和识别模块。通过使用本发明，能够通过扩大群组图像的样本量与提取群组图像的图像身份特征进而提高小股人群重识别精度。本发明作为一种基于双向特征传播的小股人群重识别方法及系统，可广泛应用于行人重识别技术领域。

说明书

技术领域

本发明涉及行人重识别技术领域，尤其涉及一种基于双向特征传播的小股人群重识别方法及系统。

背景技术

小股人群重识别是一种以图像、视频等视觉信息作为输入，通过计算机视觉技术进行分析，判断目标集合中是否存在特定目标人群的技术，其旨在检索不同监控摄像头中出现的同一群人，从而为人群行为分析、单镜头或者跨镜头的轨迹刻画、异常人群检测、公共区域寻人和刑侦系统等应用提供基础，近来，该领域引起越来越多的研究关注，与着眼于单人的行人重识别技术相比，小股人群重识别能够利用人群之间的相互关系，可以改善模糊、遮挡、服饰信息不同等不良情况带来的影响，增强系统的鲁棒性和准确性，此外，良好的小股人群重识别系统还可以增强单人行人重识别系统的鲁棒性，但是，小股人群重识别技术存在两个主要的问题，一是小股人群重识别的数据集规模仍较小，若数据集的规模较小，会严重限制模型的泛化性和鲁棒性；二是目前已有的一些方案准确度不高，现有的技术提出了一个中心矩形环比率出现描述符和一个基于块的比率出现描述符，对图像进行中的整体分布结构进行建模、利用协方差描述符进行组图像的整体统计概括，从该描述符进行外观匹配或者基于多粒度表示和重要性权重的多阶匹配过程来计算最佳分组匹配，但是这些方案最终的识别精度较低，主要是对空间布局信息的利用不足所导致。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于双向特征传播的小股人群重识别方法及系统，能够通过扩大群组图像的样本量与提取群组图像的图像身份特征进而提高小股人群重识别精度。

本发明所采用的第一技术方案是：一种基于双向特征传播的小股人群重识别方法，包括以下步骤：

根据群组图像构建语义分割图并进行修复和生成处理，得到样本图像；

构建信息模型对样本图像进行特征提取处理，得到图像特征信息；

基于双向特征传播模块对图像特征信息进行融合处理，得到图像身份特征；

基于图像身份特征进行小股人群重识别，得到识别结果。

进一步，所述根据群组图像构建语义分割图并进行修复和生成处理，得到样本图像这一步骤，其具体包括：

通过摄像头系统获取群组图像并输入图像语义分割模型进行分割处理，得到语义分割图；

对语义分割图进行修复处理，得到修复后的图像；

基于空间布局生成器对语义分割图进行生成处理，得到新空间布局图像；

将修复后的图像和新空间布局图像输入拼接模块，生成样本图像。

进一步，所述对语义分割图进行修复处理，得到修复后的图像这一步骤，其具体包括：

对语义分割图进行拆分处理，得到背景掩模和行人掩模；

将背景掩模与群组图像进行逐点相乘处理，得到背景图像；

基于深度图像修复模型对背景图像和群组掩模进行修复处理，得到修复后的背景图；

基于行人编码器-解码器结构对行人掩模和群组图像进行修复处理，得到修复后的行人剪切图；

整合修复后的背景图和修复后的行人剪切图，得到修复后的图像。

进一步，所述基于空间布局生成器对语义分割图进行生成处理，得到新空间布局图像这一步骤，其具体包括：

根据语义约束条件，对语义分割图进行位置采样处理，得到新行人位置信息；

根据新行人位置信息获取对应的坐标信息、语义信息、原位置信息和行人位置间的角度距离信息，整合得到新空间布局图像；

所述行人位置间的角度距离信息通过新行人位置信息和原位置信息计算得到。

进一步，所述将修复后的图像和新空间布局图像输入拼接模块，生成样本图像这一步骤，其具体包括：

根据启发式规则，对新空间布局图像进行放缩处理，得到放缩后的行人剪切图；

对将修复后的图像和新空间布局图像进行拼接与判断处理；

判断到图像拼接部分的行人重叠面积小于预设阈值，输出样本图像。

进一步，所述构建信息模型对样本图像进行特征提取处理，得到图像特征信息这一步骤，其具体包括：

抽取部分样本图像进行纵向切割处理，得到行人区域图像；

对行人区域图像进行扩展处理，得到扩展行人区域图像；

通过扩展行人区域图像对样本图像进行切割处理，得到子图像；

基于布局特征提取器对样本图像和子图像进行特征提取处理，得到布局特征信息；

基于表观信息提取器对样本图像和行人区域图像进行特征提取处理，得到表观特征信息；

整合布局特性信息和表观特征信息，得到图像特征信息。

进一步，所述基于双向特征传播模块对图像特征信息进行融合处理，得到图像身份特征这一步骤，其具体包括：

对表观特征信息进行调整处理，得到行人外观特征信息；

基于布局特性信息和行人外观特征信息，构建输入矩阵；

基于双向特征传播模块对输入矩阵进行计算，得到图像身份特征。

进一步，所述群组特征的计算公式如下所示：

f

上式中，f

进一步，所述个人特征的计算公式如下所示：

f

上式中，M

本发明所采用的第二技术方案是：一种基于双向特征传播的小股人群重识别系统，包括：

构建模块，用于根据群组图像构建语义分割图并进行修复和生成处理，得到样本图像；

提取模块，用于构建信息模型对样本图像进行特征提取处理，得到图像特征信息；

融合模块，基于双向特征传播模块对图像特征信息进行融合处理，得到图像身份特征；

识别模块，基于图像身份特征进行小股人群重识别，得到识别结果。

本发明方法及系统的有益效果是：本发明通过空间布局生成器对群组图像进行生成处理，使得群组图像具有多样化的空间布局，通过构建语义分割图并对语义分割图进行修复处理，扩大群组图像的样本量，降低训练数据过少造成的归纳偏差，提升模型的泛化能力，通过双向特征传播模块提取群组图像的图像身份特征，提高群组图像进行小股人群重识别的识别精度。

附图说明

图1是本发明一种基于双向特征传播的小股人群重识别方法的步骤流程图；

图2是本发明一种基于双向特征传播的小股人群重识别系统的结构框图；

图3是本发明基于空间布局生成模块对群组图像进行处理的方法流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1，本发明提供了一种基于双向特征传播的小股人群重识别方法，该方法包括以下步骤：

S1、根据群组图像构建语义分割图并进行修复和生成处理，得到样本图像；

S11、通过摄像头系统获取群组图像并输入图像语义分割模型进行分割处理，得到语义分割图；

具体地，由提前部署的摄像头系统对人群进行捕捉，或是由用户直接输入，得到群组图像，将群组图像输入图像语义分割模型，得到通过像素值表示每一个像素位置对应语义信息的语义信息图，根据这些像素值，分割每个行人的像素区域，同时，行人区域以外的部分，作为背景区域，得到语义分割图。

S12、对语义分割图进行修复处理，得到修复后的图像；

S121、对语义分割图进行拆分处理，得到背景掩模和行人掩模；

具体地，参照图3，拆分语义分割图，获得背景掩膜和每个行人对应的行人掩膜，所述背景掩模是一张与原图像相同尺寸的二值图像，背景掩模的值与该位置是否为背景区域有关，其值为1时代表原图像中该部分为背景区域，其值为0时代表非背景区域，即背景掩膜与群组图像具有相同的大小，其中，对应于背景区域的值为1，对应于其他区域的值为0。

S122、将背景掩模与群组图像进行逐点相乘处理，得到背景图像；

具体地，将背景掩模与群组图像进行相乘处理，得到对应的背景图像。

S123、基于深度图像修复模型对背景图像和群组掩模进行修复处理，得到修复后的背景图；

具体地，深度图像修复模型以背景图像和群组掩膜作为输入，通过神经网络补全非背景位置缺失的纹理，使用在Places2数据集上训练的Deepfillv2深度图像修复模型，该模型使用图像和待修复区域掩膜作为输入，待修复掩膜与行人掩膜相同，图像与待修复掩膜输入模型并经过多个卷积层和反卷积层，得到符合逻辑且无人群的修复后的背景图。

S124、基于行人编码器-解码器结构对行人掩模和群组图像进行修复处理，得到修复后的行人剪切图；

具体地，群组图像和行人掩膜将同时输入到在Market1501数据集上训练好的行人编码器-解码器结构中，通过图形学膨胀操作获得膨胀后掩膜，对于各个行人掩膜，对其进行图形学膨胀处理后，将膨胀处理后的掩膜减去行人掩膜，得到待修复掩膜。图像与待修复掩膜输入模型并经过多个卷积层和反卷积层，提取可能出现的空洞、缺失部分，得到缺失部分掩膜，拼接群组图像和缺失部分掩膜，通过多层卷积层与反卷积层，神经网络根据周围信息对缺失部分进行修复，得到修复后的行人剪切图。

S125、整合修复后的背景图和修复后的行人剪切图，得到修复后的图像。

S13、基于空间布局生成器对语义分割图进行生成处理，得到新空间布局图像；

S131、根据语义约束条件，对语义分割图进行位置采样处理，得到新行人位置信息；

具体地，将语义分割图输入神经网络构成的空间布局生成器进行新空间布局的生成，首先，空间布局生成器为每一个行人生成新的位置。该位置首先从图像中所有像素区域中随机选择，然后判断该位置是否遵从语义约束，所述语义约束条件具体为根据语义分割图，采样得到的位置所对应的语义信息不能是天空、无攀爬工具的墙体等不合常理的区域。

S132、根据新行人位置信息获取对应的坐标信息、语义信息、原位置信息和行人位置间的角度距离信息，整合得到新空间布局图像；

S133、所述行人位置间的角度距离信息通过新行人位置信息和原位置信息计算得到。

具体地，计算新的行人位置间的角度距离信息，所述角度距离信息包括新的行人位置的坐标信息、新的行人位置所对应的语义信息、新的行人位置所对应的原位置信息和新的行人位置间的角度距离信息等，组成一个新空间布局，生成新空间布局图像，空间布局生成器能够生成多个候选的新空间布局。

S14、将修复后的图像和新空间布局图像输入拼接模块，生成样本图像。

具体地，所述拼接过程具体为新空间布局图像中的待拼接行人区域将由修复后的行人图像进行填充，黑色区域则由修复后的背景图像填充。

S141、根据启发式规则，对新空间布局图像进行放缩处理，得到放缩后的行人剪切图；

具体地，将修复后的图像和新空间布局图像和深度图送入图像拼合模块中，生成样本图像，对于每个候选的新空间布局，首先根据深度图和新空间布局信息，遵循“近大远小”透视原理所构建的启发式规则，模块根据空间布局信息中的位置信息提取每个行人的原深度和新深度，计算每个行人剪切图所对应的放缩尺寸，放缩尺寸等比于新深度与原深度的比值，并对行人剪切图进行放缩操作，得到放缩后的行人剪切图。

S142、对将修复后的图像和新空间布局图像进行拼接与判断处理；

S143、判断到图像拼接部分的行人重叠面积小于预设阈值，输出样本图像。

具体地，拼接模块使用放缩后的行人剪切图替代符合逻辑的无人群图像中对应位置的像素，得到样本图像，对生成图像中行人未发生重叠或重叠部分面积进行判断，若判断到结果小于预设阈值，则认为该组位置是合理的，将该数据增强图与其对应的新空间布局信息存储进文件中，否则，抛弃该候选的新空间布局，最后输出样本图像。

S2、构建信息模型对样本图像进行特征提取处理，得到图像特征信息；

S21、抽取部分样本图像进行纵向切割处理，得到行人区域图像；

S22、对行人区域图像进行扩展处理，得到扩展行人区域图像；

S23、通过扩展行人区域图像对样本图像进行切割处理，得到子图像；

具体地，为了对布局信息进行建模，该步骤拆分作为输入的群组图像，生成整体图像、子图像两组图像；整体图像由群组图像直接得到，对于子图像，输入群组图像，该步骤切割群组图像为M个部分重叠的子图像，从而生成切割子图像。具体来说，对于纵向切分图像为M个条带形区域，取其相邻条带形区域的

S24、基于布局特征提取器对样本图像和子图像进行特征提取处理，得到布局特征信息；

S25、基于表观信息提取器对样本图像和行人区域图像进行特征提取处理，得到表观特征信息；

S26、整合布局特性信息和表观特征信息，得到图像特征信息。

具体地，通过如卷积神经网络等构成的布局信息提取器，整体图像得到全局布局表示，而子图像用得到局部布局表示，为了解决图像尺寸不同的问题，展平得到的特征表示并通过神经网络，例如Transformer结构，以得到一致的特征表示，将整体图像和每个行人区域输入到卷积神经网络等构成的表观信息提取器中，获取表观特征信息，整合布局特性信息和表观特征信息，得到图像特征信息。

S3、基于双向特征传播模块对图像特征信息进行融合处理，得到图像身份特征；

S31、对表观特征信息进行调整处理，得到行人外观特征信息；

具体地，一组多层感知机网络以原表观特征信息作为输入，进行维度间的信息传播，使用双向特征传播模块融合图像的布局特征信息和表观特征信息，其融合结果作为群组图像的身份特征信息，模块同时调整表观特征以作为行人外观特征信息。

S32、基于布局特性信息和行人外观特征信息，构建输入矩阵；

具体地，基于全局组布局特征X

H＝[X

X

上式中，X

进一步计算传播矩阵，所述传播矩阵的计算公式如下所示：

W＝Q

上式中，H

S33、基于双向特征传播模块对输入矩阵进行计算，得到图像身份特征。

具体地，对输入矩阵进行两次变换并相乘，在布局特性信息和行人外观特征信息间进行信息传播，通过神经网络隐含的变化矩阵Q

所述群组特征的计算公式如下所示：

f

上式中，f

所述K用以筛取组特征，Q

所述个人特征的计算公式如下所示：

f

上式中，M

其中K和M

S4、基于图像身份特征进行小股人群重识别，得到识别结果。

具体地，将具有图像身份特征信息的群组图像进行小股人群重识别，输出达到更高的识别精度的小股人群重识别结果。

参照图2，一种基于双向特征传播的小股人群重识别系统，包括：

构建模块，用于构建语义分割图并进行修复和生成处理，得到样本图像；

提取模块，用于构建信息模型对样本图像进行特征提取处理，得到图像特征信息；

融合模块，基于双向特征传播模块对图像特征信息进行融合处理，得到图像身份特征；

识别模块，基于图像身份特征进行小股人群重识别，得到识别结果。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。