面向地铁车站场景的密集人群计数方法

摘要

一种面向地铁车站场景的密集人群计数方法，包括步骤：一、先对图像进行亮度对比度饱和度进行初步调整；二、把步骤一得到图像信息送入多尺度卷积网络，处理得到人群密度图；三、由人群密度图得到图中的人群总数。步骤一的流程为：对采集到的图像进行去噪处理得到去噪图像；对去噪图像进行边缘提取得到边缘图像；对边缘图像进行图像增强处理得到去噪且边缘增强的图像；利用亮度可控的直方图均衡方法对去噪图像进行处理得到全局增强图像；对步骤所得到的图像进行线性叠加，得到最终的输出图像即人群图；在输出图像中标注人头位置即人群标注位置。所述步骤二中，把输出图像以及人头位置的标注输入到多尺度卷积网络中进行处理，并输出人群密度图。

说明书

技术领域

本发明涉及一种面向地铁车站的密集人群计数的方法，主要采用深度学习技术对地铁车站场景进行估计监控图像中的人群总数。

背景技术

近些年来，城市化逐步推进，地铁是城市的心脏，每天运送着百万千万的人，尤其在高峰时期，在防止踩踏和挽救生命方面，人群管理至关重要，车站的人群密集，很容易造成事故，一旦发生意外，后果不堪设想，而完全依靠地铁管理人员很难起到实时监督调控作用，事后去检查监控，调查事故发生原因，也于事无补。而人群计数估计是可以防止踩踏和挽救生命的人群管理系统的关键。

发明内容

为了解决上述问题，本方法把计算机视觉技术用应用在地铁车站的人群计数上，可以节约大量人力物力，降低成本，并且能提高效果，还可依据数据来制定相应预警方案。本计数方法具体为：

一种面向地铁车站场景的密集人群计数方法，包括步骤：

一、先对图像进行亮度对比度饱和度进行初步调整；

二、把步骤一得到图像信息送入多尺度卷积网络，处理得到人群密度图；

三、由人群密度图得到图中的人群总数；

所述步骤一中：

1.1)对采集到的图像进行去噪处理得到去噪图像；

1.2)对去噪图像进行边缘提取得到边缘图像；

1.3)对边缘图像进行图像增强处理得到去噪且边缘增强的图像；

1.4)利用亮度可控的直方图均衡方法对去噪图像进行处理得到全局增强图像；

1.5)对步骤1.3)和1.4)步骤所得到的图像进行线性叠加，得到最终的输出图像即人群图；

1.6)在步骤1.5)输出图像中标注人头位置即人群标注位置；

所述步骤二中，把步骤1.5)得到的输出图像以及经步骤1.6)得到的图像中人头位置的标注，输入到多尺度卷积网络中进行处理，并输出人群密度图。

所述步骤二中，通过密度生成算法生成人群密度图，步骤包括：

2.1)训练阶段：

对于步骤1.5)得到的人群图，以及步骤1.6)得到的人群标注位置图，使用固定核高斯滤波μ＝15，σ＝4，对人群标注进行标签密度图生成，方法为：先生成一张和原图一样大小的单通道图片，其中像素点全部取0；然后将label中有人头的点标记为1；最后通过高斯滤波处理这张图，形成的图就是人群密度图；

然后将人群图和人群密度图作为一个组合送入人群密度生成网络进行训练；人群密度生成网络即为所述多尺度卷积网络

人群密度生成网络分为两部分：前端使用一个卷积网络用于2D特征提取，后端用空洞卷积网络代替池化操作放大特征，最后使用一个1x1卷积，生成密度图；

2.2)评估阶段：

先将原图输入人群密度生成网络，得到单通道图即预测的密度图，对该密度图上所有值求和即得到预测人数，密度图上值大的表示该区域人流密集；

再使用监控截取帧图像进行预训练。

附图说明

图1是本方法的流程图；

图2是使用本方法的系统图；

图3是本方法所用的多尺度卷积网络结构示意图。

具体实施方式

本就似乎方案通过使用地铁车站既有的完备的监控设备，来获取图像流信息，使用计算机视觉技术来进行计数估计，能够有更大的覆盖面，更精确的计数结果和更好的监控效果。

本例中：

由于地铁监控拍摄设备安装、昼夜光照不均匀等问题，导致采集得到的原始图像质量不高，所以，先对图像进行亮度对比度饱和度进行初步调整，再送入多尺度卷积网络；另外，在地铁车站场景下，空间布局的限制，导致图像域中目标分布不均匀、且稀疏程度不一，所以进行栅格处理，对于密集栅格进行放大处理，再次计数，然后组合密度图进行输出。

流程为：

1.通过监控设备获取视频流，进行帧截取，并进行图像加强。

在地铁车站场景中，由于光线问题，以及车体玻璃反光，可能会对监控设备获取的图像有所影响，造成失真。图像增强技术可以提高图像的清晰度，突出图像中的主要信息。可采用的方法主要有：灰度变换，直方图均衡，图像平滑，图像锐化等。具体操作如下

a)对输入图像进行去噪处理得到去噪图像；

b)对去噪图像进行边缘提取得到边缘图像；

c)对边缘图像进行图像增强处理得到去噪且边缘增强的图像；

d)利用亮度可控的直方图均衡方法对去噪图像进行处理得到全局增强图像；

e)对c和d步骤所得到的图像进行线性叠加，得到最终的输出图像。

2.手动标注人头位置

3.通过密度生成算法生成密度图

·训练阶段：

输入：人群图，人群标注位置

处理：使用固定核高斯滤波μ＝15，σ＝4.对人群标注进行标签密度图生成，

·1生成一张和原图一样大小的单通道图片，其中像素点全部取0。

·2将label中有人头的点标记为1。

·3通过高斯滤波处理这张图，形成的图就是人群密度图。

然后将人群图和密度图作为一个组合送入密度生成网络进行训练。

人群密度生成网络分为两部分，前端使用一个卷积网络用于2D特征提取，后端用空洞卷积网络代替池化操作放大特征，最后使用一个1x1卷积，生成密度图。不使用任何全连接层，可以接受任意输入。

·评估阶段：

将原图输入模型，得到单通道图(x/8，y/8，1)，也就是预测的密度图，对密度图上所有值求和，即为预测人数，密度图上值大的表示该区域人流密集。

4.使用公开数据集进行预训练

网络参数：Adam优化器，lr＝1e-4，weight dacy＝5e-3

损失函数：

评价指标：

5.使用监控截取帧图像进行训练。

本例中：

人群密度生成网络分为两部分，前端使用一个卷积网络用于2D特征提取，后端用空洞卷积网络代替池化操作放大特征，最后使用一个1x1卷积，生成密度图。具体来说：特征提取模块是由VGG16模型中的前13层构成，全部使用3x3卷积核，使用1x1卷积得到密度图。

对人群密度生成网络，利用损失函数进行优化，例如使用欧几里德距离作为损失函数，

在训练网络时候：

(a)采用随机梯度下降法进行训练，为了防止过拟合，采用预训练的VGG模型来初始化密度生成网络中的前五个卷积层；

(b)新增加的卷积层权重由零均值高斯分布随机初始化，标准差为0.01；

(c)在每次迭代过程中，将一批被标记的训练数据输入到网络中，然后更新参数；

设计用于判别生成密度图准确的网络，利用损失函数优化判别网络；

将生成的密度图标记为0真实的密度图标签标记为1。判别器的输出代表生成的密度图是真实密度图的概率。本方法中采用一个额外的对抗损失函数来提升生成密度图的质量。对抗损失函数如下式表示

L

G(lc；θ))是生成网络得到的密度图，lc真实值。

训练对抗生成网络。

本例中，采用一种对抗的训练方式来进行人群密度预测，生成模型和判别模型采用联合交替迭代的训练方式优化最大最小问题。其中，训练生成网络用于生成准确的人群密度图从而欺骗过判别器，相反，判别器被训练用于辨别生成的密度图和真实的密度图标签。同时，判别器的输出会为生成器提供密度图位置和预测精度的反馈。两个网络同时竞争训练从而提升生成的效果直到生成器生成的样本不能被判别器正确判断。