基于极限学习机的复杂背景下目标跟踪方法

摘要

本发明涉及一种基于极限学习机的复杂背景下目标跟踪方法,提供一检测模块、一跟踪模块以及一综合模块，所述检测模块与跟踪模块可同时独立运行，用以对需要跟踪的目标进行检测与跟踪；其中所述检测模块内的检测器在上一帧中跟踪目标进行多尺度检测并输出结果；所述跟踪模块内的跟踪器对上一帧中跟踪目标进行跟踪，并输出跟踪结果；所述整合模块接收所述步骤S5中检测模块与跟踪模块输出的结果，并对所有结果进行综合分析，将置信度最高的结果作为当前帧的跟踪目标进行输出；重复上述步骤，直至视频最后帧。在本发明中由于检测模块跟跟踪模块同时并独立运行，整合模块再综合两模块的结果，能够有效提高跟踪的精度和鲁棒性。

说明书

技术领域

本发明涉及复杂环境下的目标跟踪领域，具体涉及一种基于极限学习机的复杂背景下目标跟踪方法。

背景技术

目标跟踪是指对视频中指定的目标进行连续跟踪定位。具体讲，就是在视频起始帧框出要跟踪的目标（或者通过检测算法得到要跟踪的目标）并提取出跟踪目标位置的相关信息，然后在后续帧中自动识别并跟踪目标的位置直至视频结束。目标跟踪具有很大的现实意义，特别是复杂背景下的目标跟踪技术，现今目标跟踪技术越来越广泛地应用于电场环境、军事视觉制导、安全检测、交通管理、重要场所的安保等许多重要的领域。

现有的目标跟踪方法根据其跟踪目标的表达方式以及相似度度量方法可分为五大类：基于主动轮廓线的跟踪、基于特征的跟踪、基于区域的跟踪、基于模型的跟踪和基于运动特征的跟踪。

1、基于主动轮廓线的跟踪。该类方法采用分割的思想，先对目标进行分割，再将目标边缘轮廓提取出来作为模板，然后对接下来的每帧图像都进行二值化操作，并跟踪图像的信息自动更新边缘轮廓并跟踪。但是该类方法在目标边界与背景部分特征相近或者目标被部分及全部遮挡的情况下，目标模型通常容易退化，跟踪效果将受到很到限制。

2、基于特征的跟踪。该类方法通过提取对尺度变换、旋转及部分遮挡不敏感的特征点，比如：纹理、颜色、边缘等特征。然后对目标的局部特征点进行匹配以此达到跟踪的任务。但是该类方法在目标运动状态比较复杂，或者目标出现暂时消失的情况，就难以继续跟踪，而且该类方法难以满足跟踪的实时性要求。

3、基于区域的跟踪。该类方法通过设置不同的偏移值，将跟踪目标在当前帧进行偏移，然后根据相似性度量算法对每次偏移得到的图像与当前帧图像进行相关性处理，目标的位置即相似度最大的位置，最后在后续帧中采用相关匹配准则继续跟踪目标。但是该类方法在复杂背景下会导致前景背景分割不好影响最后的跟踪。

4、基于模型的跟踪。该类方法采用一些先验知识来获得目标模型，跟踪过程即将运动区域和目标模型进行匹配的过程。对于刚体目标，该类方法无需时时跟踪模型，而对于非刚体目标，就要对模型进行更新。但是该类方法需要事先了解相应目标的模型结构，但是实际运用中无法事先知道目标的结果，而且该类方法也不具备实时性能。

5、基于运动特性的跟踪。该类方法跟踪目标在较短时间间隔内的运动特性建立运动模型并利用该模型预测估计目标在下一刻可能的位置，并以估计的位置为中心，再扩展一定区域，之后在这个区域内搜索目标最佳位置的一种运动预测跟踪方法。但是该类方法需要保存大量之前的运动矢量信息，难以在时间系统中应用。

发明内容

有鉴于此，本发明的目的是提供一种一种基于极限学习机的复杂背景下目标跟踪方法，该类方法在复杂的环境下可实时完成对目标的跟踪，并且能保证跟踪的性能。

本发明采用以下方案实现：一种基于极限学习机的复杂背景下目标跟踪方法，其特征在于包括以下步骤：

步骤S1：进行目标定位：在视频第一帧中框出需要跟踪的目标或对前期目标检测算法检测到的目标进行跟踪；

步骤S2：提供一检测模块、一跟踪模块以及一综合模块，所述所述检测模块与跟踪模块可同时独立运行，用以对需要跟踪的目标进行检测与跟踪；

步骤S3：模块初始化：根据所述步骤S1中框出需要跟踪的目标，对所述检测模块内设置的检测器以及所述跟踪模块内设置的跟踪器进行初始化；

步骤S4：下一帧图像输入：根据既定的帧率，输入下一帧图像；

步骤S5：同时进入检测模块与跟踪模块：所述检测模块内的检测器在上一帧中跟踪目标进行多尺度检测并输出结果；所述跟踪模块内的跟踪器对上一帧中跟踪目标进行跟踪，并输出跟踪结果；

步骤S6：进入整合模块：所述整合模块接收所述步骤S5中检测模块与跟踪模块输出的结果，并对所有结果进行综合分析，将置信度最高的结果作为当前帧的跟踪目标进行输出；

步骤S7：结果显示：对所述步骤S6中整合模块的输出进行判断，若有输出结果，则在当前视频帧中框出该位置，若没有则不做操作；

步骤S8：判断视频帧是否结束，若该视频帧还没结束，则返回步骤S4，若该视频帧结束，则结束，完成目标跟踪任务。

进一步地，所述步骤S5中所述检测器包括方差过滤器与极限学习机分类器，所述方差过滤器用以在快速将大部分的背景区域滤除，并求取留下的极少部分候选区域的方向梯度直方图，将所述方向梯度直方图送入训练好的极限学习机分类器中进行分类，丢弃背景区域。

进一步地，所述步骤S5中所述检测器在上一帧中跟踪目标进行多尺度检测的检测策略为：在上一帧中跟踪目标位置的局部区域内进行多尺度检测，若检测到跟踪目标则输出结果，若没有检测到跟踪目标，则在当前帧的全局区域进行多尺度检测并输出结果。检测器输出的若输出多个目标结果，则需要采用聚类算法，对多个目标目标位置进行聚类。其中局部区域的大小设置为为目标框区域大小的2倍；若在局部区域里没有检测到目标，则需要在除了检测过的局部区域以外的周边区域进行检测；多尺度检测的尺度因子为1.2，最小目标框尺寸为20个像素点。

进一步地，所述极限学习机分类器在所述步骤S2中完成初始化训练，具体训练过程为：随机提取10张与目标区域重叠80%以上的图像块，并分别作仿射变换生成200张目标训练样本；在远离目标的区域随机提取200张图像块作为背景训练样本，对所述背景训练样本进行尺度归一化并提取方向梯度直方图作为特征训练极限学习机。

进一步地，所述步骤S5中，所述跟踪器对上一帧中跟踪目标进行跟踪的跟踪策略为：采用前向后向跟踪算法，求取特征点的SIFT描述子用以匹配跟踪目标，具体包括以下步骤：

步骤S51:将当前帧图像进行网格化，并选择网格的左上角的点作为特征点；

步骤S52：采用Lucas-Kanade 光流法预测特征点在下一帧的位置；

    步骤S53：采用Lucas-Kanade 光流法从下一帧往回跟踪，获得前向预测跟反向预测轨迹位移偏差，丢弃位移偏差超过阈值的特征点；

步骤S54：求取剩下的特征点的SIFT描述子；

步骤S55：对所述步骤S54中所有求取SIFT描述子刻画的特征点进行匹配，若一特征点的相似度小于中值，则丢弃该特征点，若一特征点的相似度不小于中值，则保留该特征点；

步骤S56：若所述步骤S55保留的特征点个数少于阈值，则得到跟踪的目标区域，若所述步骤S55保留的特征点个数大于阈值，则输出跟踪到的目标区域；所述阈值为10个特征点。

进一步地，所述步骤S6中所述整合模块接收结果与综合分析的具体方法为：所述整合模块首先判断所述跟踪模块与所述检测模块是否有结果输出，若两个模块都没有输出结果的话，则表示该帧没有跟踪到目标，则无结果输出；若两个模块均有结果输出则先判断两个模块的输出结果区域重叠率是否大于0.6，若重叠率大于0.6，则对重叠的目标区域进行聚类并输出最终的结果；若重叠率不大于0.6，则将所有的候选区域与目标模型进行匹配，若匹配的置信度大于0.5，则将置信度最大的区域作为最终的目标区域。

与现有技术相比，本发明的有益效果在于：1、本发明基于极限学习机的复杂背景下目标跟踪方法，由于该方法将跟踪技术与检测技术结合起来完成对目标的跟踪，并且跟踪技术与检测技术分别处理，可以达到互为监督纠正的功能，因此对目标出现遮挡、背景相似等情况具有鲁棒性。2、本发明基于极限学习机的复杂背景下目标跟踪方法，由于该方法检测模块中的第一步：积分图方差过滤器能快速消除大部分背景区域，以及采用局部-全局搜索相结合的方式，由此提高跟踪速度。3、本发明基于极限学习机的复杂背景下目标跟踪方法，由于该方法采用的极限学习机具备很好的分类性能，学习速度极快从而可以满足跟踪的实时性及精度。

4、本发明基于极限学习机的复杂背景下目标跟踪方法，由于该方法在跟踪模块中结合SIFT描述子的特征点匹配方法，由此可提高最终的跟踪精度。

附图说明

图1为本发明的基于极限学习机的复杂背景下目标跟踪方法的总体框图。

图2为本发明中检测模块的流程图。

图3为本发明中跟踪模块的流程图。

图4为本发明中整合模块的流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本实施例提供一种基于极限学习机的复杂背景下目标跟踪方法，如图1所示，其特征在于包括以下步骤：

步骤S1：进行目标定位：在视频第一帧中框出需要跟踪的目标或对前期目标检测算法检测到的目标进行跟踪；

步骤S2：提供一检测模块、一跟踪模块以及一综合模块，所述所述检测模块与跟踪模块可同时独立运行，用以对需要跟踪的目标进行检测与跟踪；

步骤S3：模块初始化：根据所述步骤S1中框出需要跟踪的目标，对所述检测模块内设置的检测器以及所述跟踪模块内设置的跟踪器进行初始化；

步骤S4：下一帧图像输入：根据既定的帧率，输入下一帧图像；

步骤S5：同时进入检测模块与跟踪模块：所述检测模块内的检测器在上一帧中跟踪目标进行多尺度检测并输出结果；所述跟踪模块内的跟踪器对上一帧中跟踪目标进行跟踪，并输出跟踪结果；

步骤S6：进入整合模块：所述整合模块接收所述步骤S5中检测模块与跟踪模块输出的结果，并对所有结果进行综合分析，将置信度最高的结果作为当前帧的跟踪目标进行输出；

步骤S7：结果显示：对所述步骤S6中整合模块的输出进行判断，若有输出结果，则在当前视频帧中框出该位置，若没有则不做操作；

步骤S8：判断视频帧是否结束，若该视频帧还没结束，则返回步骤S4，若该视频帧结束，则结束，完成目标跟踪任务。

在本实施例中，所述步骤S5中所述检测器包括方差过滤器与极限学习机分类器，所述方差过滤器用以在快速将大部分的背景区域滤除，并求取留下的极少部分候选区域的方向梯度直方图，将所述方向梯度直方图送入训练好的极限学习机分类器中进行分类，丢弃背景区域。

在本实施例中，如图2所示，所述步骤S5中所述检测器在上一帧中跟踪目标进行多尺度检测的检测策略为：在上一帧中跟踪目标位置的局部区域内进行多尺度检测，若检测到跟踪目标则输出结果，若没有检测到跟踪目标，则在当前帧的全局区域进行多尺度检测并输出结果。具体为：根据上一帧跟踪目标的位置确定局部检测范围，其局部检测区域的大小为目标区域的2倍；然后采用多尺度滑动窗口的思想提取出候选目标框，然后送入检测器中进行判断；其中多尺度检测的尺度因子为1.2，最小目标框尺寸为20个像素点。窗口滑动因子为2个像素点；方差过滤器对目标区域及候选区域的灰度值方差进行比较，若方差大于阈值的话则丢弃，经过这一步骤将滤掉大部分的背景区域，最后求取留下的极少部分候选区域的方向梯度直方图，将其送入训练好的极限学习机分类器中进行分类，丢弃背景类；检测器若输出多个目标结果，则需要采用聚类算法，对多个目标位置进行聚类。

在本实施例中，所述极限学习机分类器在所述步骤S2中完成初始化训练，具体训练过程为：随机提取10张与目标区域重叠80%以上的图像块，并分别作仿射变换生成200张目标训练样本；在远离目标的区域随机提取200张图像块作为背景训练样本，对所述背景训练样本进行尺度归一化并提取方向梯度直方图作为特征训练极限学习机。

在本实施例中，所述步骤S5中，如图3所示，所述跟踪器对上一帧中跟踪目标进行跟踪的跟踪策略为：采用前向后向跟踪算法，求取特征点的SIFT描述子用以匹配跟踪目标，具体包括以下步骤：

步骤S51:将当前帧图像进行网格化，并选择网格的左上角的点作为特征点；

步骤S52：采用Lucas-Kanade 光流法预测特征点在下一帧的位置；

步骤S53：采用Lucas-Kanade 光流法从下一帧往回跟踪，获得前向预测跟反向预测轨迹位移偏差，丢弃位移偏差超过阈值的特征点；

步骤S54：求取剩下的特征点的SIFT描述子；

步骤S55：对所述步骤S54中所有求取SIFT描述子刻画的特征点进行匹配，若一特征点的相似度小于中值，则丢弃该特征点，若一特征点的相似度不小于中值，则保留该特征点；

步骤S56：若所述步骤S55保留的特征点个数少于阈值，则得到跟踪的目标区域，若所述步骤S55保留的特征点个数大于阈值，则输出跟踪到的目标区域；所述阈值为10个特征点。

在本实施例中，如图4所示，所述步骤S6中所述整合模块接收结果与综合分析的具体方法为：所述整合模块首先判断所述跟踪模块与所述检测模块是否有结果输出，若两个模块都没有输出结果的话，则表示该帧没有跟踪到目标，则无结果输出；若两个模块均有结果输出则先判断两个模块的输出结果区域重叠率是否大于0.6，若重叠率大于0.6，则对重叠的目标区域进行聚类并输出最终的结果；若重叠率不大于0.6，则将所有的候选区域与目标模型进行匹配，若匹配的置信度大于0.5，则将置信度最大的区域作为最终的目标区域。

    以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。