基于模糊理论决策的双向二维主成分分析的步态识别方法

摘要

基于模糊理论决策的双向二维主成分分析的步态识别方法，先对一个步态序列的图像预处理，并提取人体运动轮廓，确定步态周期，计算出具有完整周期的步态能量图的平均图像；构建个平均步态能量图像训练样本，并分成N个子图像集；对每个子图像集求出行方向和列方向的最优投影矩阵，后求每个训练样本子图像的特征矩阵；对待识别的平均步态能量图像求每个子图像的特征矩阵；后求出待识别图像对各训练样本的隶属度，根据最大隶属度原则，确定分类结果。本发明将平均步态能量图像分割为多个子图像，利用双向二维主成分分析降低平均步态能量子图像的系数矩阵维数，解决了步态识别中平均步态能量图像系数矩阵维数过高的问题，提高了识别率，加快识别速度。

说明书

技术领域

本发明涉及一种图像处理技术，具体是一种基于模糊理论决策的双向二维主成分分析步态识别方法。 

背景技术

步态识别是一种新型的生物特征识别技术。步态识别作为一种生物特征识别方法，就是根据人走路的姿势进行人的身份认证和识别。步态特征具有一定的节奏和循环特性，并且本质上是周期性的。作为习惯性的行为特征，一个人的步态在相当长的时间内是不会发生很大变化的，具有较强的稳定性。区别于人脸识别、指纹识别、虹膜识别等识别技术，步态识别作为一种生物特征具有以下几个特点：易于观察、难于伪装、对系统分辨率要求低、远距离识别等。因此步态识别是一种理想的非侵犯性生物特征识别技术。现有步态识别的方法很多，总体上分为基于模型的方法和基于统计的方法：基于模型的方法旨在构建一个人体的2D或3D的运动结构模型，通过提取图像特征把它们映射到模型的结构成分上来表征人体的步态模式。基于统计的方法是通过行人在图像中的轮廓所产生时空模式的统计特性来特征化步态运动。现有的步态识别方法一般都是采用相同的行走状态条件下的训练视频序列和测试视频序列来建立步态识别的框架。实际的应用中，测试的视频序列变化是很大的，例如衣着的不同，携带物品的不同等等状态，都会对实际的识别性能产生很大的影响。另外步态识别中步态能量图应用也较广泛，但步态特征识别中的平均步态能量图像系数矩阵元素过多，维数过高的问题，对识别速度影响较大。在这种情况下，合理的选择特征量能够表征真实的步态特征，选用合理的步态识别方法，可以提高步态的识别率和识别速度成为一个重要的问题。 

经过对现有技术的检索发现，马勤勇等人在《光电子·激光》（第20卷第四期）第545页到第549页上发表的“基于能量图分解与运动偏移特性的步态识别”提出了利用平均近邻图与平均轮廓图重建异常的图像，然后将对象的步态能量图分解为两部分，并分别为每一部分生成一系列扩展图像，从而构造出能量分解图。最后使用能量分解图和运动偏移图共同进行分类。这种步态识别方法的特征表示方式在很大程度上避免了传统的步态能量图易受步态形状宽度影响的缺点。针对现有基于步态偏移图算法仍然保留了大量静态形状信息的问题，这种特征表达方式更加注重轮廓边缘区域，而会丢失一些内部的整体信息。同时，该步态轮廓图异常检测及校正算法计算量较大，在识别速度上还存在提升的空间。通过检索张前进等人在《工程图学学报》（第32卷第一期）第39页到44页上发表的“一种基于平均步态能量图的身份识别算法”，提出了提出一种基于步态能量图的嵌入式隐马尔可夫模型身份识别方法。首先提取出运动人体的侧面轮廓，根据步态下肢的摆动距离统计出步态周期，得到平均步态能量图。对能量图的各区域进行分析，利用二维离散余弦变换将能量图观测块转化为观测向量，实现嵌入式隐马尔可夫模型的训练和身份识别。最后在USF和CASIA步态数据库上对所提出的算法进行实验。该算法基于嵌入式隐马尔可夫模型，该模型在训练和识别的过程中，会耗费一定的计算量；同时利用二维离散余弦变换将能量图观测块转化为观测向量，步态的信息会有部分丢失，对识别结果有一定的影响。这就促使区寻找一种新的步态识别方法，在具有较高的识别率的同时提升识别的速率。 

发明内容

    本发明所要解决的技术问题是提供一种基于模糊理论决策的双向二维主成分分析（DTPCA）的步态识别方法。通过预处理技术得到平均步态能量图并将得到的图像分割为多个子图像，利用双向二维主成分分析来降低平均步态能量子图像的系数矩阵维数，解决了步态识别中平均步态能量图像系数矩阵维数过高的问题，加快识别速度。 

本发明为解决上述技术问题所采用的技术方案是：基于模糊理论决策的双向二维主成分分析的步态识别方法，包括如下步骤： 

步骤一、对一个步态序列中的图像进行预处理：采用非线性平滑技术的中值法，将每一像素点的灰度值设置为与该点相邻的所有像素点灰度值的中值，从图像序列中恢复出背景图像，将输入的连续N帧图像像素值的中间值作为背景图像的像素值；

步骤二、使用间接执行差分操作提取人体运动的轮廓；

步骤三、对单连通的运动目标图像进行准周期性分析，通过分析人体轮廓形状随时间的变化，根据人体侧面的下肢轮廓宽度从最大到最小又到最大的周期性变化过程确定步态周期；

步骤四、根据确定的步态周期，构建每一个步态周期的能量图，然后再计算出步态序列中具有完整周期的步态能量图的平均图像，得到一个平均步态能量图像训练样本；

步骤五、按照步骤一至四的方法，构建 个平均步态能量图像训练样本，把每个样本都分成N个子图像，所有训练图像样本对应位置的子图像组成子图像集；

步骤六、设，，其中和分别表示训练样本和的第i个行向量，表示所有训练样本的平均图像；利用协方差矩阵对每个子图像集求出行方向上的最优投影矩阵；

步骤七、设，，这里和分别表示和的第个列向量，利用式对每个子图像集求列方向上的最优投影矩阵；

步骤八、利用式求每个训练图像样本所有子图像的特征矩阵，其中表示第i个训练样本的第j个子图像，，M为训练样本的个数，，N为子图像集的个数，为对应不小于1的特征值组成的对角阵，为小于1的特征值对应的特征向量, 为0-1之间的一个指数；

步骤九、对一幅待识别的平均步态能量图像B，首先分割出各个子图像，用每个子图像向各自对应的投影空间投影，求得每个子图像的特征矩阵；

步骤十、然后计算步骤九得到的特征矩阵与步骤八中每个训练样本特征矩阵之间的距离，根据公式求出待识别样本的子图像对训练样本的隶属度，其中，，为模糊因子；

步骤十一、对待识别的平均步态能量图各个子图像与每个训练样本子图像的隶属度相加求和，得到待识别图像对于各个训练样本的隶属度，根据最大隶属度原则，最后的分类结果为，即待识别人脸图像与第S个训练样本同属一类。

本发明的有益效果是：考虑到平均步态能量图像系数矩阵元素过多，维数过高的问题，直接进行计算，计算量太大。本发明将得到的平均步态能量图像分割为多个子图像，利用双向二维主成分分析来降低平均步态能量子图像的系数矩阵维数，解决了步态识别中平均步态能量图像系数矩阵维数过高的问题，提高了识别率，加快识别速度。针对识别中分类较困难的特点，在分类决策的过程中引入了模糊理论使分类的效果更好。本发明在CASIA步态数据库上对所提出的方法进行实验，结果表明该方法具有较好的识别性能，识别率及其识别速度优于现有的方法。 

附图说明

    图1本发明方法提取步态序列轮廓。

图2本发明方法步态周期性分析。 

图3本发明方法步态帧和步态能量图。 

图4本发明方法平均步态能量图的识别过程。 

图5本发明方法双向二维主成分分析的训练和识别框图。 

图6本发明方法90°视角实验结果。 

具体实施方式

下面对本发明的实施例做详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。 

实施例

步骤一、图像的预处理技术。首先获得背景图像。采用非线性平滑技术的中值法，将每一像素点的灰度值设置为与该点相邻的所有像素点灰度值的中值，从图像序列中恢复出背景图像，将输入的连续N帧图像像素值的中间值作为背景图像的像素值。令代表一个包含N帧图像的序列，则背景图像可表达为： ，其中是处的灰度值，为背景图像。 

步骤二、人体运动轮廓的提取：使用间接执行差分操作，式中与分别是当前图像和背景图像在像素处的亮度值。该函数可以根据背景图像中每个像素的亮度来检测其敏感性变化，在当前图像和背景图像的亮度较接近时，能更好地检测出人体运动的轮廓，如图1所示。 

步骤三、对单连通的运动目标图像的准周期性分析：对得到人体图像的轮廓，用复数形式表示为： ，式中和为该像素点的坐标值。确定行人内在运动的一个重要线索是人体轮廓形状随时间的变化。为了减小计算的复杂度，将二维轮廓形状变化转换为一维距离信号来表达步态运动的时空变化模式。侧重腰部以下人体下肢的运动变化，选择最低边缘点作为参考点，从下向上将轮廓边界展开为相同纵坐标的最左和最右两点和的距离。，从人体侧面轮廓图像序列可以看出，步态数据是准周期性的时变数据。人体侧面的下肢轮廓宽度会经过一个周期性的变化，即有一个从最大到最小又到最大的变化过程，此处利用两条腿的轮廓宽度变化来进行周期性分析，根据人体侧面的下肢轮廓宽度从最大到最小又到最大的周期性变化过程确定步态周期。另采用轮廓分析步态时，从轮廓中无法区分左右腿，如图2所示。 

步骤四、根据确定的步态周期，构建每一个步态周期的能量图。假设在一个序列中的时刻t时，对应的预处理过的二进制步态轮廓图像为，灰度级的步态能量图定义如下：，这里N是完整的步态周期中帧的总数目，x和y对应的是2D图像中的坐标值，t是指在步态周期中的帧数。得到每一个步态周期的能量图后，再计算序列中具有完整周期的步态能量图的平均图像，得到一个平均步态能量图像训练样本。假设对象一个的步态序列中有n个完整的步态周期，第k个步态周期的步态能量图表示为，则该步态序列的平均步态能量图为：，如图3所示。 

步骤五、按照步骤一至四的方法，构建个平均步态能量图像训练样本，把每个样本都分成N个子图像，所有训练图像样本对应位置的子图像组成子图像集。 

步骤六、设，，其中和分别表示训练样本和的第i个行向量。假设训练样本共有M个，第k个训练样本用一个的矩阵来表示，所有训练样本的平均图像用来表示，可得到图像的协方差矩阵（散布矩阵）为：，利用协方差矩阵对每个子图像集求出行方向上的最优投影矩阵。具体求法为：采用准则，其中，表示训练样本的投影特征向量的协方差矩阵，表示的迹，最大化准则的意义就是找到一个投影方向，使得所有的样本投影到上后投影样本的总体散布矩阵最大，可以求得。 

步骤七、设，，这里和分别表示和的第个列向量，那么图像协方差矩阵的另一种定义为，利用式对每个子图像集求列方向上的最优投影矩阵，方法同步骤六。 

步骤八、利用式求每个训练图像样本所有子图像的特征矩阵，其中表示第i个训练样本的第j个子图像，，M为训练样本的个数，，N为子图像集的个数，为对应不小于1的特征值组成的对角阵，为小于1的特征值对应的特征向量, 为0-1之间的一个指数，就是这个对角阵加了一个指数值，为0-1之间的一个数，结果是相当于把对角阵的每个值取指数，例如，时，就为。利用式求每个训练图像样本所有子图像的特征矩阵。 

步骤九、对一幅待识别的平均步态能量图像，首先分割出各个子图像，用每个子图像向各自对应的投影空间投影，得到各个子图像行、列方向上的投影矩阵，根据式子求得每个子图像的特征矩阵。 

步骤十、然后计算步骤九得到的特征矩阵与训练样本之间的距离，，待识别样本的子图像对训练样本的隶属度可根据公式求出，其中，表示子图像到训练样本之间的平均值，为模糊因子，是一个可以控制模糊程度的常数，本文模糊因子t的值取0.5。 

步骤十一、对待识别的平均步态能量图各个子图像与每个训练样本子图像的隶属度相加求和，得到待识别图像对于各个训练样本的隶属度，根据最大隶属度原则，最后的分类结果为，即待识别人脸图像与第S个训练样本同属一类，平均步态能量图的识别过程如图4所示，DTPCA的训练和识别框图如图5所示。 

在本发明中，由于直接对矩阵进行计算，计算量太大，维数太高，在实际的处理中一般都是取能代表矩阵的某种特征性质的变量来表达的，本发明用矩阵的最优投影矩阵来表达矩阵的性质，可以减小矩阵的维数，便于计算。本发明中设平均步态能量图像分成的N个子图像集，子图像集经双向二维主成分分析得到p个行方向上和q个列方向上的最优投影矩阵与，本发明把一个大的矩阵分成若干个p*q的小矩阵，便于计算。 

实施效果 

根据上述步骤，对中国科学院自动化研究所CASIA步态数据库Dataset B进行步态识别。该数据库有124个人组成，每个人的序列是从0°到180°之间，以18°递增的11个不同视角。数据库中的每个人有10个行走序列，其中有6个正常的行走序列(Set A)，2个挎包的序列(Set B)，2个穿大衣的序列(Set C)。把每一个人Set A中的前3个序列作为训练子集(Set A1)，剩下的作为测试子集(Set A2)。Set B和Set C的前一个序列作为训练子集((Set B1)和 (Set C1))，剩下一个序列作为测试子集((Set B2)和 (Set C2))，所有实验均在PC计算机上实现，该机器配置为：AMD Turion 64×2 Mobile Technology TL-50双核处理器，2GB内存。

 本发明首先选用库中的25个人进行实验，序列的视角均为90°的正侧面视角。采用留一校验法测试，实验结果如图6所示。从实验结果可以看出，实验A的实验效果好于实验B和C。这是由于Set A集合中人行走时相对Set B和Set C集合的平均步态能量图像实际信息维数较小，经DTPCA变换后的特征矩阵更能有效地表征其图像特征。Set B和Set C集合相对Set A集合来说，图像较为复杂，DTPCA变换后特征矩阵代表了图像的大部分信息，相比Set A集合在变换的同时也丢失了一些平均步态能量图像特征信息。 

下面讨论本发明方法与其他几种方法的比较。实验的数据库用CASIA步态数据库，数据库的分类用上面的方法，选用库中的40个人进行实验。测试的样本目标运动方向与摄像机光轴方向成90°视角，分类器均为模糊理论决策方法的最近邻分类器，所得的识别率分别为三种子集的平均值。本发明算法明显优于其他几种算法，算法如下： 

MBPSS法：Baofeng Guo, Mark S. Nixon. Gait feature Subset by mutual information[J]. IEEE Trans on Systens, Man, and Cybernetics-Part A: Systems and Humans, 2009,39(1):36-46；

ACPE法：基于加速度特征点提取的步态身份认证[J]. 王犇,袁涛,梁灿.清华大学学报（自然科学版）, 2009,49(10):25-28；

Fanbean法：王科俊,贲晛烨.基于线性插值的步态识别算法[J].华中科技大学学报（自然科学版）, 2010,38(2): 41-44；

e-HMM法：张前进,陈祥涛,卜文绍.一种基于平均步态能量图的身份识别算法[J].工程图学学报,2011,32(1):39-44；

多特征融合法：王科俊,贲晛烨,刘丽丽等.基于能量的信息融合步态识别[J].华中科技大学学报（自然科学版）, 2009,37(5):14-17。

不同算法识别率的比较结果为： 

不同算法耗时比较结果为：（单位为ms）

实验表明，本发明方法从表中可以看出，本文的识别效果和耗时性能明显优于其他方法。MBPSS法和ACPE算法都是较经典的步态识别方法，这两种算法的复杂度明显高于本文算法，但其识别率不如本文方法，且耗时高于本文。Fanbean算法是使用线性插值的Fanbean影射结合一般矩阵低秩估计特征提取算法，该算法的复杂度是高于本文算法的，而且对行人的衣着情况过于依赖。e-HMM算法利用二维离散余弦变换获得平均步态能量图的空间特征信息，引入了嵌入式隐马尔可夫模型的方法，计算量较大于本文算法，其识别率也不如本文算法高，且耗时最长。多特征融合算法在识别的过程中较好的对原始图像序列进行降维，计算复杂度属于中等，但其识别率不如本文算法，耗时也较长。由表可以看出，与当前的其他几种步态识别算法比较，本文算法在识别性能上优于其他算法，且耗时方面均优于其他几种算法。正常步态时获得了较好的识别率，背包比外套变化对识别影响大。