基于相似性和不相似性融合排序优化的行人重识别方法

摘要

本发明公开了一种基于相似性和不相似性融合排序优化的行人重识别方法，行人重识别是一种针对特定行人的检索问题，本发明的主要思想是正确检索的行人目标应该跟查询行人的极正样本相似，并且跟查询行人的极负样本不相似。同时我们将与极正样本相似的那些行人定义为疑正样本，与极负样本相似的样本为疑负样本，通过提高疑正样本的排名，同时降低疑负样本的排名，来达到通过排序优化的方式来提升行人重识别的效果。此外，融合多种方法的结果来加强这种相似性和不相似性关系。本发明通过对相似性和不相似性的排序结果进行融合，进而提升多摄像头下同一行人匹配的准确性。

说明书

技术领域

本发明属于监控视频检索技术领域，涉及一种行人重识别方法，尤其涉及一 种基于相似性和不相似性融合排序优化的行人重识别方法。

背景技术

在实际视频侦查中，侦查员需要根据指定行人对象在多摄像头下的活动画面 和轨迹来快速排查、追踪和锁定嫌疑目标，但是需要耗费大量的人力物力和时间， 影响破案效率,极易错过最佳的破案时机。行人重识别是一种针对特定行人对象 的跨摄像头监控视频自动检索技术，即在照射区域无重叠的多摄像头下匹配同一 行人对象。该技术用以辅助视频侦查员快速、准确地发现嫌疑目标的活动画面和 轨迹，对公安部门提高破案率、维护人民群众生命财产安全具有重要意义。

目前行人重识别技术所面临的挑战主要是来自于多摄像头下的行人图像往 往存在视角变化、光照变化、姿态变化和尺寸变化等,使得相同行人之间的差异 甚至比不同行人之间的还要大。现有行人重识别技术大致可以分为三类：基于特 征表示的行人重识别技术、基于尺度学习的行人重识别技术、基于排序优化的行 人重识别技术。现有行人重识别所有基于特征方法包括：文献1所述的ELF方法， 文献2所述的SDALF方法，文献3所述的LDFV方法，文献4所述的SDC方法， 文献5所述的BiCov方法，文献6所述的SCND方法，文献7所述的PCCA方法， 文献8所述的PRDC方法，文献9所述的LMNN方法，文献10所述的ITML方法， 文献11所述的KISSME方法和文献12所述的FPM方法以及他们的一些变形方法；

其中现有基于优化排序的行人重识别技术仅用到相似性而没有用到不相似 性，其优化结果并不理想。

【文献1】：Douglas Gray and Hai Tao,“Viewpoint invariant pedestrian recognition  with an ensemble of localized features,”in European Conference on Computer  Vision(ECCV),2008

【文献2】：MichelaFarenzena,Loris Bazzani,Alessandro Perina,Vittorio Murino, and Marco Cristani,“Person reidentification by symmetry-driven accumulation of  localfeatures,”in IEEE Conference on Computer Vision andPattern Recognition (CVPR),2010.

【文献3】：Ma,B.,Su,Y.,Jurie,F.:Local descriptors encoded by fisher vectors for  person re-identification.In:European Conference on Computer Vision Workshops  andDemonstrations(ECCV Workshop),pp.413–422(2012)

【文献4】：Zhao,R.,Ouyang,W.,Wang,X.:Unsupervised salience learning for  personre-identification.In:Computer Vision and Pattern Recognition(CVPR), pp.3586–3593(2013)

【文献5】：B.Ma,Y.Su,and F.Jurie,“Bicov:a novel image representationfor person  re-identification and face verification,”in BritishMachine Vision Conference (BMVC),2012.

【文献6】：Yan J et al.Yang Y,Yang J,“Salient color names forperson  re-identification,”in European Conference onComputer Vision(ECCV),2014

【文献7】：A.Mignon and F.Jurie,“Pcca:A new approach for distancelearning from  sparse pairwise constraints,”in IEEE Conferenceon Computer Vision and Pattern  Recognition(CVPR),2012

【文献8】：Zheng W S,Gong S,Xiang T.Person re-identification by probabilistic  relative distance comparison[C]//Computer Vision and Pattern Recognition(CVPR), 2011IEEE Conference on.IEEE,2011:649-656.

【文献9】：K.Q.Weinberger,J.Blitzer,and L.K.Saul.Distance metriclearning for  large margin nearest neighbor classification.InAdvances NIPS,2006

【文献10】：J.V.Davis,B.Kulis,P.Jain,S.Sra,and I.S. Dhillon.Information-theoretic metric learning.In Proc.IEEE Intern.Conf.on Machine  Learning,2007.

【文献11】：M.Kostinger,M.Hirzer,P.Wohlhart,P.Roth,and H.Bischof,“Large  scale metric learning from equivalence constraints,”inIEEE Conference on Computer  Vision and Pattern Recognition(CVPR),2012

【文献12】：Wang Y,Hu R,Liang C,et al.Camera compensation using feature  projection matrix for person re-identification[C]//Multimedia and Expo(ICME),2013 IEEE International Conference on.IEEE,2013:1-6.

发明内容

针对现有技术存在的不足，本发明提供了一种基于相似性和不相似性融合排 序优化的行人重识别方法，该方法通过对相似性和不相似性的排序结果进行融合， 进而提升多摄像头下同一行人匹配的准确性。

本发明所采用的技术方案是：一种基于相似性和不相似性融合排序优化的行 人重识别方法，其特征在于：任选ELF方法、SDALF方法、LDFV方法、SDC方法、 BiCov方法、SCND方法、PCCA方法、PRDC方法、LMNN方法、ITML方法、KISSME 方法和FPM方法中的两种方法(以下简称为方法1和方法2)进行相似性和不相 似性融合排序优化；其具体实现包括以下步骤：

步骤1：针对一个特定的查询p，分别采用方法1和方法2得到p的排序列 表RL¹(p)和RL²(p)，分别取两个排序列表的前k₊个结果，得到和

步骤2：通过对两个排序列表和的前k个结果取并集，得到 双方都认同的极相似样本集$G_{K_{c+}}\left(p\right)=\left\{g_{K_{c+}\left(j\right)}\right|j=\mathrm{1,2},...k_{c_{+}},k_{c_{+}}\le k\},$即都认同的极 相似样本数有个；

步骤3：对极相似样本集里的每一个样本作为一个新的查询； 保留原先的待查集，进行交叉的反向查询；对于方法1和方法2，计算每个新查 询排序列表与原始查询p的排序列表的Jaccard相似度，分别对进行重 排；其具体实现包括以下子步骤：

步骤3.1:对中的每个新的查询根据它在中的位置， 计算每个的排序列表赋的权重

步骤3.2：

对于方法1，对中的每一个进行反向查询时，用方法2去查询； 对中的每一个新的查询得到的新排序列表构建一个 双层图Graph⁺＝<G,E,w>，第一层采用初始的方法1得到的top-k个结果，第 二层采用方法2，取top-k结果，计算两层的Jaccard相似度并计算出每个极相似样本的权重对中进行重排，并输出排 序优化的结果

对于方法2，对中的每一个进行反向查询时，用方法1去查询； 对中的每一个新的查询得到的新排序列表构建一个 双层图Graph⁺＝<G,E,w>，第一层采用初始的方法2得到的top-k个结果，第 二层采用方法1，取top-k结果，计算两层的Jaccard相似度并计算出每个极相似样本的权重对中进行重排，并输出 排序优化的结果

步骤4：对两种优化后的排序列表进行融合，得到交叉反向查询的排序融合 排序列表RL^*(p)，其中，α表示融合的权重， 可根据实际情况调整；

步骤5：对于分别通过方法1和方法2得到p的排序列表RL¹(p)和RL²(p)， 分别取两个排序列表的后k_-个结果，得到和

步骤6：通过对两个排序列表和的前k_c-个结果取并集，得到 极不相似样本集$G_{K_{c-}}\left(p\right)=\left\{g_{K_{c-}\left(j\right)}\right|j=\mathrm{1,2},...k_{c_{-}},k_{c_{-}}\le k\},$即极不相似样本数有k_c-个；

步骤7:把极不相似样本集里的每一个极不相似样本作为一个 新的查询，保留原先的待查集，进行交叉的反向查询,其具体实现包括以下子步 骤：

步骤7.1：对于方法1，对中的每一个极不相似样本进行反向 查询时，用方法2去查询，得到一个新的排序列表取新排序列表 的前k₊个结果，用表示所有的新排序集合，即： $N_{k+}^1\left(G_{K_{c-}}\left(p\right)\right)=\{N_{k+}^1\left(g_{K_{c-}\left(j\right)}\right)|j=\mathrm{1,2},...k_{c-}\};$

步骤7.2：对于方法2，对中的每一个极不相似样本进行反向 查询时，用方法1去查询，得到一个新的排序列表取新排序列表的 前k₊个结果，用表示所有的新排序集合，即： $N_{k+}^2\left(G_{K_{c-}}\left(p\right)\right)=\{N_{k+}^2\left(g_{K_{c-}\left(j\right)}\right)|j=\mathrm{1,2},...k_{c-}\};$

步骤8：对步骤7得到的排序集合$N_{k+}^1\left(G_{K_{c-}}\left(p\right)\right)=\{N_{k+}^1\left(g_{K_{c-}\left(j\right)}\right)|j=\mathrm{1,2},...k_{c-}\}$和 $N_{k+}^2\left(G_{K_{c-}}\left(p\right)\right)=\{N_{k+}^2\left(g_{K_{c-}\left(j\right)}\right)|j=\mathrm{1,2},...k_{c-}\}$求其极不相似样本并集G_dis(p)；对 G_dis(p)中的每个样本g_i，统计其在和中的频数，用 tf(g_i)表示；其中tf(g_i)<k_c-；G_dis(p)中所有样本在和 中出现的频数表示为：

$\mathrm{TF}\left(g_i\right)=\left(\begin{array}{cc}\mathrm{tf}\left(g_i\right),& g_i\in G_{\mathrm{dis}}\left(p\right)\\ 0,& \mathrm{otherwise}\end{array}\right);$

步骤9：对于RL^*(p)中g_i的，根据g_i的频数将其在RL^*(p)中的顺序优化： rank^**(g_i)＝rank^*(g_i)*exp(β*TF(g_i))；根据rank^*(g_i)将RL^*(p)优化排序，得 到最终排序优化的RL^**(p)；其中rank^*(g_i)是g_i在RL^*(p)中的排列序号；

步骤10：重新计算排序优化后的CMC值，此处CMC值是指N次查询中，返 回前r个结果中有正确行人对象的概率，当返回前r个结果时，CMC值越高，表 示行人检索性能越好。

作为优选，步骤2中所述的双方都认同的极相似样本集定义为：

$G_{K_{c+}}\left(p\right)=\left\{{\mathrm{RL}}_{k_{+}}^1\left(p\right)\right\}\cap \left\{{\mathrm{RL}}_{k_{+}}^2\left(p\right)\right\}$

其中，和表示方法1和方法2排序列表的前k₊个结果。

作为优选，步骤3中所述的两层的Jaccard相似度分别定义为：

${\mathrm{sim}}^1(p,g_{K_{c+}\left(j\right)})=w^1(p,g_{K_{c+}\left(j\right)})\frac{|{\mathrm{RL}}^1\left(p\right)\cap {\mathrm{RL}}^{2^{\prime }}\left(g_{K_{c+}\left(j\right)}\right)|}{|{\mathrm{RL}}^1\left(p\right)\cup {\mathrm{RL}}^{2^{,}}\left(g_{K_{c+}\left(j\right)}\right)|};$

作为优选，步骤3中所述的的定义为：

$w(p,g_{k_{c+}\left(j\right)})=w_0^{\mathrm{rank}(g_{k_{c+}\left(j\right)},G_{k_{c+}}\left(p\right))}$

其中，表示新查询在排序列表中的序号。

作为优选，步骤6中的所述的极不相似样本集定义为：

$G_{K_{c\_}}\left(p\right)=\left\{{\mathrm{RL}}_{k\_}^1\left(p\right)\right\}\cup \left\{{\mathrm{RL}}_{k\_}^2\left(p\right)\right\}.$

与现有基于排序优化的行人重识别技术相比，本发明具有以下优点和有益效 果：

1)与现有技术相比，本发明在方法1和方法2下，利用方法1和方法2的 互补性来优化初始排序结果，使得排名靠前的检索结果更加可靠；

2)与现有技术相比，本发明在方法1和方法2下，引入了不相似性进行排 序优化，在初始优化排序的基础上，使得排序结果更加可靠；

3)本发明引入排序融合的方法来改进重识别性能，在排序层面上的优化使 得方法的拓展性和适用性很强。

附图说明

图1：为本发明方法流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对 本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解 释本发明，并不用于限定本发明。

本发明是一种基于相似性和不相似性融合排序优化的行人重识别方法；任选 ELF方法、SDALF方法、LDFV方法、SDC方法、BiCov方法、SCND方法、PCCA方 法、PRDC方法、LMNN方法、ITML方法、KISSME方法和FPM方法中的两种方法(以 下简称为方法1和方法2)进行相似性和不相似性融合排序优化；

首先通过基于方法1和方法2得到初始的排序结果；然后通过取两者排序结 果的前k个结果的交集作为初始查询；然后再对里的每一个目标 作为新的查询进行交叉的反向查询，得到其反向查询的排序列表；最后再 对里的每个的反向查询排序列表去构建一个双层图，计算图的近邻 相似性去对进行进一步的重排，得到基于相似性的优化排序；再取两个 初始排序结果的最后k个结果的并集作为初始查询的极不相似样本集； 再然后对里的每一个目标作为新的查询，得到反向查询排序列表集 合，$N_{k+}^1\left(G_{K_{c-}}\left(p\right)\right)=\{N_{k+}^1\left(g_{K_{c-}\left(j\right)}\right)|j=\mathrm{1,2},...k_{c-}\}$和$N_{k+}^2\left(G_{K_{c-}}\left(p\right)\right)=\{N_{k+}^2\left(g_{K_{c-}\left(j\right)}\right)|j=\mathrm{1,2},...k_{c-}\};$统计G_dis(p)中每个查询在反向查询排序列表集合中出现的频数

$\mathrm{TF}\left(g_i\right)=\left(\begin{array}{cc}\mathrm{tf}\left(g_i\right),& g_i\in G_{\mathrm{dis}}\left(p\right)\\ 0,& \mathrm{otherwise}\end{array}\right);$根据每个查询的频数，惩罚它在基于相似性的排 序列表RL^*(p)中的排序，rank^**(g_i)＝rank^*(g_i)*exp(β*TF(g_i))，最后得到基于相似 性和不相似性融合的排序优化结果。

请见图1，本实施例采用MATLAB7作为仿真实验平台，在常用的行人重识别 数据集VIPeR上进行测试。VIPeR数据集有两个摄像头下的632个行人图像对， 两个摄像头之间存在明显的视角、光照等差异。

以下针对上述实施例对本发明的做进一步的阐述，本发明的流程包括：

步骤1：针对一个特定的查询p，分别通过方法1和方法2得到p的排序列 表RL¹(p)和RL²(p)，分别取两个排序列表的前k₊个结果，得到和

步骤2：通过对两个排序列表和的前k个结果取并集，得到 双方都认同的极相似样本集$G_{K_{c+}}\left(p\right)=\left\{g_{K_{c+}\left(j\right)}\right|j=\mathrm{1,2},...k_{c_{+}},k_{c_{+}}\le k\},$即都认同的极 相似样本数有个。其中双方都认同的极相似样本集定义为：

$G_{K_{c+}}\left(p\right)=\left\{{\mathrm{RL}}_{k_{+}}^1\left(p\right)\right\}\cap \left\{{\mathrm{RL}}_{k_{+}}^2\left(p\right)\right\}$

其中，和表示两种方法排序列表的前k₊个结果。

步骤3：对极相似样本集里的每一个样本作为一个新的查询。 保留原先的待查集，进行交叉的反向查询。对于方法1和方法2，计算每个新查 询排序列表与原始查询p的排序列表的Jaccard相似度，分别对进行重 排，其具体实现包括以下子步骤：

步骤3.1:对中的每个新的查询根据它在中的位置， 计算每个的排序列表赋的权重

步骤3.2：

对于方法1，对中的每一个进行反向查询时，用方法2去查询。 对中的每一个新的查询得到的新排序列表构建一个 双层图Graph⁺＝<G,E,w>，第一层采用初始的方法1得到的top-k个结果，第 二层采用方法2，取top-k结果，计算两层的Jaccard相似度 ${\mathrm{sim}}^1(p,g_{K_{c+}\left(j\right)})=w^1(p,g_{K_{c+}\left(j\right)})\frac{|{\mathrm{RL}}^1\left(p\right)\cap {\mathrm{RL}}^{2^{\prime }}\left(g_{K_{c+}\left(j\right)}\right)|}{|{\mathrm{RL}}^1\left(p\right)\cup {\mathrm{RL}}^{2^{,}}\left(g_{K_{c+}\left(j\right)}\right)|},$对中进行重排，并 输出排序优化的结果

对于方法2，对中的每一个进行反向查询时，用方法1去查询。 对中的每一个新的查询得到的新排序列表构建一个 双层图Graph⁺＝<G,E,w>，第一层采用初始的方法2得到的top-k个结果，第 二层采用方法1，取top-k结果，计算两层的Jaccard相似度 对中进行重排，并 输出排序优化的结果

其中定义为：

$w(p,g_{k_{c+}\left(j\right)})=w_0^{\mathrm{rank}(g_{k_{c+}\left(j\right)},G_{k_{c+}}\left(p\right))}$

其中，表示新查询在排序列表中的序号。

步骤4：对两种优化后的排序列表进行融合，得到交叉反向查询的排序融合 排序列表RL^*(p)，其中，α表示融合的权重， 可根据实际情况调整。

步骤5：对于分别通过方法1和方法2得到p的排序列表RL¹(p)和RL²(p)， 分别取两个排序列表的后k_-个结果，得到和

步骤6：通过对两个排序列表和的前k_c-个结果取并集，得到极 不相似样本集$G_{K_{c-}}\left(p\right)=\left\{g_{K_{c-}\left(j\right)}\right|j=\mathrm{1,2},...k_{c_{-}},k_{c_{-}}\le k\},$即极不相似样本数有k_c-个。 其中极不相似样本集定义为：

$G_{K_{c\_}}\left(p\right)=\left\{{\mathrm{RL}}_{k\_}^1\left(p\right)\right\}\cup \left\{{\mathrm{RL}}_{k\_}^2\left(p\right)\right\}.$

步骤7:把极不相似样本集里的每一个极不相似样本作为一个 新的查询，保留原先的待查集，进行交叉的反向查询,其具体实现包括以下子步 骤：

步骤7.1：对于方法1，对中的每一个极不相似样本进行反向 查询时，用方法2去查询，得到一个新的排序列表取新排序列表 的前k₊个结果，用表示所有的新排序集合，即： $N_{k+}^1\left(G_{K_{c-}}\left(p\right)\right)=\{N_{k+}^1\left(g_{K_{c-}\left(j\right)}\right)|j=\mathrm{1,2},...k_{c-}\}.$

步骤7.2：对于方法2，对中的每一个极不相似样本进行反向 查询时，用方法1去查询，得到一个新的排序列表取新排序列表的 前k₊个结果，用表示所有的新排序集合，即： $N_{k+}^2\left(G_{K_{c-}}\left(p\right)\right)=\{N_{k+}^2\left(g_{K_{c-}\left(j\right)}\right)|j=\mathrm{1,2},...k_{c-}\}.$

步骤8：对步骤7得到的排序集合$N_{k+}^1\left(G_{K_{c-}}\left(p\right)\right)=\{N_{k+}^1\left(g_{K_{c-}\left(j\right)}\right)|j=\mathrm{1,2},...k_{c-}\}$和 $N_{k+}^2\left(G_{K_{c-}}\left(p\right)\right)=\{N_{k+}^2\left(g_{K_{c-}\left(j\right)}\right)|j=\mathrm{1,2},...k_{c-}\}$求其极不相似样本并集G_dis(p)。对 G_dis(p)中的每个样本g_i，统计其在中的频数，用 tf(g_i)表示；其中tf(g_i)<k_c-；G_dis(p)中所有样本在和 中出现的频数表示为：

$\mathrm{TF}\left(g_i\right)=\left(\begin{array}{cc}\mathrm{tf}\left(g_i\right),& g_i\in G_{\mathrm{dis}}\left(p\right)\\ 0,& \mathrm{otherwise}\end{array}\right)$

步骤9：对于RL^*(p)中g_i的，根据g_i的频数将其在RL^*(p)中的顺序优化： rank^**(g_i)＝rank^*(g_i)*exp(β*TF(g_i))；根据rank^*(g_i)将RL^*(p)优化排序，得 到最终排序优化的RL^**(p)。其中rank^*(g_i)是g_i在RL^*(p)中的排列序号。

步骤10：重新计算排序优化后的CMC值，此处CMC值是指N次查询中，返 回前r个结果中有正确行人对象的概率，当返回前r个结果时，CMC值越高，表 示行人检索性能越好。

上述过程对每个测试样本进行k次查询，计算k次查询平均CMC值，并输出， 此处k取10。对比初始的基于文献13方法和基于文献14方法的行人重识别方 法的平均CMC值，见表1。从表1中可以发现，本发明的排序优化行人重识别方 法的检索性能有明显的提高。

表1在VIPeR上分别返回前1、5、10、25个结果时的平均CMC值(％)

方法 1 5 10 25 文献13方法 22.63 50.13 71.65 82.12 文献14方法 23.32 43.73 59.87 68.45 本发明方法 39.07 68.29 84.49 90.82

其中：

【文献13】Kostinger M,Hirzer M,Wohlhart P,et al.“Large scale  metric learning from equivalence constraints”,Computer Vision and  Pattern Recognition(CVPR),PP.2288-2295,2012。

【文献14】Zhao R,Ouyang W,Wang X.“Unsupervised salience learning  for person re-identification”,Computer Vision and Pattern Recognition (CVPR),PP.3586-3593,2013。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是 对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不 脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发 明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。