一种景区寻找同游人员的自适应方法

摘要

本发明提供了一种景区寻找同游人员的自适应方法，包括以下步骤，步骤1：获取报案人员的行人图像；步骤2：在行人图像数据库中检索报案人员；步骤3：在步骤2所提取的含有报案人员的视频帧中，检索失踪人员，并显示检索后的视频帧；步骤4：确认的图像内提取失踪人员的行人图像；步骤5：在行人图像数据库中检索失踪人员；步骤6：对所有摄像头进行实时监控；步骤7：若报案人员要求停止寻人；步骤8：结束。本发明的有益效果为：本发明提出了自适应方法，将失踪人员行人图像转换为不同的模态，用于匹配摄像头在白天和夜间捕获的行人图像，使得该方法能够在日间环境和夜间环境下寻人，扩大了景区寻人方法的适用范围。

说明书

技术领域

本发明涉及人工智能和计算机视觉技术领域，尤其涉及一种景区寻找同游人员的自适应方法。

背景技术

游览景点是人们的休闲娱乐方式之一，不仅能够增长见闻，还有助于强身健体。现有的景区寻人方法大多是基于人工寻找的方式和人脸识别的方式，而且应用环境多为光照环境良好的白天。

人工寻找的方式有发布寻人信息和查询监控视频等方式。广播寻人信息包括在景区内张贴寻人启事、发放寻人传单，或以广播或网络的方式传播寻人信息。查询监控视频的方式可以完成两项任务：一为安防人员根据失踪人员从失踪时至今的监控录像，确认失踪人员的移动轨迹，从而得知失踪人员最终出现的时间地点；二为安防人员实时监控当前的监控影像，当出现失踪人员时，立即确定捕获此处影像的摄像头的位置信息，进而找到失踪人员的位置。

人脸识别的方式是事先获取失踪人的人脸图像，利用人脸识别技术，在失踪人员从失踪时间至今的监控录像中匹配人脸，确认失踪人员的移动轨迹，从而得知失踪人员最终出现的时间地点。

现有的人工寻找方式以人工的方式传播失踪人员的走失情况，派遣地面人员留意和寻找，但由于失踪人员的走失方向难确定，寻找范围大，耗时耗力，效率不高。人脸识别的方式依赖良好的拍摄角度和光照条件。同时，所有的摄像头都获取清晰的人脸图像是一个困难的问题。人脸识别的方法需要将摄像头对准入口拍摄，在采集到清晰的人脸图像后，依据人脸特征的相似度确定最终的人数，但该方法无法将整个景区覆盖。而且，一些景区有夜间活动，大多数现有的景区寻人方案无法有效地在夜间完成寻人任务。

发明内容

本发明的目的在于提供一种景区寻找同游人员的自适应方法，利用人的脸部多个特征信息对人的身份进行辨别，该方法通过摄像头捕获人脸图像，对人脸身份进行快速比对；利用计算机视觉领域的行人再识别技术和同游人员的特殊性，根据报案人员的行人图像，寻找出失踪人员的行人图像。

本发明的思想为：采用跨模态行人再识别技术匹配行人，其中，行人再识别技术是在非重叠的摄像头视域中，检索指定的行人，旨在不同的摄像头中，能够识别出特定的行人。

本发明是通过如下措施实现的：一种景区寻找同游人员的自适应方法，其中，所述自适应方法包括以下步骤：

步骤1：获取报案人员的行人图像，若没有失踪人员的图像，则执行步骤2；否则获取失踪人员的图像，并执行步骤2。

步骤2：根据步骤1中报案人员的行人图像，在行人图像数据库中检索报案人员，提取出报案人员存在时的视频帧，若步骤1中没有失踪人员图像，则执行步骤4；否则执行步骤3。

步骤3：利用步骤1中失踪人员的图像，在步骤2所提取的含有报案人员的视频帧中，检索失踪人员，并显示检索后的视频帧，并执行步骤4。

步骤4：根据检索结果，经报案人员的确认后，在已确认的图像内提取失踪人员的行人图像，并执行步骤5。

步骤5：根据步骤4中获取的失踪人员行人图像，在行人图像数据库中检索失踪人员，生成失踪人员的行动轨迹，并安排失踪人员最后出现的摄像头位置的就近工作人员密切留意失踪人员，并将失踪人员图像信息发送给工作人员，若工作人员寻得疑似失踪人员，则将该疑似失踪人员的信息发送给安防人员，经报案人员确认无误后，完成寻人任务，并执行步骤8；否则继续执行步骤6。

步骤6：根据步骤4中获取的失踪人员行人图像，对所有摄像头进行实时监控，若有摄像头捕获到失踪人员，则将对应摄像头的位置信息和失踪人员的图像信息发送给就近的工作人员，并将失踪人员的图像信息发送给工作人员，否则进行步骤7；若工作人员寻得疑似失踪人员，则将该疑似失踪人员的信息发送给安防人员，经报案人员确认无误后，完成寻人任务，并执行步骤8；否则执行步骤7。

步骤7：若报案人员要求停止寻人，则该失踪人员的寻人任务结束，执行步骤8；否则继续进行步骤6。

步骤8：结束。

进一步地，步骤2至步骤6利用了报案人员和失踪人员为同游人员的特殊性，通过报案人员行人图像，找出具有时效性的失踪人员行人图像，由此构建出行人轨迹，并进行实时监控，是本发明的创新点B。

进一步地，步骤1中，报案人员的行人图像为全身照，而失踪人员的图像可以是大头照、半身照、全身照等。

进一步地，步骤2中，检索的结果为含有报案人员的视频帧，即根据报案人员的行人图像所在的时间和位置，提取对应时间摄像头捕获的视频帧。其中，摄像头捕获的行人图像中含有两种模态(彩色和红外)，本发明采用的跨模态行人再识别方法为通过模态互转的方法降低跨模态差异，将多模态行人再识别转换为单模态行人再识别，实现自适应方法，是本发明的创新点A。所以步骤1中输入的报案人员行人图像将通过模态互转的方式，将其转换成另一种模态，使得报案人员行人图像含有彩色和红外两种模态，在行人图像数据库中检索时，将会令报案人员行人图像的彩色图像与行人图像数据库中的彩色图像匹配，报案人员行人图像的红外图像与行人图像数据库中的红外图像匹配。另外，行人图像数据库指行人图像集，行人图像集的构建由景区的所有摄像头完成，这些摄像头用来获取行人图像，获取的行人图像同样是全身照，行人数据库构建方法具体步骤如下：

步骤2-1：摄像头每秒获取一帧图像；

步骤2-2：在步骤2-1获取的一帧图像中，利用行人检测技术选定每位行人所在的范围，确保每个范围都包含了行人全身，而且每个范围内的大部分内容为行人；

步骤2-3：根据步骤2-2所选定的范围，截取行人图像，每个行人的行人图像以摄像头编号、图像模态、时间(如年、月、日、时、分、秒)、行人编号命名；

步骤2-4：将图像的将步骤2-3生成的行人图像存储在行人图像数据库中。

进一步地，步骤3中，由于报案人员提供的失踪人员图像可能不是完整的全身照，甚至无法提供失踪人员的任何图像，所以仅凭报案人员提供的失踪人员信息无法直接在行人图像数据库中匹配到足够的失踪人员行人图像。由于报案人员与失踪人员具有关联性，即失踪人员由于与报案人员是亲朋好友、有着利益往来等原因，使得二者之间曾经在景区同处过，所以可根据报案人员和失踪人员同处时的图像，提取出完整的失踪人员行人图像。特别地，若提供的失踪人员信息不是完整的全身照，甚至无法提供失踪人员的任何图像，可根据自然语言处理与生成对抗网络的方式，根据报案人员的描述，生成失踪人员的全身图像，用该图像完成步骤3的检索。在含有报案人员的视频帧中检索失踪人员的方式与步骤2中检索报案人员的方法类似，需要将失踪人员的图像转换为彩色与红外两种模态，使得失踪人员图像与视频帧间，相同模态间的图像进行匹配。

进一步地，步骤4中，报案人员根据步骤3中对失踪人员的检索结果进行鉴别，保留失踪人员所在的视频帧。接着，系统将利用行人检索技术，提取失踪人员的行人图像，由此获得真实的失踪人员行人图像，后续将以此作为寻人的依据。

进一步地，步骤5中，行动轨迹的构建基于行人图像数据库中摄像头所在位置、行人出现的时间，行人出现在摄像头视野的时间内，摄像头会连续地捕获该行人的行人图像，于是在摄像头捕获该行人图像的时间段内拥有起止时间，从而获取该行人于何时至何时在该摄像头处出现的轨迹信息。最终可以获取该行人在所有摄像头下出现的轨迹信息，从而形成完整的行动轨迹。

进一步地，步骤6中，实时监控指对所有摄像头捕获的视频图像进行监控，具体的一轮监控方式的步骤如下：

步骤6-1：获取摄像头监控视频的一帧图像；

步骤6-2：将该帧图像进行行人检测，提取行人图像，每个行人的行人图像以摄像头编号、图像模态、时间(如年、月、日、时、分、秒)、行人编号命名，这些行人图像存入实时行人图像集；

步骤6-3：将失踪人员的行人图像作为待查询行人图像，与步骤6-2中生成的实时行人图像集进行匹配，若匹配出相似度最高且达到指定阈值的行人图像，则将其作为疑似失踪人员处理，根据该行人图像捕获的时间与摄像头位置信息，向该位置就近的工作人员发送失踪人员的信息；否则清空实时行人图像集，完成一轮实时监控。

与现有技术相比，本发明的有益效果为：

(1)本发明提出了景区寻找同游人员的自适应方法，利用报案人员与失踪人员之间的同游关系，提高了失踪人员样本信息的准确性，解决了现有人工寻找方式的效率低下、人脸识别技术对采集人脸要求高的问题。同时，本发明提出了自适应方法，将失踪人员行人图像转换为不同的模态，用于匹配摄像头在白天和夜间捕获的行人图像，使得该方法能够在日间环境和夜间环境下寻人，扩大了景区寻人方法的适用范围。

(2)较于报案人员所提供的失踪人员图像，由报案人员行人图像寻找出的失踪人员行人图像距今时间更短，具有优秀的时效性，有助于提高匹配精度，另外，本发明以模态互转的方式实现自适应方法，将行人图像转换成所需要的模态，有助于相同模态行人图像间的匹配，使得诸如夜间环境的光照环境差的情况下，也能够进行寻人任务，扩大了景区寻人的适用范围。

(3)在本发明中，跨模态行人再识别将采用模态互转的方式，即彩色图像和红外图像间能够互相转换，使得输入的待查询行人图像能够转换成与摄像头捕获的行人图像一致模态的图像，使得跨模态匹配问题转换为相同模态的匹配问题，从像素级别缓解跨模态差异，实现自适应方法，另外，相同模态间的匹配需要先对行人图像进行特征提取，系统将根据提取的行人特征进行相似度匹配，在达到指定阈值后，系统判定达到阈值的行人图像为匹配到的行人图像。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明景区同游人员寻人系统架构示意图。

图2为本发明自适应方法匹配示意图。

图3为本发明景区同游人员寻人流程图。

图4为本发明的实时监控流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

参见图1至图4，一种景区寻找同游人员的自适应方法，其中，所述自适应方法包括以下步骤：

步骤1：获取报案人员的行人图像，若没有失踪人员的图像，则执行步骤2；否则获取失踪人员的图像，并执行步骤2。

步骤2：根据步骤1中报案人员的行人图像，在行人图像数据库中检索报案人员，提取出报案人员存在时的视频帧，若步骤1中没有失踪人员图像，则执行步骤4；否则执行步骤3。

步骤3：利用步骤1中失踪人员的图像，在步骤2所提取的含有报案人员的视频帧中，检索失踪人员，并显示检索后的视频帧，并执行步骤4。

步骤4：根据检索结果，经报案人员的确认后，在已确认的图像内提取失踪人员的行人图像，并执行步骤5。

步骤5：根据步骤4中获取的失踪人员行人图像，在行人图像数据库中检索失踪人员，生成失踪人员的行动轨迹，并安排失踪人员最后出现的摄像头位置的就近工作人员密切留意失踪人员，并将失踪人员图像信息发送给工作人员，若工作人员寻得疑似失踪人员，则将该疑似失踪人员的信息发送给安防人员，经报案人员确认无误后，完成寻人任务，并执行步骤8；否则继续执行步骤6。

步骤6：根据步骤4中获取的失踪人员行人图像，对所有摄像头进行实时监控，若有摄像头捕获到失踪人员，则将对应摄像头的位置信息和失踪人员的图像信息发送给就近的工作人员，并将失踪人员的图像信息发送给工作人员，否则进行步骤7；若工作人员寻得疑似失踪人员，则将该疑似失踪人员的信息发送给安防人员，经报案人员确认无误后，完成寻人任务，并执行步骤8；否则执行步骤7。

步骤7：若报案人员要求停止寻人，则该失踪人员的寻人任务结束，执行步骤8；否则继续进行步骤6。

步骤8：结束。

进一步地，步骤2至步骤6利用了报案人员和失踪人员为同游人员的特殊性，通过报案人员行人图像，找出具有时效性的失踪人员行人图像，由此构建出行人轨迹，并进行实时监控，是本发明的创新点B。

优选地，步骤1中，报案人员的行人图像为全身照，而失踪人员的图像可以是大头照、半身照、全身照等。

优选地，步骤2中，检索的结果为含有报案人员的视频帧，即根据报案人员的行人图像所在的时间和位置，提取对应时间摄像头捕获的视频帧。其中，摄像头捕获的行人图像中含有两种模态(彩色和红外)，本发明采用的跨模态行人再识别方法为通过模态互转的方法降低跨模态差异，将多模态行人再识别转换为单模态行人再识别，实现自适应方法，是本发明的创新点A。所以步骤1中输入的报案人员行人图像将通过模态互转的方式，将其转换成另一种模态，使得报案人员行人图像含有彩色和红外两种模态，在行人图像数据库中检索时，将会令报案人员行人图像的彩色图像与行人图像数据库中的彩色图像匹配，报案人员行人图像的红外图像与行人图像数据库中的红外图像匹配。另外，行人图像数据库指行人图像集，行人图像集的构建由景区的所有摄像头完成，这些摄像头用来获取行人图像，获取的行人图像同样是全身照，行人数据库构建方法具体步骤如下：

步骤2-1：摄像头每秒获取一帧图像；

步骤2-2：在步骤2-1获取的一帧图像中，利用行人检测技术选定每位行人所在的范围，确保每个范围都包含了行人全身，而且每个范围内的大部分内容为行人；

步骤2-3：根据步骤2-2所选定的范围，截取行人图像，每个行人的行人图像以摄像头编号、图像模态、时间(如年、月、日、时、分、秒)、行人编号命名；

步骤2-4：将图像的将步骤2-3生成的行人图像存储在行人图像数据库中。

优选地，步骤3中，由于报案人员提供的失踪人员图像可能不是完整的全身照，甚至无法提供失踪人员的任何图像，所以仅凭报案人员提供的失踪人员信息无法直接在行人图像数据库中匹配到足够的失踪人员行人图像。由于报案人员与失踪人员具有关联性，即失踪人员由于与报案人员是亲朋好友、有着利益往来等原因，使得二者之间曾经在景区同处过，所以可根据报案人员和失踪人员同处时的图像，提取出完整的失踪人员行人图像。特别地，若提供的失踪人员信息不是完整的全身照，甚至无法提供失踪人员的任何图像，可根据自然语言处理与生成对抗网络的方式，根据报案人员的描述，生成失踪人员的全身图像，用该图像完成步骤3的检索。在含有报案人员的视频帧中检索失踪人员的方式与步骤2中检索报案人员的方法类似，需要将失踪人员的图像转换为彩色与红外两种模态，使得失踪人员图像与视频帧间，相同模态间的图像进行匹配。

优选地，步骤4中，报案人员根据步骤3中对失踪人员的检索结果进行鉴别，保留失踪人员所在的视频帧。接着，系统将利用行人检索技术，提取失踪人员的行人图像，由此获得真实的失踪人员行人图像，后续将以此作为寻人的依据。

优选地，步骤5中，行动轨迹的构建基于行人图像数据库中摄像头所在位置、行人出现的时间，行人出现在摄像头视野的时间内，摄像头会连续地捕获该行人的行人图像，于是在摄像头捕获该行人图像的时间段内拥有起止时间，从而获取该行人于何时至何时在该摄像头处出现的轨迹信息。最终可以获取该行人在所有摄像头下出现的轨迹信息，从而形成完整的行动轨迹。

优选地，步骤6中，实时监控指对所有摄像头捕获的视频图像进行监控，具体的一轮监控方式的步骤如下：

步骤6-1：获取摄像头监控视频的一帧图像；

步骤6-2：将该帧图像进行行人检测，提取行人图像，每个行人的行人图像以摄像头编号、图像模态、时间(如年、月、日、时、分、秒)、行人编号命名，这些行人图像存入实时行人图像集；

步骤6-3：将失踪人员的行人图像作为待查询行人图像，与步骤6-2中生成的实时行人图像集进行匹配，若匹配出相似度最高且达到指定阈值的行人图像，则将其作为疑似失踪人员处理，根据该行人图像捕获的时间与摄像头位置信息，向该位置就近的工作人员发送失踪人员的信息；否则清空实时行人图像集，完成一轮实时监控。

以下为本发明的景区寻找同游人员的自适应方法具体应用实例：

(一)、某月某日某景区的安防人员接到一则寻人求助，报案人员为一中年男子，称在景区与自己的父亲走失，由于一些原因，男子并没有父亲近几日拍摄的照片，仅有距今较久时所摄的照片，且记得父亲今日的穿着。

首先，安防人员对该报案人员采集全身照，系统生成了该报案人员包含彩色和红外两种模态的行人图像，并根据报案人员对失踪人员穿着的描述，结合报案人员提供的失踪人员照片，生成了失踪人员的包含彩色和红外两种模态的行人图像。接着，系统根据报案人员的行人图像，在行人图像数据库中检索到报案人员，提取出报案人员存在时的视频帧，并根据失踪人员的行人图像，从中检索出含有失踪人员的视频帧，并显示结果。报案人员确认完显示的结果中存在失踪人员的视频帧后，系统从这些视频帧中提取失踪人员行人图像，生成该失踪人员包含彩色和红外两种模态的行人图像，自适应地在行人图像数据库中检索失踪人员，生成失踪人员的行动轨迹，确定失踪人员最后在摄像头出现的位置，将失踪人员的照片、行人图像、今日的穿着等信息发送给失踪人员最后出现摄像头的就近工作人员，并根据失踪人员的特征进行实时监控。此时，安防人员发现，接收到消息的工作人员找到疑似失踪人员时，并将该疑似失踪人员的图像发送给系统。经报案人员确认，发现的疑似失踪人员是该寻人任务要找的失踪人员，完成寻人任务，该失踪人员的寻找任务结束。

(二)、某月某日某景区的安防人员接到一则寻人求助，报案人员为一中年男子，称在景区与自己的母亲走失，男子拥有与母亲今日所摄的照片。

首先，安防人员对该报案人员采集全身照，系统生成了该报案人员包含彩色和红外两种模态的行人图像，并根据报案人员提供的失踪人员照片，生成了失踪人员的包含彩色和红外两种模态的行人图像。接着，系统根据报案人员的行人图像，在行人图像数据库中检索到报案人员，提取出报案人员存在时的视频帧，并根据失踪人员的行人图像，从中检索出含有失踪人员的视频帧，并显示结果。报案人员确认完显示的结果中存在失踪人员的视频帧后，系统从这些视频帧中提取失踪人员行人图像，生成该失踪人员包含彩色和红外两种模态的行人图像，自适应地在行人图像数据库中检索失踪人员，生成失踪人员的行动轨迹，确定失踪人员最后在摄像头出现的位置，将失踪人员的照片、行人图像等信息发送给失踪人员最后出现摄像头的就近工作人员，并根据失踪人员的特征进行实时监控。此时，安防人员发现接收到消息的工作人员找到疑似失踪人员，系统接收到了工作人员发送的该疑似失踪人员图像，但是经报案人员确认，此人并不是失踪人员，系统继续进行实时监控。经过一段时间，摄像头捕获到疑似失踪人员，系统将对应摄像头位置信息和失踪人员的图像信息发送给工作人员，工作人员获取并发送系统判定的疑似失踪人员的图像至系统，经报案人员确认，发现的疑似失踪人员是该寻人任务要找的失踪人员，完成寻人任务，该失踪人员的寻找任务结束。

(三)、某月某日某景区的安防人员接到一则寻人求助，报案人员为一男童，称在景区与自己的外婆走失，男童无法提供外婆的照片和外婆今日的穿着信息。

首先，安防人员对该报案人员采集全身照，系统生成了该报案人员包含彩色和红外两种模态的行人图像。接着，系统根据报案人员的行人图像，在行人图像数据库中检索到报案人员，提取出报案人员存在时的视频帧。由于报案人员无法提供失踪人员的相关信息，报案人员需自行确认显示的结果中存在失踪人员的视频帧。之后，系统从这些视频帧中提取失踪人员行人图像，生成该失踪人员包含彩色和红外两种模态的行人图像，自适应地在行人图像数据库中检索失踪人员，生成失踪人员的行动轨迹，确定失踪人员最后在摄像头出现的位置，将失踪人员的照片、行人图像等信息发送给失踪人员最后出现摄像头的就近工作人员，并根据失踪人员的特征进行实时监控。此时，安防人员发现接收到消息的工作人员找到疑似失踪人员，系统接收到了工作人员发送的该疑似失踪人员图像，但是经报案人员确认，此人并不是失踪人员，系统继续进行实时监控。经过一段时间，位于出口的摄像头捕获到疑似失踪人员，系统将对应摄像头位置信息和失踪人员的图像信息发送给工作人员，工作人员获取并发送系统判定的疑似失踪人员的图像至系统，但是经报案人员确认，发现的疑似失踪人员仍然不是该寻人任务要找的失踪人员，系统继续进行实时监控。最终，报案人员得知失踪人员已离开景区，于是要求停止寻人，该失踪人员的寻找任务结束。

(四)、某月某日某景区的安防人员接到一则寻人求助，报案人员为一妇女，称在游玩某娱乐项目后，发现自己的儿子不见了，自行寻找一段时间，但由于天色已晚，故前来求助。妇女能够提供孩子完整的全身照，该照片为今日所摄。

首先，安防人员对该报案人员采集全身照，系统生成了该报案人员包含彩色和红外两种模态的行人图像。接着，系统根据报案人员的行人图像，在行人图像数据库中检索到报案人员，提取出报案人员存在时的视频帧，并根据失踪人员的行人图像，从中检索出含有失踪人员的视频帧，并显示结果。报案人员确认完显示的结果中存在失踪人员的视频帧后，系统从这些视频帧中提取失踪人员行人图像，生成该失踪人员包含彩色和红外两种模态的行人图像，自适应地在行人图像数据库中检索失踪人员，生成失踪人员的行动轨迹，确定失踪人员最后在摄像头出现的位置，将失踪人员的照片、行人图像等信息发送给失踪人员最后出现摄像头的就近工作人员，并根据失踪人员的特征进行实时监控。此时，安防人员发现接收到消息的工作人员找到疑似失踪人员，系统接收到了工作人员发送的该疑似失踪人员图像，但是经报案人员确认，此人并不是失踪人员，系统继续进行实时监控。经过一段时间，摄像头捕获到疑似失踪人员，系统将对应摄像头位置信息和失踪人员的图像信息发送给工作人员，工作人员获取并发送系统判定的疑似失踪人员的图像至系统，经报案人员确认，发现的疑似失踪人员是该寻人任务要找的失踪人员，完成寻人任务，该失踪人员的寻找任务结束。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。