基于深度学习网络的视角无关性行为识别技术研究

摘要

视频行为识别是计算机视觉领域非常具有挑战性的研究方向，现如今视频人体行为识别的使用已经扩展到社会的各个层面，特别是在运动分类、公共区域的安全监控、虚拟现实与增强现实的实现等方面应用非常广泛，为很多行业的发展带来了很大的机遇。因此，视频人体行为识别技术的算法研究理所当然地占据着科学研究领域重要位置，成为国内外科研人员的研究热点。虽然迄今为止已经有各种各样的行为识别算法模型被提出，但是由于视频中人体行为的复杂性，人体行为的识别技术仍然存在诸多不足之处。考虑到人体行为识别算法所应用的实际场景以及环境，如何找到一种适用于众多复杂场景的视频人体行为识别算法已经成为当前的迫切需求解决的问题。其中，以多视角的行为识别的难度尤其大。因为，每个动作在不同视角下所表现出来的行为特征差异性非常的大。如何找到其中相似动作在不同视角下潜在的共同特征或者其中的联系，成为多视角行为识别的研究重点与难点。因此，本论文在针对以上的难点重点，提出了一种新颖的算法，其主要内容包括如下几个方面： （1）本论文提出使用深度学习网络对各视角下的行为图像视频帧序列提取其带有语义信息的高阶特征。其中，深度学习网络主要包括卷积神经网络（CNN）和循环神经网络（RNN）两部分结构。通过卷积神经网络提取视频帧序列中的高阶空间信息，循环神经网络可以在二维空间信息的基础上加入第三维时间信息，以此来建立含有语义的高阶时空特征。本论文充分利用深度学习的方法，通过其端到端的运算模式对数据集进行初步处理，最终得到的结果也要优于传统方式。 （2）由于通过深度学习网络所提取到的都是每个视角下的行为的高阶时空特征，即使相同行为在不同拍摄视角下，其所表现出的特征也有非常大的差别。因此，本论文提出使用稀疏算法，对所提取到的特征进行稀疏表示，得到每个行为在不同视角下潜藏在其中的共同特征。将得到的共同特征作为该行为的描述符，送入分类器进行分类识别。 （3）由于本论文所采用的是深度学习的框架，因此，就不在使用支持向量机等分类器进行最终的分类识别，一方面也是因为使用支持向量机进行分类识别时，所耗费的时间是非常巨大。在深度学习中最经常使用的是Softmax多类别分类器，因此，在得到多视角行为描述符以后，论文的实验部分就是采用的Softmax分类器进行最终的分类识别。通过实验部分的数据表明，论文所提出的算法对多视角的行为识别识别率有了非常大的提高，可以更加精确的检测出多视角下的人体行为。 （4）经过多次实验，本论文所提出的算法模型在去掉K-SVD稀疏化模块以后，识别率仅仅为60.0%和51.2%。而在加入稀疏化模块以后，在IXMAS数据集和WVU数据集中的最终的平均识别率分别达到了89.22%和91.4%。因此，本论文中将深度学习和稀疏算法相结合进行多视角行为识别的算法是可行的、有效的。

目录

第一个书签之前