融合TCN的时空域双流动态手势识别方法

摘要

手势分为静态手势和动态手势,针对动态手势中手势轨迹不明显、短期时空特征得不到有效提取和利用,提出一种基于darknet(darknet53)算法融合时序卷积网络(TCN)的双流网络3D-darknet用于识别视频中的动态手势。该方法在3D-CNN的基础上将具有强大图像特征提取能力的darknet网络与短期时空特征提取的TCN网络结合,采用自适应的权重融合策略将短期时空特征和长期时间特征融合后得到对视频手势的识别,并在Jester数据集上对网络模型进行验证。实验结果表明,该网络结构对特定轨迹特征不明显的手势平均识别率达到91.17%,相比动态手势识别网络3D-densenet识别率85.49%提高了5.68%,具有更高的准确率,在双流网络的空间流中darknet网络去掉全连接层,利用平均池化直接输出提取的特征,减少了网络参数,提高了识别效率,并且3D-darknet网络需要更少的迭代次数,提高了识别的鲁棒性。