基于改进AlexNet的双模态握笔手势识别

摘要

本文提出了一种基于改进AlexNet的双模态握笔手势识别方法.该方法根据握笔手势特征自建了 8 100张握笔手势数据集,对数据集进行了手势分割获取二值图像、骨架提取获取包含原图的骨架图像等处理,并将处理后的2种类型图像构成双模态图像输入至改进的AlexNet中.针对AlexNet提取握笔手势特征不充分的问题,本文将AlexNet第一层的卷积核大小修改为3×3,并在卷积层之后添加了批量归一化、注意力机制.通过实验证明,该方法对9种握笔手势的平均识别率达到75.6％,分别高于骨架图像、分割图像、AlexNet网络11％、16％和13％,证明了该模型对握笔手势识别的有效性.