一种基于轻量3D残差网络和TCN的多模态动态手势识别方法

摘要

本发明请求保护一种基于轻量3D残差网络和TCN的多模态动态手势识别方法。首先，对数据集中的原始视频进行采样，按照时间顺序排序保存；然后，使用大型的公开手势识别数据集对轻量3D残差网络进行预训练，并保存模型的权重文件；接着，使用RGB‑D图像序列作为输入，轻量3D残差网络和时间卷积网络作为基础模型进行长短期的时空特征的提取，并使用注意力机制加权融合多模态的信息。其中RGB和深度(Depth)序列分别输入相同的网络结构；最后，使用全连接层进行分类，采用交叉熵损失函数计算损失值，并使用准确率和F1Score作为网络模型的评估指标。本发明既可以达到较高的分类准确率，又具有参数量低的优点。