基于时空注意力深度网络的视角无关性骨架行为识别

摘要

针对单视角骨架数据包含噪声且其特征完全依赖于该视角的问题, 提出一种基于时空注意力的深度网络模型进行角度无关性骨架行为识别, 该模型主要由特定视角子网和公共子网串联组成. 首先通过特定视角子网学习每个视角序列的判别性特征, 同时利用空域注意力和时域注意力模块分别重点关注关键关节点和关键帧; 然后特定视角子网的输出特征作为公共子网的输入, 通过公共子网进一步学习角度无关性特征; 最后输出行为分类结果. 为了保证网络的有效训练, 提出一个正则化交叉熵损失函数来推动网络多模块共同学习. 实验结果表明, 该模型在目前最大的骨架数据集NTU数据集上识别准确率为76.3%.