基于双尺度时空分块互注意力的课堂动作识别方法

摘要

本发明公开了基于双尺度时空分块互注意力的课堂动作识别方法。本发明方法首先对高清课堂学生视频数据进行预处理得到学生动作视频帧序列；然后构建由双尺度特征嵌入模块、时空分块互注意力编码器、课堂动作分类模块组成的动作识别模型，依次获得双尺度时空特征表示、双尺度分类向量、动作类别概率向量，并利用随机梯度下降算法对动作识别模型进行迭代优化；将预处理后的新课堂视频输入该模型获得学生动作的类别。本发明方法不仅对多组时空块用时空注意力建模，以捕获线下与线上课堂学生视频的多尺度时空信息，还能通过尺度互注意力机制刻画不同尺度学生画面信息，从而提升课堂视频的学生动作识别准确率。