基于工件注意力的车间作业行为在线识别方法

摘要

车间作业人员的行为在线监测对于提高车间数字化管理的能力至关重要.传统的识别方法仅通过人的行为信息作判断,忽略了工件对行为识别的辅助作用.鉴于车间中常出现的错乱工序和违规操作大多能通过工件的使用来体现,提出一种基于工件注意力的车间行为在线识别模型.该模型以门控循环单元(GRU)为基础模型对从监控视频中提取的人体关节序列进行检测;其次使用实例分割模型对车间常见工件进行预训练,并提取出视频中工件的语义特征;最后将工件特征作为注意力融入GRU基础模型的输入输出环节进行联合训练.在自建样本数据和公共数据集上进行实验,并使用时序交并比进行召回率与准确率的计算.实验结果表明,所提方法可对车间作业人员的行为进行有效监测.