一种基于时间和空间建立行为识别热度图的方法

摘要

本发明公开了一种基于时间和空间建立行为识别热度图的方法，构建增加一个输出分支的网络，该分支主要是用于热度图的生成，并保证分支之前的行为识别网络主结构里的时间维度不进行降采样操作；数据采集包括动作开始之前的和动作结束之后的各种类型的冗余动作，打标签要对动作开始和动作结束的视频序列打上一个数值为1的置信度得分；数据预处理，生成行为动作在时空维度上的真实热度图，在标注好的视频序列中随机取连续的N帧，并且在这N帧视频中必须包含动作开始或动作结束标志的至少一种，新建一个特征向量，再经过动作开始和结束对应位置索引的预处理操作，得到一个只包含0和1的特征向量，这个特征向量就是真实热度图；对输出分支进行训练。