多模态人体运动同步数据集

摘要

人体运动数据集是运动数据去噪、运动编辑及运动合成等研究的重要基础.为支撑更具通用性的多模态数据融合研究,设计并采集一套公开的多模态人体运动数据集是亟待解决的问题.首先设计基于传感器的动作捕捉设备采集精准的运动数据、基于体感设备采集的粗糙运动数据、基于惯性测量单元采集的局部惯性数据的采集环境;然后基于网络时间协议实现设备间时序同步,以及多模态数据间的空间同步;最后分类采集了全身运动多模态数据集(HFUT multimodal motion dataset,HFUT-MMD),包含12位采集者进行6类运动的总计6971568帧数据.利用已有算法在HFUT-MMD数据集上的实验结果表明,低精度运动数据经过模型优化能够得到与精准的运动数据相近的运动数据,佐证了各模态数据间的一致性.