基于RGB-D图像弱监督学习的3D人体姿态估计

摘要

针对于深度图数据缺乏大量的3D标签、泛化能力差的问题,结合现有的弱监督网络结构,提出一种基于RGB-D图像的弱监督模型实现3D人体姿态估计的方法,整体呈现两级级联结构。首先通过使用预处理后的RGB-D数据作为2D姿态估计模块的输入,提取出人体关节热图;然后将热图进行积分回归生成对应的关节点坐标;最后将生成的关节点作为改进型深度回归模块的输入完成姿态估计。通过在公开数据集Human 3.6M和ITOP上进行验证,实验结果表明:本文提出的弱监督网络模型在参数量上减少了20.9%,训练时间上降低了37.9%。提出的模型能同时适用于深度图和彩色图,且具有较强的鲁棒性。