基于Unity3D和MediaPipe的虚拟人物驱动系统

摘要

【目的目的】为降低轻量级神经网络模型的运算量,提高计算的准确性,本研究基于深度学习姿态估计,设计并实现一种基于单目摄像头的虚拟人物驱动系统。【方法方法】首先,通过MediaPipe来分析单目相机中的人体姿态,得到基于人体骨骼的32个特征点及手部骨骼的21个特征点。其次,对神经网络特征点的闪烁问题,使用均值滤波算法来减少误差,从而得到流畅的运动轨迹信息。最后,把3D虚拟人体模型导入到Unity3D软件中,为其添加基本的人体骨骼,并赋予权重,建立特征点与骨骼间的映射关系,用特征点来驱动骨骼。【结果结果】实现了3D虚拟人体模型实时模仿摄像头前的真人运动的效果。【结论结论】经试验验证,本研究提出的系统可实时准确地捕捉人体姿态,并借助Unity3D出色的物理系统来实现良好的互动体验。