一种基于RGBD图像的坐姿几何参数检测方法及系统

摘要

本发明公开了一种基于RGBD图像的坐姿几何参数检测方法，包括以下步骤：通过图像摄取，获取人体坐姿时的RGB图像信息；对RGB图像信息进行深度识别，获取图像的深度信息；对RGB图像信息进行身体识别，获取图像中人体的稠密关键点信息；对RGB图像信息进行头部识别，获取人体的头部姿态信息；对深度信息、稠密关键点信息和头部姿态信息进行计算，并获取坐姿几何参数；本发明公开的基于RGBD图像的坐姿几何参数检测方法具有高精度、高可靠性、误检率低和成本低的特点。

说明书

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种应用人体姿态及头部姿态估计算法进行基于RGBD图像的坐姿几何参数检测方法及系统。

背景技术

如今人们坐立时间日益增加，不正确的坐姿会严重影响人们的脊柱健康，而现今对于坐姿检测的技术却依旧不够成熟。如今市面上出现的坐姿检测设备主要以坐姿检测笔、坐姿检测台灯为代表。它们往往仅从手与头部距离等这样的单一数据进行检测，容易出现漏检、误检、误报等问题，其精度和准确度都较差。

另外还有一些基于计算机视觉中人体姿态估计的算法的坐姿检测方法，如基于Kinect相机的人体坐姿识别方法(中国专利202010719422.X)以及基于Kinect的人体坐姿行为识别方法和系统(中国专利201810369535.4)，前者采用Kinect双目相机采集图像与深度信息，然后利用识别模块进行人体部位关键点的识别工作，最后根据这些点的位置坐标计算出双眼距离阅读对象的距离、双肩的高度差、脊柱的角度和三相转向角等参数。虽然它能够识别出人体坐姿的各种参数，但其识别模块只能检测人体较为稀疏的几个关键点，其结果精度受个别关键点检测精度影响较大，可靠性以及精度都不高，且不能检测出人体头部姿态和人眼视线方向。而后者的专利主要目的是为了解决人们在“非正坐”的情况下的识别问题，其采用的主要是通过人体姿态行为的骨架图像序列，通过K-means等算法进行聚类，然后判断各帧图像与特征图像之间的差异，以此来完成对于图像分类的工作。这篇专利主要是进行了图像分类的工作，并未对人体坐姿的正确与否给出判断，也无法给出人体坐姿下的各种参数值。

中国专利202110001649.5则将坐姿分为四大类：左侧姿、右侧姿、低头姿以及正坐姿，这种方式只能能够检测到一个粗略的坐姿描述，并不能够准确的得到坐姿参数。该专利将坐姿限定为4个大类，然而实际中人们的坐姿并不固定，所以该方法无法适用于人们生活中的各个场景下。而中国专利202011088718.2提出的一种基于关键点检测的人体坐姿识别方法则需要预检人员事先进行图像和关键点的采集工作，将坐姿限定于正确坐姿、头部左偏、头部右偏、身体左倾、身体右倾、脊椎弯曲以及肩膀不平行7种坐姿下，同样不适用于所有的生活场景，且对于坐姿的描述并不够全面。

以上设备及技术方案都存在坐姿精度不高、稳定性差等缺陷，故现在存在的算法及设备都不能很好的完成坐姿检测的目的，人们急需一种可靠性高、成本较低且健康的坐姿检测方法。

发明内容

为此，需要提供一种高精度、高可靠性、误检率低和成本低的基于RGBD图像的坐姿几何参数检测方法。

为实现上述目的，发明人提供了一种基于RGBD图像的坐姿几何参数检测方法，包括以下步骤：

通过图像摄取，获取人体坐姿时的RGB图像信息；

对RGB图像信息进行深度识别，获取图像的深度信息；

对RGB图像信息进行身体识别，获取图像中人体的稠密关键点信息；

对RGB图像信息进行头部识别，获取人体的头部姿态信息；

对深度信息、稠密关键点信息和头部姿态信息进行计算，并获取坐姿几何参数。

作为本发明的一种优选方式，在对RGB图像信息进行深度识别时，还包括步骤：对数字化的双目图像或视频进行预处理；对预处理后的双目图像或视频进行计算，并转换成包含深度信息的深度图像。

作为本发明的一种优选方式，在对数字化的双目图像或视频进行预处理包括步骤：去除通过图像摄取获取到的图像畸变信息；通过图像摄取的参数矩阵对双目图像进行处理，使左右视图处于同一平面。

作为本发明的一种优选方式，以图像卷绕算法为基础去除通过图像摄取获取到的图像畸变信息。

作为本发明的一种优选方式，对RGB图像信息进行深度识别，获取图像的深度信息包括步骤：使用深度学习视差网络计算得到左右视图的视差图像；根据物体视差与实际物体距离图像摄取的距离间的线性转换关系，将所得的视差图转换成包含深度信息的深度图像。

作为本发明的一种优选方式，视差网络采用DispNet网络模块、PSM-Net网络模块或MC-CNN网络模块。

作为本发明的一种优选方式，对RGB图像信息进行身体识别，获取图像中人体的稠密关键点信息包括步骤：对RGB图像信息中人体全身的稠密关键点进行识别；从识别出的稠密关键点中选取出所需稠密关键点，并将该稠密关键点传输给几何参数获取的计算中。

作为本发明的一种优选方式，对RGB图像信息进行头部识别，获取人体的头部姿态信息包括步骤：根据RGB图像信息识别出人体头部位置，并用矩形将其框出；根据识别出的人体头部位置图像和利用深度学习网络进行识别得到头部姿态以及视线方向，并用坐标系的形式将其标出，同时将坐标系原点信息输入到几何参数获取的计算中。

作为本发明的一种优选方式，对深度信息、稠密关键点信息和头部姿态信息进行计算，并获取坐姿几何参数包括步骤：将图像摄取点正对人体，根据深度信息和稠密关键点信息，将二维的图像坐标转换成桌面坐标系下的三维坐标，得出人体关键点的三维坐标；通过数学拟合将人体脊柱关键点的三维坐标拟合成空间线段，计算出人体脊柱的姿态参数；根据人体头部关键点的三维坐标，并结合图像摄取点的高度，计算出人体头部关键点距离桌面的实际高度。

作为本发明的一种优选方式，通过数学拟合将人体脊柱关键点的三维坐标拟合成空间线段，计算出人体脊柱的姿态参数包括：设定n个待拟合点列{(x

并利用最小二乘法计算其中的待解参数m、n、x

作为本发明的一种优选方式，在对深度信息、稠密关键点信息进行计算包括：计算出人体的稠密关键点的三维坐标，并计算出头部距离桌面高度和人体脊柱的三维欧拉角参数。

作为本发明的一种优选方式，人体脊柱的三维欧拉角参数包括：脊柱前倾角参数和脊柱侧倾角参数，所述脊柱前倾角参数为人体脊柱关键点的三维坐标拟合成的空间线段与人体正面所处平面之间的夹角，所述脊柱侧倾角参数为人体脊柱关键点的三维坐标拟合成的空间线段与人体侧面所处平面之间的夹角。

作为本发明的一种优选方式，人体脊柱的三维欧拉角参数还包括：脊柱转向角参数，所述脊柱转向角参数计算包括选取人体双肩关键点，根据深度信息获取人体双肩关键点坐标，并通过人体双肩关键点的距离差计算出脊柱转向角参数。

作为本发明的一种优选方式，人体脊柱的三维欧拉角参数还包括：脊柱转向角参数，所述脊柱转向角参数计算包括根据深度信息、稠密关键点信息检测出人体双肩和身体外轮廓的稠密点阵，计算每对点的连线与人体正面所处平面之间的夹角并进行加权平均，得到转向角公式为：

其中ω

作为本发明的一种优选方式，图像摄取采用的是双目摄像机。

区别于现有技术，上述技术方案所达到的有益效果有：

(1)本发明使用计算机视觉算法来计算人体坐姿状态下的各个几何参数，便于利用算法根据这些参数分析出人们学习工作的专注度，并及时提醒人们改正不良坐姿。

(2)本发明相比较现有的其他算法而言，采用稠密的人体关键点检测算法，精度更高，相比现有的RGB图像的算法而言，增加了深度信息，使得结果更具有可靠性，且能有效降低误检率。本发明测量了人体坐姿下的头部姿态的欧拉角参数、头部距离桌面的高度、人体脊柱的欧拉角参数等几何参数，数据更加具有多样性和可分析性，可以从多方面去分析人们的坐姿与工作学习时的专注度，同时算法也能保证一定实时性。

(3)本发明与现有的光学设备而言，只需要双目相机一个设备，价格更加低廉，方便携带，且可维护性更好。

为实现上述目的，发明人还提供了一种基于RGBD图像的坐姿几何参数检测系统，包括：

图像摄取模块，用于获取人体坐姿时的RGB图像信息；

深度识别模块，根据RGB图像信息获取图像的深度信息；

身体识别模块，根据RGB图像信息获取图像中人体的稠密关键点信息；

头部识别模块，根据RGB图像信息获取人体的头部姿态信息；

几何参数获取模块，根据深度信息、稠密关键点信息和头部姿态信息，计算出坐姿几何参数。

作为本发明的一种优选方式，所述深度识别模块包括图像预处理模块和深度计算模块，所述图像预处理模块用于对数字化的双目图像或视频进行预处理，所述深度计算模块用于对图像预处理模块预处理后的双目图像或视频进行计算，并转换成包含深度信息的深度图像。

作为本发明的一种优选方式，所述图像预处理模块用于对数字化的双目图像和视频进行预处理包括：图像畸变校正模块，用于去除图像摄取模块获取到的图像畸变信息；双目图像平行矫正模块，通过图像摄取模块的参数矩阵对双目图像进行处理，使左右视图处于同一平面，并将经过矫正预处理的左右视图图像输入到深度计算模块中。

作为本发明的一种优选方式，所述图像畸变校正模块以图像卷绕算法为基础。

作为本发明的一种优选方式，所述深度计算模块包括视差计算模块和深度转换模块，所述视差计算模块使用深度学习视差网络计算得到左右视图的视差图像，所述深度转换模块根据物体视差与实际物体距离图像摄取模块的距离间的线性转换关系，将所得的视差图转换成包含深度信息的深度图像。

作为本发明的一种优选方式，所述视差网络采用DispNet网络模块、PSM-Net网络模块或MC-CNN网络模块。

作为本发明的一种优选方式，所述身体识别模块包括：全身关键点识别模块，用于对RGB图像信息中人体全身的稠密关键点进行识别；关键点选取模块，用于从全身关键点识别模块识别出的稠密关键点中选取出所需稠密关键点，并将该稠密关键点传输给几何参数获取模块。

作为本发明的一种优选方式，所述头部识别模块包括：头部检测模块，用于根据RGB图像信息识别出人体头部位置，并用矩形将其框出；姿态识别模块，用于根据头部检测模块所识别出的人体头部位置图像，和利用深度学习网络进行识别得到头部姿态以及视线方向，并用坐标系的形式将其标出，同时将该坐标系原点输入到几何参数获取模块中。

作为本发明的一种优选方式，所述几何参数获取模块根据所得的深度信息和稠密关键点信息，计算出人体的稠密关键点的三维坐标，并计算出头部距离桌面高度和人体脊柱的三维欧拉角参数。

作为本发明的一种优选方式，所述图像摄取模块采用的是双目摄像机。

附图说明

图1为具体实施方式所述基于RGBD图像的坐姿几何参数检测方法步骤示意图一；

图2为具体实施方式所述基于RGBD图像的坐姿几何参数检测方法步骤示意图二；

图3为具体实施方式所述双目相机拍摄的RGB坐姿左右视图示意图；

图4为具体实施方式人体坐姿姿态几何参数的可视化示意图；

图5为具体实施方式所述身体识别步骤中的深度卷积网络示意图；

图6为具体实施方式所述空间线段拟合的示意图；

图7为具体实施方式所述脊柱前倾角参数描述示意图；

图8为具体实施方式所述脊柱侧倾角参数描述示意图；

图9为具体实施方式所述脊柱转向角参数描述示意图；

图10为具体实施方式所述脊柱转向角参数计算时的拟合方法示意图；

图11为具体实施方式所述人体头部距离桌面高度与关键点深度的几何关系示意图；

图12为具体实施方式所述基于RGBD图像的坐姿几何参数检测系统示意图一；

图13为具体实施方式所述基于RGBD图像的坐姿几何参数检测系统示意图二。

附图标记说明：

1、图像摄取模块；2、深度识别模块；201、图像预处理模块；2011、图像畸变校正模块；2012、双目图像平行矫正模块；202、深度计算模块；2021、视差计算模块；2022、深度转换模块；3、身体识别模块；301、全身关键点识别模块；302、关键点选取模块；4、头部识别模块；401、头部检测模块；402、姿态识别模块；5、几何参数获取模块

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请一并参阅1至图11，如图所示，本实施例提供了一种基于RGBD图像的坐姿几何参数检测方法，包括以下步骤：

S101：通过图像摄取，获取人体坐姿时的RGB图像信息；

S102：对RGB图像信息进行深度识别，获取图像的深度信息；

S103：对RGB图像信息进行身体识别，获取图像中人体的稠密关键点信息；

S104：对RGB图像信息进行头部识别，获取人体的头部姿态信息；

S105：对深度信息、稠密关键点信息和头部姿态信息进行计算，并获取坐姿几何参数。

在上述实施例中，图像摄取采用的是双目摄像机；通过双目相机拍摄人们坐姿的静态图像或者连续视频信息。双目相机顾名思义就是拥有双摄像头的相机，利用仿生学原理，通过建立两个摄像头的标定关系就可以计算出图像的深度信息，只需要双目相机一个设备，从而便于携带，可维护性更好。这样根据双目相机拍摄到的双目图像，我们就可以利用它进行后续识别得到人体的深度信息。采用双目相机首先进行图像的拍摄，如图3所示，得到目标对象的图像信息：左视图(图3左图)与右视图(图3右图)，然后对其进行深度识别。

在上述实施例中，在对RGB图像信息进行深度识别时，还包括步骤：对数字化的双目图像或视频进行预处理；对预处理后的双目图像或视频进行计算，并转换成包含深度信息的深度图像；在本实施例中，在对数字化的双目图像或视频进行预处理包括步骤：去除通过图像摄取获取到的图像畸变信息，具体的以图像卷绕(image warping)算法为基础的几何变换，目的是为了去除通过图像摄取获取到的图像畸变信息；通过图像摄取的参数矩阵对双目图像进行处理，目的是为了将左右视图处于同一平面下，然后将经过校正预处理的左右视图图像输入下一步骤中，具体包括两部分，使用深度学习视差网络计算得到左右视图的视差图像，在具体实施过程中，可采用DispNet网络模块，在不同的实施例中，还可以采用PSM-Net、MC-CNN等网络模块；根据物体视差与实际物体距离图像摄取的距离间的线性转换关系，将所得的视差图转换成包含深度信息的深度图像。

在上述实施例中，对RGB图像信息进行身体识别，获取图像中人体的稠密关键点信息包括步骤：对RGB图像信息中人体全身的稠密关键点进行识别；从识别出的稠密关键点中选取出所需稠密关键点，并将该稠密关键点传输给几何参数获取的计算中。具体实施过程中，利用深度学习网络，将图像中人体全身的稠密关键点识别出来，该稠密关键点具有上千个，可以精确的将人体描述出来，便于后续的使用与计算，如图5所示，将图像的特征图输入到深度卷积网络并最终得到稠密关键点信息，根据所需要的稠密关键点数据，从上千个稠密关键点中选取出所需要的，并送入几何参数获取的计算中。在本实施例中，选取胸前中线位置的稠密关键点进行计算，如图4所示，图4中B所圈出的黑色粗线即为我们检测到的人体脊柱关键点，稠密的人体脊柱关键点可以看成是一个由若干点所组成的点阵，相较于传统的两点式的表示方式，可以更加精确的表示出人体脊柱的形状与姿态，并能够避免因个别关键点的识别误差所带来的结果误差。

在上述实施例中，对RGB图像信息进行头部识别，获取人体的头部姿态信息包括步骤：根据RGB图像信息识别出人体头部位置，并用矩形将其框出；根据识别出的人体头部位置图像和利用深度学习网络进行识别得到头部姿态以及视线方向，并用坐标系的形式将其标出，同时将坐标系原点输入到几何参数获取的计算中；如图4所示，图4中的射线1与射线2所组成的三维坐标系用来表示我们测得的头部姿态及视线方向，该坐标系的原点记为我们的头部关键点的位置。

在上述实施例中，对深度信息、稠密关键点信息和头部姿态信息进行计算，并获取坐姿几何参数包括步骤：将图像摄取点正对人体，根据深度信息和稠密关键点信息，将二维的图像坐标转换成桌面坐标系下的三维坐标，得出人体关键点的三维坐标；为了减少个别关键点给结果带来较大的误差，通过使用数学拟合将人体脊柱关键点的三维坐标拟合成空间线段的形式，以此来计算出人体脊柱的姿态参数；根据人体头部关键点的三维坐标，并结合图像摄取点的高度，计算出人体头部关键点距离桌面的实际高度，如图11所示，在三维坐标系下，得到的人体头部关键点的垂直方向的坐标即为人体头部关键点距离桌面的实际高度。另外图4中线段A即为测得的人体头部关键点距离桌面的实际高度。

如图6所示，通过数学拟合将人体脊柱关键点的三维坐标拟合成空间线段，计算出人体脊柱的姿态参数包括步骤：设定n个待拟合点列{(x

并利用最小二乘法计算其中的待解参数m、n、x

在上述实施例中，在对深度信息、稠密关键点信息进行计算包括：计算出人体的稠密关键点的三维坐标，并计算出头部距离桌面高度和人体脊柱的三维欧拉角参数。如图7和图8所示，为了描述人体脊柱的姿态参数，采用欧拉角的表示方式，图中坐标系为桌面坐标系，人体脊柱的三维欧拉角参数包括：脊柱前倾角参数和脊柱侧倾角参数，所述脊柱前倾角参数为人体脊柱关键点的三维坐标拟合成的空间线段与人体正面所处平面之间的夹角，如图7中的线段1与平面α(XOY平面)的夹角即为脊柱前倾角；所述脊柱侧倾角参数为人体脊柱关键点的三维坐标拟合成的空间线段与人体侧面所处平面之间的夹角，如图8中的线段1与平面β(YOZ平面)的夹角即为脊柱侧倾角。

在不同的实施例中，人体脊柱的三维欧拉角参数还包括：脊柱转向角参数，所述脊柱转向角参数计算包括选取人体双肩关键点，根据深度信息获取人体双肩关键点坐标，并通过人体双肩关键点的距离差计算出脊柱转向角参数；如图9所示，L和R两点分别为人体的左右两肩，在本实施例中，假设图像摄取点正对桌面，以此为基础，从人体双肩关键点的距离差可以算得人体脊柱的转向角，具体包括两个步骤，选取双肩关键点，并根据深度信息得到人体双肩关键点坐标，根据人体双肩关键点坐标与转向角的数学关系，可以算得转向角。

在某些实施中，人体脊柱的三维欧拉角参数还包括：脊柱转向角参数，所述脊柱转向角参数计算包括根据深度信息、稠密关键点信息检测出人体双肩和身体外轮廓的稠密点阵，计算每对点的连线与人体正面所处平面之间的夹角并进行加权平均，得到转向角公式为：

其中ω

本实施例，还提供了一种基于RGBD图像的坐姿几何参数检测系统，包括：

图像摄取模块1，用于获取人体坐姿时的RGB图像信息；

深度识别模块2，根据RGB图像信息获取图像的深度信息；

身体识别模块3，根据RGB图像信息获取图像中人体的稠密关键点信息；

头部识别模块4，根据RGB图像信息获取人体的头部姿态信息；

几何参数获取模块5，根据深度信息、稠密关键点信息和头部姿态信息，计算出坐姿几何参数。

在上述实施例中，图像摄取模块采用的是双目摄像机。

在上述实施例中，深度识别模块2包括图像预处理模块201和深度计算模块202，图像预处理模块用于对数字化的双目图像或视频进行预处理，深度计算模块用于对图像预处理模块预处理后的双目图像或视频进行计算，并转换成包含深度信息的深度图像。在本实施例中，图像预处理模块用于对数字化的双目图像和视频进行预处理包括：图像畸变校正模块2011，用于去除图像摄取模块获取到的图像畸变信息，具体的图像畸变校正模块以图像卷绕算法为基础；双目图像平行矫正模块2012，通过图像摄取模块的参数矩阵对双目图像进行处理，使左右视图处于同一平面，并将经过矫正预处理的左右视图图像输入到深度计算模块中。

在上述实施例中，深度计算模块202包括视差计算模块2021和深度转换模块2022，视差计算模块使用深度学习视差网络计算得到左右视图的视差图像，具体的：视差网络采用DispNet网络模块、PSM-Net网络模块或MC-CNN网络模块；深度转换模块根据物体视差与实际物体距离图像摄取模块的距离间的线性转换关系，将所得的视差图转换成包含深度信息的深度图像。

在上述实施例中，身体识别模块3包括：全身关键点识别模块301，用于对RGB图像信息中人体全身的稠密关键点进行识别；关键点选取模块302，用于从全身关键点识别模块识别出的稠密关键点中选取出所需稠密关键点，并将该稠密关键点传输给几何参数获取模块。

在上述实施例中，头部识别模块4包括：头部检测模块401，用于根据RGB图像信息识别出人体头部位置，并用矩形将其框出；姿态识别模块402，用于根据头部检测模块所识别出的人体头部位置图像，和利用深度学习网络进行识别得到头部姿态以及视线方向，并用坐标系的形式将其标出，同时将该坐标系原点输入到几何参数获取模块中。

在上述实施例中，几何参数获取模块5根据所得的深度信息和稠密关键点信息，计算出人体的稠密关键点的三维坐标，并计算出头部距离桌面高度和人体脊柱的三维欧拉角参数。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。