一种基于双目视觉的人体姿态动作研究方法

摘要

本发明公开了一种基于双目视觉的人体姿态动作研究方法，该方法首先通过双目标定获取相机的内外参数，接着从相机拍摄的图像中提取出各肤色区域的质心点的坐标，并对质心点进行匹配判断，然后以世界坐标系为基准求出匹配的质心点在世界坐标系中的坐标，最后根据质心点在世界坐标系中坐标判断人体的姿态及动作。本发明不需要拍摄大量图像，能够通过实时采集视频帧对人脸和双手等人体关键部位的质心点进行立体匹配，以获取人体关键部位之间的位置关系，运行成本较低。

说明书

技术领域

本发明涉及一种人体姿态动作研究方法，具体而言，涉及一种基于双目 视觉的人体姿态动作研究方法。

背景技术

随着计算机技术的发展，人们可以使用计算机完成很多高难度的工作。 通过计算机对人体动作进行准确识别的技术可广泛应用于智能人机交互，虚 拟现实，视频监控和数字娱乐领域，是目前计算机视觉与模式识别领域的研 究热点。在某些虚拟现实的领域中，如数字娱乐，通常需要计算机一方面向 人的感官传递刺激信号，另一方面也需要接收操作者的反应，如体态姿势的 变动等，然后根据这些人体本身位置和状态的变换来调整刺激信号。因此， 需要准确地的对人体动作或姿态进行识别。

目前一些利用动作进行识别控制的方法都是基于传统的图像识别方法， 通过摄像头拍摄人体的行为姿态或动作，对拍摄的图像进行分析处理，提取 图像的数据特征信息，利用相应的识别算法进行识别，判断出人体的行为姿 态或动作。此种方法一方面需要相当大的存储空间以存放拍摄的图像，另一 方面也需要非常优化的算法来精确识别人体姿态或动作，并且这些方法都是 利用图像中的二维数据信息，不能精确确定人体关键部位之间的位置关系。

目前获取三维数据的方法主要可分为两类：主动测距和被动测距。主动 测距技术主要包括结构光法和飞行时间法(TOF)。结构光法是一种既利用 图像又利用可控制辐射源的测距方法，其基本思想是利用照明中的几何信息 帮助提取景物中的几何信息。结构光法对设备和外界光线要求较高，造价昂 贵。飞行时间法直接利用光和声波的传播特性，不需要进行灰度图像的获取 与分析，因此距离的获取不受物体表面性质的影响，但是需要较复杂的光电 设备，造价昂贵，且测量精度与设备的灵敏度有很大关系。被动测距技术主 要包括双目或者多目视觉测距，它不需要人为设置辐射源，只利用场景在自 然光照下的二维图像来重建景物的三维信息。立体视觉的研究工作从20世纪 60年代中期开始的，当时，麻省理工学院的Robert完成了三维景物分析工作， 把二维图像分析推广到了三维景物，这标志着立体视觉技术的诞生，并在随 后的20年中迅速发展成为一门新兴学科。

立体视觉的基本原理是从两个试点观察同一景物，以获取在不同视角下 的感知图像，通过三角测量原理计算图像像素间的位置偏差，即视差，来获 取景物的三维信息，这一过程是与人类视觉的立体感知过程类似的。双目立 体视觉对设备的要求不高，但需要在测量之前能够准确的标定，获取相机的 内外参数，来重建三维信息。

发明内容

本发明提供了一种基于双目视觉的人体姿态动作研究方法，用以利用 双目立体视觉原理研究人体的姿态动作。

为达到上述目的，本发明提供了一种基于双目视觉的人体姿态动作研究 方法，包括以下步骤：

S1：将左相机和右相机分别置于与地面平行的同一水平线上，其中，两 部相机为同一型号，两部相机之间的距离为设定值，且两部相机均能拍摄到 完整的人体上半身；

S2：对左相机和右相机进行双目标定，首先准备一块带有多个圆形特征 点的矩形标定板，其中，多个圆形特征点排列成多行和多列的阵列，位于同 一行的圆形特征点的圆心在同一直线上，位于同一列的圆形特征点的圆心在 同一直线上；

S3：将标定板置于相机拍摄区域内的至少5个不同方位，并分别使用左 相机和右相机对标定板进行拍摄，得到多张对应左相机的左标定板图像和多 张对应右相机的右标定板图像；

S4：计算左标定板图像中的多个圆形特征点在左图像坐标系中的坐标， 以及右标定板图像中的多个圆形特征点在右图像坐标系中的坐标，其中，左 图像坐标系的原点为左相机的成像面与其光轴的交点，右图像坐标系的原点 为右相机的成像面与其光轴的交点；

S5：利用极线约束规则分别匹配同一方位下的左标定板图像和右标定板 图像，得到每个方位下多个圆形特征点在左图像坐标系和右图像坐标系中的 特征圆心；

S6：根据每个方位下多个圆形特征点在左图像坐标系和右图像坐标系中 的特征圆心，利用Levenberg-Marquardt算法计算左相机的内参数，以及左相 机和右相机组成的相机系统的外参数，其中，内参数至少包括左图像坐标系 中u轴的有效焦距f_x、v轴的有效焦距f_y以及左图像坐标系的中心坐标 (c_x,c_y)，外参数至少包括旋转向量R和平移向量t；

S7：构建人体肤色模型，首先使用手工标注方法统计大量RGB格式人体 图像中的肤色区域的RGB值，得到人体肤色在RGB空间的分布情况；

S8：将RGB空间转化到YCrCb空间，得到人体肤色在YCrCb空间的分 布情况；

S9：根据人体肤色在YCrCb空间的分布情况构建人体肤色模型；

S10：被采集者站立在左相机和右相机的图像采集范围内，在t0时刻， 使用左相机和右相机分别采集一帧左相机图像和一帧右相机图像；

S11：根据人体肤色模型，分别对左相机图像和右相机图像进行预处理滤 波去噪及肤色检测，得到左相机图像中的多个连通的肤色区域和右相机图像 中的多个连通的肤色区域；

S12：分别对左相机图像中的多个连通的肤色区域和右相机图像中的多个 连通的肤色区域进行二值化处理及滤波，获取左相机图像中的多个肤色区域 和右相机图像中的多个肤色区域，其中，多个肤色区域至少包括被采集者的 脸部；

S13：分别计算左相机图像和右相机图像中的多个肤色区域的质心点的坐 标，首先从左相机图像中的多个肤色区域和右相机图像中的多个肤色区域中 取一个肤色区域；

S14：取该肤色区域的最小外接矩形，得到大小为m*n的子图像，其中 m为最小外接矩形的宽度，n为最小外接矩形的长度；

S15：假设(i,j)为子图像中以对应的图像坐标系为基准的像素点的坐标， f(i,j)为子图像在该像素点的灰度值，则子图像的矩为：

$M_{\mathrm{pq}}={\Sigma }_{i=1}^n{\Sigma }_{j=1}^m{i}^p{j}^{q}f(i,j);$

S16：分别计算子图像的0阶矩M₀₀和1阶矩M₁₀及M₀₁；

S17：设子图像的质心点的坐标为P(x_c,y_c)，按照下式计算子图像的质心 点的坐标：

$x_c=\frac{M_{10}}{M_{00}},y_c=\frac{M_{01}}{M_{00}};$

S18：重复上述步骤S14～S17直至左相机图像中的多个肤色区域和右相 机图像中的多个肤色区域全部计算完成；

S19：判断左相机图像中的多个肤色区域分别对应的质心点与右相机图像 中的多个肤色区域分别对应的质心点之间的匹配关系，首先设定一灰度相关 值阈值T；

S20：从右相机图像中的多个肤色区域中取一个肤色区域，并从左相机图 像中取出与该右相机图像的肤色区域对应的肤色区域；

S21：以该右相机图像的肤色区域的质心点的坐标p₁(x₁,y₁)为中心，选定 一个大小为(2m′+1)*(2n′+1)的窗口，其中m′，n′为设定值的自然 数；

S22：以左相机图像中对应肤色区域的质心点的坐标p₂(x₂,y₂)为中心，也 选定一个大小为(2m′+1)*(2n′+1)的窗口；

S23：假设I₁(x₁+i,y₁+j)为右相机图像中该肤色区域的质心点周围的像素 点的灰度值，为右相机图像中该肤色区域的最小外接矩形包围的区域 范围内所有像素点的灰度均值，I₂(x₂+i,y₂+j)为左相机图像中对应肤色区域的 质心点周围的像素点的灰度值，为左相机图像中对应肤色区域的最小 外接矩形包围的区域范围内所有像素点的灰度均值，σ(I_k)为标准差，通过以 下两式计算该右相机图像的肤色区域与该左相机图像的肤色区域的灰度相关 值R(p₁,p₂)：

$\sigma \left(I_k\right)=\sqrt{\frac{\underset{i=-n^{\prime }}{\overset{n^{\prime }}{\Sigma }}\underset{j=-m^{\prime }}{\overset{m^{\prime }}{\Sigma }}{I_k}^2(x_k+i,y_k+j)}{({2m}^{\prime }+1)({2n}^{\prime }+1)}-{\overline{\left(I_k(x_k,y_k)\right)}}^2},$k＝1或2，

$R(p_1,p_2)=\frac{\underset{i=-n^{\prime }}{\overset{n^{\prime }}{\Sigma }}\underset{j=-m^{\prime }}{\overset{m^{\prime }}{\Sigma }}[I_1(x_1+i,y_1+j)-\overline{I_1(x_1,y_1)}][I_2(x_2+i,y_2+j)-\overline{I_2(x_2,y_2)}]}{({2m}^{\prime }+1)({2n}^{\prime }+1)\sqrt{{\sigma }^2\left(I_1\right)\times {\sigma }^2\left(I_2\right)}};$

S24：比较灰度相关值R(p₁,p₂)与灰度相关值阈值T的大小，当R(p₁,p₂)>T 时，说明该左图像中肤色区域的质心点与该右图像中肤色区域的质心点不匹 配，并舍弃该左图像中肤色区域的质心点和该右图像中肤色区域的质心点；

S25：重复上述步骤S20～S24直至对右相机图像中的多个肤色区域全部 完成匹配关系判断；

S26：根据S6中得到的内参数和外参数，计算相匹配的质心点在世界坐 标系中的坐标，首先，假设u_l、u_r分别为某对相匹配的质心点在左图像坐标 系中的横坐标和在右图像坐标系中的横坐标，按下式计算左相机和右相机的 视差D：

D＝u_l-u_r；

S27：假设左相机的焦距为f_c，左相机的光心和右相机的光心之间的距离 为b，以左相机的光心为原点建立世界坐标系，其中，该世界坐标系为左手 坐标系，按下式计算左相机在世界坐标系中的坐标z_c：

$z_c=b\frac{f_c}{d};$

S28：假设该对相匹配的质心点在左图像坐标系中的纵坐标为v_l，该对相 匹配的质心点在左图像坐标系中的坐标对应世界坐标系中坐标为(x_w，y_w，z_w) 的点，则按下式计算x_w，y_w，z_w的值，其中s为倾斜因子：

$z_c\left(\begin{array}{c}{u}_l\\ v_l\\ 1\end{array}\right)=\left(\begin{array}{cccc}{f}_x& s& c_x& 0\\ 0& f_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}R& t\\ 0^T& 0\end{array}\right)\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right);$

S29：经过一设定时间间隔后，在t1时刻，重复上述步骤S10～S28；

S30：判断被采集者的脸部的质心点是否被舍弃，如果未被舍弃，则进行 步骤S31；

S31：假设t0时刻采集到的图像计算出的脸部的质心点的坐标在世界坐 标系中的坐标为P_t0(x0,y0,z0)，t1时刻采集到的图像计算出的脸部的质心点 的坐标在世界坐标系中的坐标为P_t1(x′,y′,z′)，设定一左右平移阈值ε和 一前后平移阈值δ，并进行以下判断：

①若y′-y0<0，则判定被采集者发生了下蹲的动作，

②若x′-x0<ε，则判定被采集者向左发生了平移，

③若x′-x0>ε，则判定被采集者向右发生了平移，

④若z′-z0<δ，则判定被采集者向前发生了平移，

⑤若z′-z0>δ，则判定被采集者向后发生了平移。

可选的，S12中的多个肤色区域还包括被采集者的左手和右手，当S30 中未舍弃被采集者左手和右手的质心点时，相应的，上述基于双目视觉的人 体姿态动作研究方法还包括一判断手臂姿势的步骤：

被采集者保持双臂伸直，使双臂在同一平面内且双臂所在平面与竖直面 呈90度夹角，使用上述步骤S10～S28分别计算出被采集者的脸部、左手和 右手的质心点在世界坐标系中的坐标，再分别计算左手与脸部之间的距离和 右手与脸部之间的距离，并计算左手与脸部之间的距离和右手与脸部之间的 距离的平均值S；

假设t1时刻采集到的图像计算出的左手质心点的坐标在世界坐标系中的 坐标为L(x_l,y_l,z_l)，右手质心点的坐标在世界坐标系中的坐标为R(x_r,y_r,z_r)，

则左手质心点与脸部质心点之间的空间向量为该向量的模为$\left|\overrightarrow{P_{t1}L}\right|=\sqrt{{(x_l-x^{\prime })}^2+{(y_l-y^{\prime })}^2+{(z_l-z^{\prime })}^2},$

右手质心点与脸部质心点之间的空间向量为该 向量的模为$\left|\overrightarrow{P_{t1}R}\right|=\sqrt{{(x_r-x^{\prime })}^2+{(y_r-y^{\prime })}^2+{(z_r-z^{\prime })}^2},$

计算与之间的夹角θ即为被采集者的双臂张 开的角度，

判断与S的关系：当时，左手臂发生弯曲，且越小，左 手臂弯曲程度越大，

判断与S的关系：当时，右手臂发生弯曲，且越小，右 手臂弯曲程度越大。

可选的，上述基于双目视觉的人体姿态动作研究方法还包括一判断被 采集者是否发生快速移动的步骤：

设定一速度阈值V_T,

计算脸部的质心点在t0～t1时间内的移动距离d:

$d=\left|\overrightarrow{P_{t0}{P}_{t1}}\right|=\sqrt{{(x^{\prime }-x0)}^2+{(y^{\prime }-y0)}^2+{(z^{\prime }-z0)}^2},$

计算脸部质心在t0～t1时间内的平均速度：

v＝d/(t1-t0),

当v>V_T时，判定被采集者发生了快速移动。

可选的，上述基于双目视觉的人体姿态动作研究方法中的S4包括以下 步骤：

对标定板图像进行canny边缘检测和滤波去噪；

利用最小二乘法拟合标定板上最外层的圆形特征点；

根据上述两步骤的结果计算多个圆形特征点在对应的图像坐标系中的坐 标。

本发明还提供了一种实施上述基于双目视觉的人体姿态动作研究方法 的系统，该系统包括：双目标定模块，质心提取模块，质心匹配模块，三维 坐标获取模块，姿态识别模块，其中，

双目标定模块用于对左相机和右相机进行双目标定；

质心提取模块用于提取左相机图像和右相机图像中的肤色区域的质心点 的坐标；

质心匹配模块用于判断左相机图像中的肤色区域与对应的右相机图像中 的肤色区域是否匹配；

三维坐标获取模块用于计算相匹配的肤色区域的质心点在世界坐标系中 的坐标；

姿态识别模块用于识别被采集者的姿态。

本发明利用了双目立体视觉原理，通过获取左右相机的视频帧中相应人 体部位的三维坐标点信息，能够较准确的判断人体上半身的姿态动作。本发 明不需要拍摄大量图像，能够通过实时采集视频帧对人脸和双手等人体关键 部位的质心点进行立体匹配，以获取人体关键部位之间的位置关系，运行成 本较低。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为双目视觉原理图；

图2为人体肤色在RGB空间的分布图；

图3为人体肤色在YCrCb空间的分布图；

图4为本发明一实施例的左相机图像和右相机图像；

图5为本发明一实施例的左相机图像与经过预处理滤波去噪、肤色检测、 二值化处理及滤波后的左相机图像的对比图；

图6为质心点匹配示意图；

图7为本发明提供的用于实施基于双目视觉的人体姿态动作研究方法 的系统的结构示意图。

附图标记说明：1-用于实施基于双目视觉的人体姿态动作研究方法的系 统；10-双目标定模块；11-质心提取模块；12-质心匹配模块；13-三维坐标获 取模块；14-姿态识别模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为双目视觉原理图，如图所示，p(x_c,y_c,z_c)为左相机和右相机 采集区域内的一点，o_lu_lv_l为左图像坐标系，o_ru_rv_r为右图像坐标系，其中，左 图像坐标系o_lu_lv_l位于左相机的成像面内，其原点为左相机的成像面与其光轴 的交点，右图像坐标系o_ru_rv_r位于右相机的成像面内，其原点为右相机的成像 面与其光轴的交点，o_lu_lv_l和o_ru_rv_r的u轴均为沿水平方向向右，v轴方向均为竖 直向下。点p(x_c,y_c,z_c)在左相机坐标系中的成像点为p_l(u_l,v_l)，在右相机坐标 系中的成像点为p_r(u_r,v_r)，根据极线的定义：空间物点、空间物点在左相机中 的成像点和空间物点在右相机中的成像点组成的平面分别与左相机的成像平 面和右相机的成像平面相交的直线，由图1可知，左相机成像平面内的极线 为p_l，右相机成像平面内的极线为p_r。图1中，o_lx_ly_lz_l为左相机坐标系，其 原点为左相机的光心，o_rx_ry_rz_r为右相机坐标系，其原点为右相机的光心， o_lx_ly_lz_l和o_rx_ry_rz_r的x轴方向与图像坐标系中u轴的方向相同，y轴方向与图像 坐标系中v轴的方向相同。图1中的连接左相机的光心和右相机的光心的线段 为基线，基线的长度为b。

下面通过具体实施例说明本发明提供的基于双目视觉的人体姿态动作 研究方法。

第一实施例：

本发明的第一实施例用于判断被采集者是否发生了下蹲及左右方向 和前后方向的平移，通过以下步骤实现：

S1：将左相机和右相机分别置于与地面平行的同一水平线上，其中，两 部相机为同一型号，两部相机之间的距离为设定值，且两部相机均能拍摄到 完整的人体上半身，

其中，两部相机均为MV-VS078FC相机，两部相机分别通过三脚架固定 于同一水平高度；

S2：对左相机和右相机进行双目标定，首先准备一块带有多个圆形特征 点的矩形标定板，其中，多个圆形特征点排列成多行和多列的阵列，位于同 一行的圆形特征点的圆心在同一直线上，位于同一列的圆形特征点的圆心在 同一直线上，

其中，标定板为一平整的板面，背景为黑色，特征点为白色实心圆，特 征点的个数为99个，也可按实际需求设定为其他个数，特征点的大小以人眼 能辨识为准，不宜太小或太大；

S3：将标定板置于相机拍摄区域内的至少5个不同方位，并分别使用左 相机和右相机对标定板进行拍摄，得到多张对应左相机的左标定板图像和多 张对应右相机的右标定板图像；

S4：计算左标定板图像中的多个圆形特征点在左图像坐标系中的坐标， 以及右标定板图像中的多个圆形特征点在右图像坐标系中的坐标，其中，左 图像坐标系的原点为左相机的成像面与其光轴的交点，右图像坐标系的原点 为右相机的成像面与其光轴的交点，其中，S4具体包括以下步骤：

对标定板图像进行canny边缘检测和滤波去噪，

利用最小二乘法拟合所述标定板上最外层的圆形特征点，

根据上述两步骤的结果计算多个所述圆形特征点在对应的图像坐标系中 的坐标；

S5：利用极线约束规则分别匹配同一方位下的左标定板图像和右标定板 图像，得到每个方位下多个圆形特征点在左图像坐标系和右图像坐标系中的 特征圆心；

S6：根据每个方位下多个圆形特征点在左图像坐标系和右图像坐标系中 的特征圆心，利用Levenberg-Marquardt算法(L-M优化算法)计算左相机的 内参数，以及左相机和右相机组成的相机系统的外参数，其中，内参数至少 包括左图像坐标系中u轴的有效焦距f_x、v轴的有效焦距f_y以及左图像坐标系 的中心坐标(c_x,c_y)，外参数至少包括旋转向量R和平移向量t；

S7：构建人体肤色模型，首先使用手工标注方法统计大量RGB格式人体 图像中的肤色区域的RGB值，得到人体肤色在RGB空间的分布情况；

S8：将RGB空间转化到YCrCb空间，得到人体肤色在YCrCb空间的分 布情况；

S9：根据人体肤色在YCrCb空间的分布情况构建人体肤色模型；

如图2所示为人体肤色在RGB空间的分布图，如图3所示为人体肤色在 YCrCb空间的分布图；人体肤色模型是描述使用一组值(通常三个值、四个 值或者颜色成分)标示颜色方法的抽象数学模型，例如三原色(RGB)模型。

S10：被采集者站立在左相机和右相机的图像采集范围内，在t0时刻， 使用左相机和右相机分别采集一帧左相机图像和一帧右相机图像，如图4所 示为本发明一实施例的左相机图像和右相机图像；S11：根据人体肤色模型， 分别对左相机图像和右相机图像进行预处理滤波去噪及肤色检测，得到左相 机图像中的多个连通的肤色区域和右相机图像中的多个连通的肤色区域；

S12：分别对左相机图像中的多个连通的肤色区域和右相机图像中的多个 连通的肤色区域进行二值化处理及滤波，获取左相机图像中的多个肤色区域 和右相机图像中的多个肤色区域，其中，多个肤色区域至少包括被采集者的 脸部；

如图5所示为本发明一实施例的左相机图像与经过预处理滤波去噪、肤 色检测、二值化处理及滤波后的左相机图像的对比图，其中左图为左相机拍 摄的左相机图像，右图为经过预处理滤波去噪、肤色检测、二值化处理及滤 波后的左相机图像，可以看出，经二值化处理和滤波后，原左相机图像中拍 摄到的人脸和人手部位被保留，其余部分均被忽略。

S13：分别计算左相机图像和右相机图像中的多个肤色区域的质心点的坐 标，首先从左相机图像中的多个肤色区域和右相机图像中的多个肤色区域中 取一个肤色区域；

S14：取该肤色区域的最小外接矩形，得到大小为m*n的子图像，其中 m为最小外接矩形的宽度，n为最小外接矩形的长度；

S15：假设(i,j)为子图像中以对应的图像坐标系为基准的像素点的坐标， f(i,j)为子图像在该像素点的灰度值，则子图像的矩为：

$M_{\mathrm{pq}}={\Sigma }_{i=1}^n{\Sigma }_{j=1}^m{i}^p{j}^{q}f(i,j);$

S16：分别计算子图像的0阶矩M₀₀和1阶矩M₁₀及M₀₁；

S17：设子图像的质心点的坐标为P(x_c,y_c)，按照下式计算子图像的质心 点的坐标：

$x_c=\frac{M_{10}}{M_{00}},y_c=\frac{M_{01}}{M_{00}};$

S18：重复上述步骤S14～S17直至左相机图像中的多个肤色区域和右相 机图像中的多个肤色区域全部计算完成；

S19：判断左相机图像中的多个肤色区域分别对应的质心点与右相机图像 中的多个肤色区域分别对应的质心点之间的匹配关系，首先设定一灰度相关 值阈值T；

S20：从右相机图像中的多个肤色区域中取一个肤色区域，并从左相机图 像中取出与该右相机图像的肤色区域对应的肤色区域；

S21：以该右相机图像的肤色区域的质心点的坐标p₁(x₁,y₁)为中心，选定 一个大小为(2m′+1)*(2n′+1)的窗口，其中m′，n′为设定值的自然 数；

S22：以左相机图像中对应肤色区域的质心点的坐标p₂(x₂,y₂)为中心，也 选定一个大小为(2m′+1)*(2n′+1)的窗口，

如图6所示为质心点匹配示意图，其中右相机图像为基准图，左相机图 像为配准图，也即左相机图像以右相机图像为基准进行配准，其中区域A为 在右相机图像中，以某一肤色区域的质心点为中心选定的大小为(2m′+1) *(2n′+1)的窗口，区域B为右相机图像中的该肤色区域的最小外接矩形， 区域A′为以左相机图像中对应肤色区域的质心点为中心选定的大小为 (2m′+1)*(2n′+1)的窗口，区域B′为左相机图像中的对应肤色区域 的最小外接矩形；

S23：假设I₁(x₁+i,y₁+j)为右相机图像中该肤色区域的质心点周围的像素 点的灰度值，为右相机图像中该肤色区域的最小外接矩形包围的区域 范围内所有像素点的灰度均值，也即B区域内所有像素点的灰度均值， I₂(x₂+i,y₂+j)为左相机图像中对应肤色区域的质心点周围的像素点的灰度值， 为左相机图像中对应肤色区域的最小外接矩形包围的区域范围内所 有像素点的灰度均值，也即B′区域内所有像素点的灰度均值，σ(I_k)为标准 差，通过以下两式计算该右相机图像的肤色区域与该左相机图像的肤色区域 的灰度相关值R(p₁,p₂)：

$\sigma \left(I_k\right)=\sqrt{\frac{\underset{i=-n^{\prime }}{\overset{n^{\prime }}{\Sigma }}\underset{j=-m^{\prime }}{\overset{m^{\prime }}{\Sigma }}{I_k}^2(x_k+i,y_k+j)}{({2m}^{\prime }+1)({2n}^{\prime }+1)}-{\overline{\left(I_k(x_k,y_k)\right)}}^2},$k＝1或2，

$R(p_1,p_2)=\frac{\underset{i=-n^{\prime }}{\overset{n^{\prime }}{\Sigma }}\underset{j=-m^{\prime }}{\overset{m^{\prime }}{\Sigma }}[I_1(x_1+i,y_1+j)-\overline{I_1(x_1,y_1)}][I_2(x_2+i,y_2+j)-\overline{I_2(x_2,y_2)}]}{({2m}^{\prime }+1)({2n}^{\prime }+1)\sqrt{{\sigma }^2\left(I_1\right)\times {\sigma }^2\left(I_2\right)}};$

S24：比较灰度相关值R(p₁,p₂)与灰度相关值阈值T的大小，当R(p₁,p₂)>T 时，说明该左图像中肤色区域的质心点与该右图像中肤色区域的质心点不匹 配，并舍弃该左图像中肤色区域的质心点和该右图像中肤色区域的质心点，

其中，R(p₁,p₂)的范围为[-1,1]，质心点不匹配的实际意义为该两个质心点 不对应同一肤色区域，故需将其舍弃，否则会导致下面步骤中计算出的三维 坐标信息不准确；

例如，若设定的灰度相关阈值为0.95，而通过计算得出某一右相机图像 中的肤色区域与左相机图像中对应肤色区域的灰度相关值为0.9，则可认定此 对质心点是不能匹配的，需将其舍弃。

S25：重复上述步骤S20～S24直至对右相机图像中的多个肤色区域全部 完成匹配关系判断；

S26：根据S6中得到的内参数和外参数，计算相匹配的质心点在世界坐 标系中的坐标，首先，假设u_l、u_r分别为某对相匹配的质心点在左图像坐标 系中的横坐标和在右图像坐标系中的横坐标，按下式计算左相机和右相机的 视差D：

D＝u_l-u_r；

S27：假设左相机的焦距为f_c，左相机的光心和右相机的光心之间的距离 为b，以左相机的光心为原点建立世界坐标系，其中，该世界坐标系为左手 坐标系，按下式计算左相机在世界坐标系中的坐标z_c：

$z_c=b\frac{f_c}{d};$

S28：假设该对相匹配的质心点在左图像坐标系中的纵坐标为v_l，该对相 匹配的质心点在左图像坐标系中的坐标对应世界坐标系中坐标为(x_w，y_w，z_w) 的点，则按下式计算x_w，y_w，z_w的值，其中s为倾斜因子：

$z_c\left(\begin{array}{c}{u}_l\\ v_l\\ 1\end{array}\right)=\left(\begin{array}{cccc}{f}_x& s& c_x& 0\\ 0& f_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}R& t\\ 0^T& 0\end{array}\right)\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right);$

S29：经过一设定时间间隔后，在t1时刻，重复上述步骤S10～S28；

S30：判断被采集者的脸部的质心点是否被舍弃，如果未被舍弃，则进行 步骤S31；

S31：假设t0时刻采集到的图像计算出的脸部的质心点的坐标在世界坐 标系中的坐标为P_t0(x0,y0,z0)，t1时刻采集到的图像计算出的脸部的质心点 的坐标在世界坐标系中的坐标为P_t1(x′,y′,z′)，设定一左右平移阈值ε和 一前后平移阈值δ，并进行以下判断：

①若y′-y0<0，则判定被采集者发生了下蹲的动作，

②若x′-x0<ε，则判定被采集者向左发生了平移，

③若x′-x0>ε，则判定被采集者向右发生了平移，

④若z′-z0<δ，则判定被采集者向前发生了平移，

⑤若z′-z0>δ，则判定被采集者向后发生了平移。

第二实施例：

本发明的第二实施例用于判断被采集者的手臂姿势，具体的，可判断 被采集者的双臂张开的角度以及双臂分别弯曲的程度，S1～S29步骤与第 一实施例相同，故不再赘述，假设S12中的多个肤色区域还包括被采集者的 左手和右手，且S30中未舍弃被采集者左手和右手的质心点，通过以下步骤 判断被采集者的手臂姿势：

被采集者保持双臂伸直，使双臂在同一平面内且双臂所在平面与竖直面 呈90度夹角，使用上述步骤S10～S28分别计算出被采集者的脸部、左手和 右手的质心点在世界坐标系中的坐标，再分别计算左手与脸部之间的距离和 右手与脸部之间的距离，并计算左手与脸部之间的距离和右手与脸部之间的 距离的平均值S；

假设t1时刻采集到的图像计算出的左手质心点的坐标在世界坐标系中的 坐标为L(x_l,y_l,z_l)，右手质心点的坐标在世界坐标系中的坐标为R(x_r,_yr,z_r)，

则左手质心点与脸部质心点之间的空间向量为该向量的模为$\left|\overrightarrow{P_{t1}L}\right|=\sqrt{{(x_l-x^{\prime })}^2+{(y_l-y^{\prime })}^2+{(z_l-z^{\prime })}^2},$

右手质心点与脸部质心点之间的空间向量为该 向量的模为$\left|\overrightarrow{P_{t1}R}\right|=\sqrt{{(x_r-x^{\prime })}^2+{(y_r-y^{\prime })}^2+{(z_r-z^{\prime })}^2},$

计算与之间的夹角θ即为被采集者的双臂张 开的角度；

判断与S的关系：当时，左手臂发生弯曲，且越小，左 手臂弯曲程度越大，

判断与S的关系：当时，右手臂发生弯曲，且越小，右 手臂弯曲程度越大。

第三实施例：

本发明的第三实施例用于判断被采集者在一段时间内是否发生了快 速移动，S1～S30步骤与第一实施例相同，故不再赘述，通过以下步骤判 断被采集者在一段时间内是否发生了快速移动：

设定一速度阈值V_T；

计算脸部的质心点在t0～t1时间内的移动距离d，

$d=\left|\overrightarrow{P_{t0}{P}_{t1}}\right|=\sqrt{{(x^{\prime }-x0)}^2+{(y^{\prime }-y0)}^2+{(z^{\prime }-z0)}^2}$

由于人体运动状态的突变往往在很短时间内完成，故，t0和t1之间的时 间间隔不宜过大，这里，t0和t1分别对应的视频帧之间相差五帧图像(可根 据实际需要设定t0和t1之间相差的图像帧数)，也即，假设左相机和右相机 采集视频的帧率均为f，则t1-t0＝5/f；

计算脸部质心在t0～t1时间内的平均速度：

v＝d/(t1-t0)；

当v>V_T时，判定被采集者发生了快速移动。

本发明还提供了一种用于实施上述基于双目视觉的人体姿态动作研 究方法的系统，如图7所示为该系统的结构示意图，该系统包括双目标定 模块10，质心提取模块11，质心匹配模块12，三维坐标获取模块13，姿态 识别模块14，其中，

双目标定模块10用于对左相机和右相机进行双目标定；

质心提取模块11用于提取左相机图像和右相机图像中的肤色区域的质 心点的坐标；

质心匹配模块12用于判断左相机图像中的肤色区域与对应的右相机图 像中的肤色区域是否匹配；

三维坐标获取模块13用于计算相匹配的肤色区域的质心点在世界坐标 系中的坐标；

姿态识别模块14用于识别被采集者的姿态。

本发明利用了双目立体视觉原理，通过获取左右相机的视频帧中相应人 体部位的三维坐标点信息，能够较准确的判断人体上半身的姿态动作。本发 明不需要拍摄大量图像，能够通过实时采集视频帧对人脸和双手等人体关键 部位的质心点进行立体匹配，以获取人体关键部位之间的位置关系，运行成 本较低。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中 的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施 例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的 一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步 拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其 限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者 对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术 方案的本质脱离本发明实施例技术方案的精神和范围。