首页> 中国专利> 姿势估计装置、姿势估计系统、姿势估计方法、姿势估计程序和记录该程序的计算机介质

姿势估计装置、姿势估计系统、姿势估计方法、姿势估计程序和记录该程序的计算机介质

摘要

图像取得部(15)取得来自设置于室内的图像传感器(2、3)的图像数据。存储部(6)存储表示人体的姿势的转变模型的信息、和表示转变模型中的各个姿势下的图像数据的检查区域的检查信息。姿势估计部(5)参照表示转变模型的信息和检查信息,计算图像数据的检查区域中的统计量,并基于统计量,根据之前时刻的人体的姿势,估计当前时刻的人体的姿势。

著录项

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-07-05

    授权

    授权

  • 2017-03-15

    实质审查的生效 IPC(主分类):A61B5/107 申请日:20150422

    实质审查的生效

  • 2017-02-15

    公开

    公开

说明书

技术领域

本发明涉及能够估计室内的人体的姿势的姿势估计装置、姿势估计系统、姿势估计方法、姿势估计程序和记录了姿势估计程序的计算机可读记录介质。

背景技术

一直以来,已知有监视老年人等需要看护的人的举动的装置。

例如,在专利文献1(日本特开2006-175082号公报)所记载的装置中,为了判定就寝于床上的被看护者进行了起床举动,在床的上侧设定监视区域,通过照相机从床的横向拍摄监视区域。在被看护者的图像区域在从照相机获得的拍摄图像的监视区域中占据的大小为规定值以上的情况下,该装置估计为被看护者进行了起床举动。

现有技术文献

专利文献

专利文献1:日本特开2006-175082号公报

发明内容

发明所要解决的课题

但是,在专利文献1的装置中,由于在拍摄图像中的被看护者的图像区域的大小为规定值以上的情况下,估计为被看护者进行了起床举动,所以需要进行用于确定被看护者的图像区域的图像处理。其结果,数据处理量增多,无法实时估计姿势的变化。

因此,本发明的目的在于提供一种能够以较少的数据处理量估计人体的姿势的姿势估计装置、姿势估计系统、姿势估计方法、姿势估计程序和记录了姿势估计程序的计算机可读记录介质。

用于解决课题的手段

本发明的姿势估计装置具有:取得部,其取得来自设置于室内的图像传感器的图像数据;存储部,其存储表示人体的姿势的转变模型的信息、和表示转变模型中的各个姿势下的图像数据的检查区域的检查信息;以及估计部,其参照表示转变模型的信息和检查信息,计算图像数据的检查区域中的统计量,并基于统计量,根据之前时刻的人体的姿势,估计当前时刻的人体的姿势。

优选的是,估计部包含:候选确定部,其参照表示转变模型的信息,确定能够从之前时刻的人体的姿势转变来的姿势的候选;检查区域确定部,其针对确定出的姿势的候选,参照检查信息来确定图像数据的检查区域;统计量计算部,其计算确定出的图像数据的检查区域中的统计量;以及判定部,其根据计算出的统计量,判定是否将确定出的姿势的候选估计为当前时刻的姿势。

优选的是,统计量是检查区域的像素的值的合计值或平均值。

优选的是,在计算出的统计量为根据确定出的姿势的候选而确定的基准值以上的情况下,判定部将确定出的姿势的候选估计为当前时刻的姿势。

优选的是,图像传感器是红外线阵列传感器。

优选的是,在室内设置有床。姿势的转变模型包含人体相对于床的姿势。

优选的是,取得部取得来自设置于室内的上方的第1图像传感器的第1图像数据、和来自设置于室内的侧方的第2图像传感器的第2图像数据。存储部存储检查信息,该检查信息表示转变模型中的各个姿势下的第1图像数据的检查区域和第2图像数据的检查区域。估计部参照表示转变模型的信息和检查信息,计算第1图像数据和第2图像数据的检查区域中的统计量,并使用计算出的统计量,根据之前时刻的人体的姿势,估计当前时刻的人体的姿势。

优选的是,在姿势的转变模型中,在之前时刻的人体的姿势是不在室内的情况下,能够从姿势转变来的姿势的候选包含留在室内。

优选的是,在姿势的转变模型中,在之前时刻的人体的姿势是留在室内的情况下,能够从姿势转变来的姿势的候选包含站在床边、跌倒和不在室内中的至少1个。

优选的是,在姿势的转变模型中,在之前时刻的人体的姿势是站在床边的情况下,能够从姿势转变来的姿势的候选包含躺在床上、坐在床上、坐在床尾、跌倒和留在室内中的至少1个。

优选的是,在姿势的转变模型中,在之前时刻的人体的姿势是躺在床上的情况下,能够从姿势转变来的姿势的候选包含坐在床上、坐在床尾、站在床边和从床上滚落中的至少1个。

优选的是,在姿势的转变模型中,在之前时刻的人体的姿势是坐在床上的情况下,能够从姿势转变来的姿势的候选包含躺在床上、坐在床尾、站在床边和从床上滚落中的至少1个。

优选的是,在姿势的转变模型中,在之前时刻的人体的姿势是坐在床尾的情况下,能够从姿势转变来的姿势的候选包含躺在床上、坐在床上、站在床边和从床上滚落中的至少1个。

优选的是,在姿势的转变模型中,作为能够从之前时刻的人体的姿势转变来的姿势的候选,包含与之前时刻的姿势相同的姿势。

优选的是,在姿势的候选是不在室内的情况下,第1图像数据的检查区域是第1图像数据的整个区域,第2图像数据的检查区域是第2图像数据的整个区域。

优选的是,在姿势的候选是留在室内的情况下,第1图像数据的检查区域是第1图像数据的整个区域,第2图像数据的检查区域是第2图像数据的整个区域。

优选的是,在姿势的候选是站在床边的情况下,第1图像数据的检查区域是从与对应于床的区域的长度方向边界相邻的位置起规定宽度的区域,第2图像数据的检查区域的铅直方向的范围是整个范围,水平方向的范围是从与对应于床的范围相邻的位置起规定宽度的范围。

优选的是,在姿势的候选是跌倒的情况下,第1图像数据的检查区域是整个区域中的除对应于床的区域以外的区域,第2图像数据的检查区域的水平方向的范围是整个范围中的除对应于床的范围以外的范围,铅直方向的范围是从最低的位置起朝向上方的规定宽度的范围。

优选的是,在姿势的候选是躺在床上的情况下,第1图像数据的检查区域是对应于床的区域,第2图像数据的检查区域的铅直方向的范围是从与对应于床的范围的上方边界相邻的位置起为规定的第1宽度的范围,水平方向的范围是与对应于床的范围相同的范围。

优选的是,在姿势的候选是坐在床上的情况下,第1图像数据的检查区域是对应于床的区域,第2图像数据的检查区域的铅直方向的范围是从与对应于床的范围的上方边界相邻的位置起为规定的第2宽度的范围,水平方向的范围是与对应于床的范围相同的范围。

优选的是,在姿势的候选是坐在床尾的情况下,第1图像数据的检查区域是对应于床的区域,第2图像数据的检查区域的铅直方向的范围是整个范围,水平方向的范围是从与对应于床的范围相邻的位置起规定宽度的范围。

优选的是,在姿势的候选是从床上滚落的情况下,第1图像数据的检查区域是从与对应于床的区域的长度方向边界相邻的位置起规定宽度的区域,第2图像数据的检查区域的水平方向的范围是整个范围中的除对应于床的范围以外的范围,铅直方向的范围是从规定的位置起朝向上方的规定宽度的范围。

本发明的姿势估计系统具有:图像传感器,其设置于室内:取得部,其取得来自图像传感器的图像数据;存储部,其存储表示人体的姿势的转变模型的信息、和表示转变模型中的各个姿势下的图像数据的检查区域的检查信息;以及估计部,其参照表示转变模型的信息和检查信息,计算图像数据的检查区域中的统计量,并基于统计量,根据之前时刻的人体的姿势,估计当前时刻的人体的姿势。

本发明的姿势估计方法包含以下步骤:设置于室内的图像传感器通过拍摄室内来生成图像数据;以及参照表示人体的姿势的转变模型的信息、和表示转变模型中的各个姿势下的图像数据的检查区域的检查信息,计算图像数据的检查区域中的统计量,并基于统计量,根据之前时刻的人体的姿势,估计当前时刻的人体的姿势。

本发明的姿势估计程序使计算机作为以下部分发挥作用:取得部,其取得来自设置于室内的图像传感器的图像数据;存储部,其存储表示人体的姿势的转变模型的信息、和表示转变模型中的各个姿势下的图像数据的检查区域的检查信息;以及估计部,其参照表示转变模型的信息和检查信息,计算图像数据的检查区域中的统计量,并基于统计量,根据之前时刻的人体的姿势,估计当前时刻的人体的姿势。

本发明的计算机可读记录介质所记录的姿势估计程序使计算机作为以下部分发挥作用:取得部,其取得来自设置于室内的图像传感器的图像数据;存储部,其存储表示人体的姿势的转变模型的信息、和表示转变模型中的各个姿势下的图像数据的检查区域的检查信息;以及估计部,其参照表示转变模型的信息和检查信息,计算图像数据的检查区域中的统计量,并基于统计量,根据之前时刻的人体的姿势,估计当前时刻的人体的姿势。

发明效果

根据本发明,能够以较少的数据处理量估计人体的姿势。

附图说明

图1是表示本发明实施方式的姿势估计系统的结构的图。

图2是表示室内的立体图。

图3是用于说明第1图像数据和第1图像数据的检查区域的图。

图4是用于说明第1图像数据和第1图像数据的检查区域的图。

图5是用于说明第2图像数据和第1图像数据的检查区域的图。

图6是用于说明第2图像数据和第1图像数据的检查区域的图。

图7是表示人体的姿势的转变模型的图。

图8是表示转变模型信息的图。

图9是表示区域信息和基准值信息的图,该区域信息表示转变模型中的各个姿势下的第1图像数据的检查区域和第2图像数据的检查区域,该基准值信息表示用于判定是否转变为了各个姿势的基准值。

图10是表示用于判定从姿势(A)起的转变目标的步骤的流程图。

图11是表示用于判定从姿势(B)起的转变目标的步骤的流程图。

图12是表示用于判定从姿势(C)起的转变目标的步骤的流程图。

图13是表示用于判定从姿势(D)起的转变目标的步骤的流程图。

图14是表示用于判定从姿势(E)起的转变目标的步骤的流程图。

图15是表示用于判定从姿势(F)起的转变目标的步骤的流程图。

具体实施方式

以下,使用附图来说明本发明的实施方式。

在以下的说明中,监视对象者是指老年人等需要看护的居住者,室内是指监视对象者居住的空间。

图1是表示本发明实施方式的姿势估计系统1的结构的图。

如图1所示,该姿势估计系统1具有上方图像传感器2、侧方图像传感器3和姿势估计装置4。

上方图像传感器2安装于室内的顶面,从上方拍摄室内。侧方图像传感器3安装于室内的侧面,从侧方拍摄室内。在本实施方式中,上方图像传感器2和侧方图像传感器3由红外线阵列传感器构成。从上方图像传感器2输出的第1图像数据被发送到姿势估计装置4。从侧方图像传感器3输出的第2图像数据被发送到姿势估计装置4。

由红外线阵列传感器生成的图像数据具有以下特征:像素值越高,所拍摄的区域的温度越高,像素值越低,所拍摄的区域的温度越低。由于人体存在的区域的温度较高,所以拍摄了人体的区域的像素的值升高。因此,通过从图像数据中找出像素值较高的区域,能够确定人体存在的区域。

姿势估计装置4具有图像取得部15、姿势估计部5、存储部6和显示部7。姿势估计部5具有候选确定部8、检查区域确定部9、统计量计算部10和判定部11。存储部6具有转变模型信息存储部12和检查信息存储部13。

图像取得部15取得来自上方图像传感器2的第1图像数据和来自侧方图像传感器3的第2图像数据。

转变模型信息存储部12存储转变模型信息,该转变模型信息表示人体的姿势的转变模型。检查信息存储部13存储包含区域信息和基准值信息的检查信息,该区域信息表示转变模型中的各个姿势下的第1图像数据的检查区域和第2图像数据的检查区域,该基准值信息表示用于判定是否转变为了各个姿势的基准值。转变模型信息和检查信息用于估计当前时刻的人体的姿势。其详细情况将在后面叙述。

候选确定部8参照转变模型信息,确定能够从之前时刻的人体的姿势转变来的姿势的候选。

检查区域确定部9对于确定出的姿势的候选,参照区域信息来确定第1图像数据的检查区域和第2图像数据的检查区域。

统计量计算部10计算确定出的第1图像数据的检查区域中的统计量和第1图像数据的统计量。

判定部11参照基准值信息,根据计算出的统计量,判定是否将确定出的姿势的候选估计为当前时刻的姿势。

姿势估计装置4通过由未图示的计算机执行姿势估计程序来实现。换言之,姿势估计程序使计算机作为图像取得部15、姿势估计部5、存储部6和显示部7发挥作用。姿势估计程序记录在存储卡、CDROM、DVD等计算机可取读的记录介质中,并安装在计算机上。

图2是表示室内的立体图。

如图2所示,在室内的上方设置上方图像传感器2,在室内的侧方设置侧方图像传感器3。在室内设有床90。室内的坐标系X-Y-Z如图2所示。

图3和图4是用于说明第1图像数据和第1图像数据的检查区域的图。第1图像数据由X方向上的16个像素和Y方向上的16个像素构成。

区域RV1是第1图像数据的整个区域、即0≤X≤15、0≤Y≤15的范围的区域。

区域RV2是从与对应于床的区域的长度方向边界相邻的位置起规定宽度(3个像素)的区域、即7≤X≤9、3≤Y≤10的范围的区域。

区域RV3是对应于床的区域、即3≤X≤6、3≤Y≤10的范围的区域。

区域RV4是除区域RV3以外的区域,由4个区域构成。第1区域是0≤X≤2、0≤Y≤15的范围的区域。第2区域是7≤X≤15、0≤Y≤15的范围的区域。第3区域是3≤X≤6、0≤Y≤2的范围的区域。第4区域是3≤X≤6、11≤Y≤15的范围的区域。

图5和图6是用于说明第2图像数据和第2图像数据的检查区域的图。第2图像数据由X方向上的16个像素和Z方向上的16个像素构成。

区域RH1是第2图像数据的整个区域、即0≤X≤15、0≤Z≤15的范围的区域。

区域RH2的铅直方向(Z方向)的范围是整个范围。区域RH2的水平方向(X方向)的范围是从与对应于床的范围(11≤X≤15)相邻的位置起规定宽度(3个像素)的范围。因此,区域RH2是8≤X≤10、0≤Z≤15的范围的区域。

区域RH3的铅直方向(Z方向)的范围是从与对应于床的范围的上方边界相邻的位置起规定宽度(5个像素)的范围。区域RH3的水平方向(X方向)的范围是与对应于床的范围相同的范围。因此,区域RH3是11≤X≤15、5≤Z≤9的范围的区域。

区域RH4的铅直方向(Z方向)的范围是从与对应于床的范围的上方边界相邻的位置起规定宽度(3个像素)的范围。区域RH4的水平方向(X方向)的范围是与对应于床的范围相同的范围。因此,区域RH4是11≤X≤15、7≤Z≤9的范围的区域。

区域RH5的水平方向的范围是整个范围中的除对应于床的范围以外的范围。区域RH5的铅直方向的范围是从最低的位置(Z=15)起朝向上方的规定宽度(6个像素)的范围。因此,区域RH5是0≤X≤10、10≤Z≤15的范围的区域。

区域RH6的水平方向的范围是整个范围中的除对应于床的范围以外的范围。区域RH6的铅直方向的范围是从规定的位置(Z=12)起朝向上方的规定宽度(3个像素)的范围。因此,区域RH6是0≤X≤10、10≤Z≤12的范围的区域。

图7是表示人体的姿势的转变模型的图。图8是表示转变模型信息的图。

将监视对象者不在室内(A)设为初始状态。

姿势(A)的下一个姿势是留在室内(B)或者原来的姿势(A)中的任意一个。

姿势(B)的下一个姿势是站在床边(C)、跌倒(X)、不在室内(A)或者原来的姿势(B)中的任意一个。

姿势(C)的下一个姿势是躺在床上(D)、坐在床上(E)、坐在床尾(F)、跌倒(X)、留在室内(B)或者原来的姿势(C)中的任意一个。

姿势(D)的下一个姿势是坐在床上(E)、坐在床尾(F)、站在床边(C)、从床上滚落(第1形式)(Y1)或者原来的姿势(D)中的任意一个。

姿势(E)的下一个姿势是躺在床上(D)、坐在床尾(F)、站在床边(C)、从床上滚落(第1形式)(Y1)或者原来的姿势(E)中的任意一个。

姿势(F)的下一个姿势是躺在床上(D)、坐在床上(E)、站在床边(C)、从床上滚落(第2形式)(Y2)或者原来的姿势(F)中的任意一个。

图9是表示区域信息和基准值信息的图,该区域信息表示转变模型中的各个姿势下的第1图像数据的检查区域和第2图像数据的检查区域,该基准值信息表示用于判定是否转变为了各个姿势的基准值。

为了判定是否转变为了不在室内(A),计算第1图像数据的区域RV1的统计量和第2图像数据的区域RH1的统计量之和。在该统计量之和为基准值THA以上时,判定为转变为了姿势(A)。

为了判定是否转变为了留在室内(B),计算第1图像数据的区域RV1的统计量和第2图像数据的区域RH1的统计量之和。在该统计量之和为基准值THB以上时,判定为转变为了姿势(B)。

为了判定是否转变为了站在床边(C),计算第1图像数据的区域RV2的统计量和第2图像数据的区域RH2的统计量之和。在该统计量之和为基准值THC以上时,判定为转变为了姿势(C)。

为了判定是否转变为了躺在床上(D),计算第1图像数据的区域RV3的统计量和第2图像数据的区域RH4的统计量之和。在该统计量之和为基准值THD以上时,判定为转变为了姿势(D)。

为了判定是否转变为了坐在床上(E),计算第1图像数据的区域RV3的统计量和第2图像数据的区域RH3的统计量之和。在该统计量之和为基准值THE以上时,判定为转变为了姿势(E)。

为了判定是否转变为了坐在床尾(F),计算第1图像数据的区域RV3的统计量和第2图像数据的区域RH2的统计量之和。在该统计量之和为基准值THF以上时,判定为转变为了姿势(F)。

为了判定是否转变为了跌倒(X),计算第1图像数据的区域RV4的统计量和第2图像数据的区域RH5的统计量之和。在该统计量之和为基准值THX以上时,判定为转变为了姿势(X)。

为了判定是否转变为了从床上滚落(第1形式)(Y1),计算第1图像数据的区域RV2的统计量和第2图像数据的区域RH6的统计量之和。在该统计量之和为基准值THY1以上时,判定为转变为了姿势(Y1)。使用区域RH6的理由是,由于设置有侧方图像传感器3的部位与监视对象者从床上滚落的部位之间的距离较短,所以在第2图像数据中,拍摄了滚落后的监视对象者的部分到达比最低一行(Y=15)高的位置。

为了判定是否转变为了从床上滚落(第2形式)(Y2),计算第1图像数据的区域RV2的统计量和第2图像数据的区域RH6的统计量之和。在该统计量之和为基准值THY2以上时,判定为转变为了姿势(Y2)。使用区域RH6的理由与从床上滚落(第1形式)相同。

(从姿势A起的转变)

图10是表示用于判定从姿势(A)起的转变目标的步骤的流程图。

在步骤S100中之前时刻的姿势是不在室内(A)的情况下,处理进入到步骤S101。

在步骤S101中,候选确定部8通过参照图8所示的序列信息,确定姿势(B)和姿势(A),作为从姿势(A)起的转变目标的候选。

在步骤S102中,检查区域确定部9参照图9所示的检查信息,将RV1确定为针对姿势(B)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV1的像素的像素值的总和PV。

在步骤S103中,检查区域确定部9参照图9所示的检查信息,将RH1确定为针对姿势(B)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH1的像素的像素值的总和PH。

在步骤S104中,统计量计算部10计算PV与PH之和PB。

在步骤S105中,判定部11对PB的值和基准值THB的值进行比较。在PB的值为基准值THB以上的情况下,处理进入到步骤S106。在PB的值小于基准值THB的情况下,处理进入到步骤S107。

在步骤S106中,判定部11判定为当前时刻的姿势是留在室内(B)。

在步骤S107中,判定部11判定为当前时刻的姿势不是姿势(B),而是作为余下的候选的之前时刻的姿势(A)。

(从姿势B起的转变)

图11是表示用于判定从姿势(B)起的转变目标的步骤的流程图。

在步骤S200中,在之前时刻的姿势是留在室内(B)的情况下,处理进入到步骤S201。

在步骤S201中,候选确定部8通过参照图8所示的序列信息,将姿势(C)、姿势(X)、姿势(A)和姿势(B)确定为从姿势(B)起的转变目标的候选。

在步骤S202中,检查区域确定部9参照图9所示的检查信息,将RV2确定为针对姿势(C)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV2的像素的像素值的总和PV。

在步骤S203中,检查区域确定部9参照图9所示的检查信息,将RH2确定为针对姿势(C)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH2的像素的像素值的总和PH。

在步骤S204中,统计量计算部10计算PV与PH之和PC。

在步骤S205中,判定部11对PC的值和基准值THC的值进行比较。在PC的值为基准值THC以上的情况下,处理进入到步骤S206。在PC的值小于基准值THC的情况下,处理进入到步骤S207。

在步骤S206中,判定部11判定为当前时刻的姿势是站在床边(C)。

在步骤S207中,检查区域确定部9参照图9所示的检查信息,将RV4确定为针对姿势(X)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV4的像素的像素值的总和PV。

在步骤S208中,检查区域确定部9参照图9所示的检查信息,将RH5确定为针对姿势(X)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH5的像素的像素值的总和PH。

在步骤S209中,统计量计算部10计算PV与PH之和PX。

在步骤S210中,判定部11对PX的值和基准值THX的值进行比较。在PX的值为基准值THX以上的情况下,处理进入到步骤S211。在PX的值小于基准值THX的情况下,处理进入到步骤S212。

在步骤S211中,判定部11判定为当前时刻的姿势是跌倒(X)。

在步骤S212中,检查区域确定部9参照图9所示的检查信息,将RV1确定为针对姿势(A)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV1的像素的像素值的总和PV。

在步骤S213中,检查区域确定部9参照图9所示的检查信息,将RH1确定为针对姿势(A)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH1的像素的像素值的总和PH。

在步骤S214中,统计量计算部10计算PV与PH之和PA。

在步骤S215中,判定部11对PA的值和基准值THA的值进行比较。在PA的值为基准值THA以上的情况下,处理进入到步骤S216。在PA的值小于基准值THA的情况下,处理进入到步骤S217。

在步骤S216中,判定部11判定为当前时刻的姿势不是姿势(C)、姿势(X)和姿势(A),而是作为余下的候选的之前时刻的姿势(B)(留在室内)。

在步骤S217中,判定部11判定为当前时刻的姿势是不在室内(A)。

(从姿势C起的转变)

图12是表示用于判定从姿势(C)起的转变目标的步骤的流程图。

在步骤S300中,在之前时刻的姿势是站在床边(C)的情况下,处理进入到步骤S301。

在步骤S301中,候选确定部8通过参照图8所示的序列信息,将姿势(D)、姿势(E)、姿势(F)、姿势(X)、姿势(B)和姿势(C)确定为从姿势(C)起的转变目标的候选。

在步骤S302中,检查区域确定部9参照图9所示的检查信息,将RV3确定为针对姿势(D)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV3的像素的像素值的总和PV。

在步骤S303中,检查区域确定部9参照图9所示的检查信息,将RH4确定为针对姿势(D)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH4的像素的像素值的总和PH。

在步骤S304中,统计量计算部10计算PV与PH之和PD。

在步骤S305中,判定部11对PD的值和基准值THD的值进行比较。在PD的值为基准值THD以上的情况下,处理进入到步骤S306。在PD的值小于基准值THD的情况下,处理进入到步骤S307。

在步骤S306中,判定部11判定为当前时刻的姿势是躺在床上(D)。

在步骤S307中,检查区域确定部9参照图9所示的检查信息,将RV3确定为针对姿势(E)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV3的像素的像素值的总和PV。

在步骤S308中,检查区域确定部9参照图9所示的检查信息,将RH3确定为针对姿势(E)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH3的像素的像素值的总和PH。

在步骤S309中,统计量计算部10计算PV与PH之和PE。

在步骤S310中,判定部11对PE的值和基准值THE的值进行比较。在PE的值为基准值THE以上的情况下,处理进入到步骤S311。在PE的值小于基准值THE的情况下,处理进入到步骤S312。

在步骤S311中,判定部11判定为当前时刻的姿势是坐在床上(E)。

在步骤S312中,检查区域确定部9参照图9所示的检查信息,将RV3确定为针对姿势(F)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV3的像素的像素值的总和PV。

在步骤S313中,检查区域确定部9参照图9所示的检查信息,将RH2确定为针对姿势(F)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH2的像素的像素值的总和PH。

在步骤S314中,统计量计算部10计算PV与PH之和PF。

在步骤S315中,判定部11对PF的值和基准值THF的值进行比较。在PF的值为基准值THF以上的情况下,处理进入到步骤S316。在PF的值小于基准值THF的情况下,处理进入到步骤S317。

在步骤S316中,判定部11判定为当前时刻的姿势是坐在床尾(F)。

在步骤S317中,检查区域确定部9参照图9所示的检查信息,将RV4确定为针对姿势(X)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV4的像素的像素值的总和PV。

在步骤S318中,检查区域确定部9参照图9所示的检查信息,将RH5确定为针对姿势(X)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH5的像素的像素值的总和PH。

在步骤S319中,统计量计算部10计算PV与PH之和PX。

在步骤S320中,判定部11对PX的值和基准值THX的值进行比较。在PX的值为基准值THX以上的情况下,处理进入到步骤S321。在PX的值小于基准值THX的情况下,处理进入到步骤S322。

在步骤S321中,判定部11判定为当前时刻的姿势是跌倒(X)。

在步骤S322中,检查区域确定部9参照图9所示的检查信息,将RV2确定为针对姿势(B)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV2的像素的像素值的总和PV。

在步骤S323中,检查区域确定部9参照图9所示的检查信息,将RH2确定为针对姿势(X)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH2的像素的像素值的总和PH。

在步骤S324中,统计量计算部10计算PV与PH之和PC。

在步骤S325中,判定部11对PC的值和基准值THC的值进行比较。在PC的值小于基准值THC的情况下,处理进入到步骤S326。在PC的值为基准值THC以上的情况下,处理进入到步骤S327。

在步骤S326中,判定部11判定为当前时刻的姿势是留在室内(B)。

在步骤S327中,判定部11判定为当前时刻的姿势不是姿势(D)、姿势(E)、姿势(F)、姿势(X)和姿势(B),而是作为余下的候选的之前时刻的姿势(C)(站在床边)。

(从姿势D起的转变)

图13是表示用于判定从姿势(D)起的转变目标的步骤的流程图。

在步骤S400中,在之前时刻的姿势是躺在床上(D)的情况下,处理进入到步骤S401。

在步骤S401中,候选确定部8通过参照图8所示的序列信息,将姿势(E)、姿势(F)、姿势(C)、姿势(Y1)和姿势(D)确定为从姿势(D)起的转变目标的候选。

在步骤S402中,检查区域确定部9参照图9所示的检查信息,将RV3确定为针对姿势(E)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV3的像素的像素值的总和PV。

在步骤S403中,检查区域确定部9参照图9所示的检查信息息,将RH3确定为针对姿势(E)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH3的像素的像素值的总和PH。

在步骤S404中,统计量计算部10计算PV与PH之和PE。

在步骤S405中,判定部11对PE的值和基准值THE的值进行比较。在PE的值为基准值THE以上的情况下,处理进入到步骤S406。在PE的值小于基准值THE的情况下,处理进入到步骤S407。

在步骤S406中,判定部11判定为当前时刻的姿势是坐在床上(E)。

在步骤S407中,检查区域确定部9参照图9所示的检查信息,将RV3确定为针对姿势(F)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV3的像素的像素值的总和PV。

在步骤S408中,检查区域确定部9参照图9所示的检查信息,将RH2确定为针对姿势(F)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH2的像素的像素值的总和PH。

在步骤S409中,统计量计算部10计算PV与PH之和PF。

在步骤S410中,判定部11对PF的值和基准值THF的值进行比较。在PF的值为基准值THF以上的情况下,处理进入到步骤S411。在PF的值小于基准值THF的情况下,处理进入到步骤S412。

在步骤S411中,判定部11判定为当前时刻的姿势是坐在床尾(F)。

在步骤S412中,检查区域确定部9参照图9所示的检查信息,将RV2确定为针对姿势(C)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV2的像素的像素值的总和PV。

在步骤S413中,检查区域确定部9参照图9所示的检查信息,将RH2确定为针对姿势(C)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH2的像素的像素值的总和PH。

在步骤S414中,统计量计算部10计算PV与PH之和PC。

在步骤S415中,判定部11对PC的值和基准值THC的值进行比较。在PC的值为基准值THC以上的情况下,处理进入到步骤S416。在PC的值小于基准值THC的情况下,处理进入到步骤S417。

在步骤S416中,判定部11判定为当前时刻的姿势是站在床边(C)。

在步骤S417中,检查区域确定部9参照图9所示的检查信息,将RV2确定为针对姿势(Y1)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV2的像素的像素值的总和PV。

在步骤S418中,检查区域确定部9参照图9所示的检查信息,将RH6确定为针对姿势(Y1)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH6的像素的像素值的总和PH。

在步骤S419中,统计量计算部10计算PV与PH之和PY1。

在步骤S420中,判定部11对PY1的值和基准值THY1的值进行比较。在PY1的值为基准值THY1以上的情况下,处理进入到步骤S421。在PY1的值小于基准值THY1的情况下,处理进入到步骤S422。

在步骤S421中,判定部11判定为当前时刻的姿势是从床上滚落(第1形式)(Y1)。

在步骤S422中,判定部11判定为当前时刻的姿势不是姿势(E)、姿势(F)、姿势(C)和姿势(Y1),而是作为余下的候选的之前时刻的姿势(D)。

(从姿势E起的转变)

图14是表示用于判定从姿势(E)起的转变目标的步骤的流程图。

在步骤S500中,在之前时刻的姿势是坐在床上(E)的情况下,处理进入到步骤S501。

在步骤S501中,候选确定部8通过参照图8所示的序列信息,将姿势(D)、姿势(F)、姿势(C)、姿势(Y1)和姿势(E)确定为从姿势(E)起的转变目标的候选。

在步骤S502中,检查区域确定部9参照图9所示的检查信息,将RV3确定为针对姿势(D)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV3的像素的像素值的总和PV。

在步骤S503中,检查区域确定部9参照图9所示的检查信息,将RH4确定为针对姿势(D)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH4的像素的像素值的总和PH。

在步骤S504中,统计量计算部10计算PV与PH之和PD。

在步骤S505中,判定部11对PD的值和基准值THD的值进行比较。在PD的值为基准值THD以上的情况下,处理进入到步骤S506。在PD的值小于基准值THD的情况下,处理进入到步骤S507。

在步骤S506中,判定部11判定为当前时刻的姿势是躺在床上(D)。

在步骤S507中,检查区域确定部9参照图9所示的检查信息,将RV3确定为针对姿势(F)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV3的像素的像素值的总和PV。

在步骤S508中,检查区域确定部9参照图9所示的检查信息,将RH2确定为针对姿势(F)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH2的像素的像素值的总和PH。

在步骤S509中,统计量计算部10计算PV与PH之和PF。

在步骤S510中,判定部11对PF的值和基准值THF的值进行比较。在PF的值为基准值THF以上的情况下,处理进入到步骤S511。在PF的值小于基准值THF的情况下,处理进入到步骤S512。

在步骤S511中,判定部11判定为当前时刻的姿势是坐在床尾(F)。

在步骤S512中,检查区域确定部9参照图9所示的检查信息,将RV2确定为针对姿势(C)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV2的像素的像素值的总和PV。

在步骤S513中,检查区域确定部9参照图9所示的检查信息,将RH2确定为针对姿势(C)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH2的像素的像素值的总和PH。

在步骤S514中,统计量计算部10计算PV与PH之和PC。

在步骤S515中,判定部11对PC的值和基准值THC的值进行比较。在PC的值为基准值THC以上的情况下,处理进入到步骤S516。在PC的值小于基准值THC的情况下,处理进入到步骤S517。

在步骤S516中,判定部11判定为当前时刻的姿势是站在床边(C)。

在步骤S517中,检查区域确定部9参照图9所示的检查信息,将RV2确定为针对姿势(Y1)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV2的像素的像素值的总和PV。

在步骤S518中,检查区域确定部9参照图9所示的检查信息,将RH6确定为针对姿势(Y1)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH6的像素的像素值的总和PH。

在步骤S519中,统计量计算部10计算PV与PH之和PY1。

在步骤S520中,判定部11对PY1的值和基准值THY1的值进行比较。在PY1的值为基准值THY1以上的情况下,处理进入到步骤S521。在PY1的值小于基准值THY1的情况下,处理进入到步骤S522。

在步骤S521中,判定部11判定为当前时刻的姿势是从床上滚落(第1形式)(Y1)。

在步骤S522中,判定部11判定为当前时刻的姿势不是姿势(D)、姿势(F)、姿势(C)和姿势(Y1),而是作为余下的候选的之前时刻的姿势(E)。

(从姿势F起的转变)

图15是表示用于判定从姿势(F)起的转变目标的步骤的流程图。

在步骤S600中,在之前时刻的姿势是坐在床尾(F)的情况下,处理进入到步骤S601。

在步骤S601中,候选确定部8通过参照图8所示的序列信息,将姿势(D)、姿势(E)、姿势(C)、姿势(Y2)和姿势(F)确定为从姿势(F)起的转变目标的候选。

在步骤S602中,检查区域确定部9参照图9所示的检查信息,将RV3确定为针对姿势(D)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV3的像素的像素值的总和PV。

在步骤S603中,检查区域确定部9参照图9所示的检查信息,将RV4确定为针对姿势(D)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH4的像素的像素值的总和PH。

在步骤S604中,统计量计算部10计算PV与PH之和PD。

在步骤S605中,判定部11对PD的值和基准值THD的值进行比较。在PD的值为基准值THD以上的情况下,处理进入到步骤S606。在PD的值小于基准值THD的情况下,处理进入到步骤S607。

在步骤S606中,判定部11判定为当前时刻的姿势是躺在床上(D)。

在步骤S607中,检查区域确定部9参照图9所示的检查信息,将RV3确定为针对姿势(E)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV3的像素的像素值的总和PV。

在步骤S608中,检查区域确定部9参照图9所示的检查信息,将RH3确定为针对姿势(E)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH2的像素的像素值的总和PH。

在步骤S609中,统计量计算部10计算PV与PH之和PE。

在步骤S610中,判定部11对PE的值和基准值THE的值进行比较。在PE的值为基准值THE以上的情况下,处理进入到步骤S611。在PE的值小于基准值THE的情况下,处理进入到步骤S612。

在步骤S611中,判定部11判定为当前时刻的姿势是坐在床上(E)。

在步骤S612中,检查区域确定部9参照图9所示的检查信息,将RV2确定为针对姿势(C)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV2的像素的像素值的总和PV。

在步骤S613中,检查区域确定部9参照图9所示的检查信息,将RH2确定为针对姿势(C)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH2的像素的像素值的总和PH。

在步骤S614中,统计量计算部10计算PV与PH之和PC。

在步骤S615中,判定部11对PC的值和基准值THC的值进行比较。在PC的值为基准值THC以上的情况下,处理进入到步骤S616。在PC的值小于基准值THC的情况下,处理进入到步骤S617。

在步骤S616中,判定部11判定为当前时刻的姿势是站在床边(C)。

在步骤S617中,检查区域确定部9参照图9所示的检查信息,将RV2确定为针对姿势(Y2)的第1图像数据的检查区域。统计量计算部10计算第1图像数据的区域RV2的像素的像素值的总和PV。

在步骤S618中,检查区域确定部9参照图9所示的检查信息,将RH6确定为针对姿势(Y2)的第2图像数据的检查区域。统计量计算部10计算第2图像数据的区域RH6的像素的像素值的总和PH。

在步骤S619中,统计量计算部10计算PV与PH之和PY2。

在步骤S620中,判定部11对PY2的值和基准值THY2的值进行比较。在PY2的值为基准值THY2以上的情况下,处理进入到步骤S621。在PY2的值小于基准值THY2的情况下,处理进入到步骤S622。

在步骤S621中,判定部11判定为当前时刻的姿势是从床上滚落(第2形式)(Y2)。

在步骤S622中,判定部11判定为当前时刻的姿势不是姿势(D)、姿势(E)、姿势(C)和姿势(Y2),而是作为余下的候选的之前时刻的姿势(F)。

如上所述,根据本实施方式,由于通过仅求出检查区域的像素值之和的处理来检查人体的存在,所以无需如专利文献1所记载那样地进行确定人体的区域的图像处理。其结果,在本实施方式中,计算处理量较少且能够实时地估计人体的姿势。此外,根据本实施方式,通过使用姿势的转变模型,不仅能够估计如专利文献1记载的从床上起床,还能够估计更多的姿势。

(变形例)

本发明不限于上述实施方式,例如还包含以下这样的变形例。

(1)统计量

在本发明的实施方式中,使用检查区域的像素值的总和作为统计量,但是不限于此。例如,可以使用检查区域的像素值的平均、方差作为统计量。

或者,可以将标准的图像数据的像素值或者前1帧的图像数据的像素值与当前时刻的图像数据的像素值相减,使用相减后的值的总和、平均值或者方差作为统计量。由此,姿势刚刚变化以后的统计量增大,还能够检测姿势刚刚变化以后的定时。

此外,可以将规定的像素值以上的像素(即,拍摄对象为规定的温度以上)的总和用作统计量。在该情况下,由于成为像素值的规定的比特以上的比特值的相加,所以能够进一步减少计算量。

此外,也可以是,不根据检查区域内的全部像素的值来计算统计量,而根据从检查区域中随机采样的像素的值来计算统计量,由此削减计算量。

(2)判定部

在本发明的实施方式中,对于当前时刻的姿势的候选,计算第1图像数据的检查区域的统计量和第2图像数据的检查区域的统计量之和,在该和为基准值以上时,将该候选估计为当前时刻的姿势,但是不限于此。

例如,也可以是,在第1图像数据的检查区域的统计量为第1基准值以上且第2图像数据的检查区域的统计量为第2基准值以上的情况下,将该候选估计为当前时刻的姿势。

(3)图像传感器的个数

在本发明的实施方式中,使用2台图像传感器来估计了人体的姿势,但是还能够使用1台图像传感器来估计人体的姿势。

例如,可以仅使用从上方图像传感器获得的图像数据来估计从床的滚落。或者,可以仅使用从侧方图像传感器获得的图像数据来估计床上的姿势变化。

(4)图像传感器

在本发明的实施方式中,对于上方图像传感器和侧方图像传感器,设为由红外线阵列传感器构成来进行了说明,但是也可以由可视照相机等其他传感器构成。

(5)姿势

在本发明的实施方式中,估计了人体相对于床的姿势,但是不限于此。例如,也可以估计人体相对于椅子或者轮椅的姿势。

(6)判定方法

在本发明的实施方式中,从当前时刻的多个姿势的候选中按顺序地每次选择一个候选,对于选择出的候选,在统计量为基准值以上时,将选择出的候选估计为当前时刻的姿势,但是不限于此。

例如,也可以是,针对当前时刻的多个姿势的全部候选计算统计量,依照预先确定的基准从计算出的多个统计量中确定最佳的统计量,将最佳的统计量的候选估计为当前时刻的姿势。

应该认为此次公开的实施方式在所有方面都是例示的而不是限制性的。本发明的范围不通过上述说明而通过权利要求来表示,是指包含与权利要求同等的意思和范围内的所有变更。

标号说明

1:姿势估计系统;2:上方图像传感器;3:侧方图像传感器;4:姿势估计装置;5:姿势估计部;6:存储部;7:显示部;8:候选确定部;9:检查区域确定部;10:统计量计算部;11:判定部;12:转变模型信息存储部;13:检查信息存储部。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号