首页> 中国专利> 位置矫正信息收集装置、位置矫正信息收集方法及位置矫正信息收集程序

位置矫正信息收集装置、位置矫正信息收集方法及位置矫正信息收集程序

摘要

一种位置矫正信息收集装置、位置矫正信息收集方法及位置矫正信息收集程序,其中,用观测装置(101)检测出人(204),将人的检测历史存储在人检测历史数据库(102)中,用初次检测位置推断单元(103)对人最初被检测到的位置进行推断,并存储在初次检测位置历史数据库(104)中,用出入口位置推断手段(105)对房间(201)的门(205)的在本地坐标的位置进行推断,根据本地坐标和整体坐标中的门位置,用位置矫正信息算出手段(106)算出观测装置的位置的矫正信息。

著录项

  • 公开/公告号CN102265112A

    专利类型发明专利

  • 公开/公告日2011-11-30

    原文格式PDF

  • 申请/专利权人 松下电器产业株式会社;

    申请/专利号CN201080003736.4

  • 发明设计人 谷川彻;山上胜义;

    申请日2010-09-02

  • 分类号G01B11/00;G01S5/02;H04N7/18;

  • 代理机构中科专利商标代理有限责任公司;

  • 代理人刘建

  • 地址 日本大阪府

  • 入库时间 2023-12-18 03:55:54

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2014-07-02

    授权

    授权

  • 2012-09-05

    实质审查的生效 IPC(主分类):G01B11/00 申请日:20100902

    实质审查的生效

  • 2011-11-30

    公开

    公开

说明书

技术领域

本发明涉及可以在不使用预先准备的标记的情况下进行有关观测装 置的位置的矫正的位置矫正信息收集装置、位置矫正信息收集方法及位置 矫正信息收集程序。

背景技术

作为对人进行监控的观测装置,会使用摄像头、或最近的超宽频带无 线[UWB(Ultra Wide Band)]标签(tag)等。通常,在利用这些观测装置 的情况下,需要预先进行观测装置的位置的矫正。对于观测装置的位置的 矫正,通常使用人工作成的标记。作为标签(特征)阅读器的标记的例子, 有存储了位置信息的位置标签。另外,作为摄像头的标记的例子,有存储 了位置信息的二维条形码等。在使用标签阅读器和摄像头的任意标记的情 况下,会发生所谓存储位置信息、在该位置设置标记的劳动。

与此相对,有不使用人工标记而使用环境中存在的已知物体来推断机 器人的自己位置的技术(专利文献1)。

【现有技术文献】

专利文献1:日本特开2004-30445号公报

但是,专利文献1的技术需要使机器人预先学习已知的物体的三维形 状,虽不是人工设置标记,但将已知的物体代用作标记。另外,专利文献 1的技术是无法在不能识别三维形状的UWB标签中应用的技术。

发明内容

因此,本发明的目的在于提供一种可以不使用标记进行与对人加以监 控的观测装置的位置有关的矫正的位置矫正信息收集装置、位置矫正信息 收集方法及位置矫正信息收集程序。

【用于解决课题的手段】

为了实现上述目的,本发明如下所示构成。

根据本发明的第一方式,提供一种位置矫正信息收集装置,其特征在 于,具备:

观测装置,其分别获得在具有出入口的环境内存在的人的特征信息、 上述环境的本地坐标空间中检测出上述人的位置的本地坐标、和检测出上 述人的时刻作为观测信息;

初次检测位置推断单元,其根据由上述观测装置观测到的、上述人的 上述特征信息、上述本地坐标和上述时刻,对上述本地坐标空间内最初检 测出上述人的位置进行推断;

出入口位置推断单元,其根据由上述初次检测位置推断单元推断的、 上述本地坐标空间内最初检测出上述人的位置,对上述本地坐标空间中的 上述出入口的出入口位置的本地坐标进行推断;和

位置矫正信息算出单元,其根据上述环境的整体空间中的上述出入口 的出入口位置的整体坐标和通过上述出入口位置推断单元推断的上述出 入口位置的上述本地坐标,对上述观测装置的位置算出用于进行矫正的位 置矫正信息。

根据本发明的第九方式,提供一种位置矫正装置,其特征在于,具备:

第一~第八中任一方式记载的上述位置矫正信息收集装置;和

矫正单元,其根据上述位置矫正信息进行与上述观测装置的位置有关 的矫正,上述位置矫正信息是通过上述位置矫正信息收集装置的上述位置 矫正信息算出装置,根据在上述整体空间设置的上述出入口的出入口位置 的整体坐标和上述出入口位置的本地坐标而算出的。

根据本发明的第十方式,提供一种位置矫正信息收集装置,其具备:

观测装置,其分别获得在具有出入口的环境内存在的人的特征信息、 上述环境的本地坐标空间中检测出上述人的位置的本地坐标、和检测出上 述人的时刻作为观测信息;

末次检测位置推断单元,其根据由上述观测装置观测到的、上述人的 上述特征信息、上述本地坐标和上述时刻,对上述本地坐标空间内最后检 测出上述人的位置进行推断;

出入口位置推断单元,其根据由上述末次检测位置推断单元推断的、 上述本地坐标空间内最后检测出上述人的位置,对上述本地坐标空间中的 上述出入口的出入口位置的本地坐标进行推断;和

位置矫正信息算出单元,其根据上述环境的整体空间中的上述出入口 的出入口位置的整体坐标和通过上述出入口位置推断单元推断的上述出 入口位置的上述本地坐标,对上述观测装置的位置算出用于进行矫正的位 置矫正信息。

根据本发明的第十一方式,提供一种位置矫正信息收集方法,其特征 在于,

利用观测装置分别获得在具有出入口的环境内存在的人的特征信息、 上述环境的本地坐标空间中检测出上述人的位置的本地坐标、和检测出上 述人的时刻作为观测信息;

利用初次检测位置推断单元,根据由上述观测装置观测到的、上述人 的上述特征信息、上述本地坐标和上述时刻,对上述本地坐标空间内最初 检测出上述人的位置进行推断;

利用出入口位置推断单元,根据由上述初次检测位置推断单元推断 的、上述本地坐标空间内最初检测出上述人的位置,对上述本地坐标空间 中的上述出入口的出入口位置的本地坐标进行推断;和

利用位置矫正信息算出单元,根据上述环境的整体空间中的上述出入 口的出入口位置的整体坐标和通过上述出入口位置推断单元推断的上述 出入口位置的上述本地坐标,对上述观测装置的位置算出用于进行矫正的 位置矫正信息。

根据本发明的第十二方式,提供一种位置矫正信息收集程序,用于使 计算机实现如下的功能:

利用观测装置分别获得在具有出入口的环境内存在的人的特征信息、 上述环境的本地坐标空间中检测出上述人的位置的本地坐标、和检测出上 述人的时刻作为观测信息的功能;

利用初次检测位置推断单元,根据由上述观测装置观测到的、上述人 的上述特征信息、上述本地坐标和上述时刻,对上述本地坐标空间内最初 检测出上述人的位置进行推断的功能;

利用出入口位置推断单元,根据由上述初次检测位置推断单元推断 的、上述本地坐标空间内最初检测出上述人的位置,对上述本地坐标空间 中的上述出入口的出入口位置的本地坐标进行推断的功能;和

利用位置矫正信息算出单元,根据上述环境的整体空间中的上述出入 口的出入口位置的整体坐标和通过上述出入口位置推断单元推断的上述 出入口位置的上述本地坐标,对上述观测装置的位置算出用于进行矫正的 位置矫正信息的功能。

【发明效果】

根据本发明,可以将最初检测出人的位置或者最后检测出人的位置, 推断为向封闭的环境的出入口的位置,可以确定整体坐标系中的绝对位 置。为此,可以在不使用标记的情况下,通过对人进行检测来算出与观测 装置的位置有关的矫正信息。

附图说明

本发明的这些和其它目的和特征,由有关附图的优选实施方式的下列 记述而明确。其附图如下所示:

图1是表示根据本发明的第一实施方式涉及的位置矫正信息收集装 置的构成的框图;

图2是对本发明的上述第一实施方式涉及的上述位置矫正信息收集 装置中作为观测对象的生活空间如房间进行说明的图;

图3A是表示在根据本发明的第一实施方式涉及的位置矫正信息收集 装置的人检测历史数据库中存储的、利用摄像头对人的检测历史的信息的 例子的图;

图3B是表示在根据本发明的第一实施方式涉及的位置矫正信息收集 装置的人检测历史数据库中存储的、利用超宽带(Ultra Wide Band)标签 阅读器对人的检测历史的信息的例子的图;

图4A是表示在根据本发明的第一实施方式涉及的位置矫正信息收集 装置的初次检测位置历史数据库中存储的、利用摄像头对人的初次检测历 史的信息的例子的图;

图4B是表示在根据本发明的第一实施方式涉及的位置矫正信息收集 装置的初次检测位置历史数据库中存储的、利用超宽带标签阅读器对人的 初次检测历史的信息的例子的图;

图5是表示根据本发明的第一实施方式涉及的位置矫正信息收集装 置的环境映像的例子的图;

图6A是表示在根据本发明的第一实施方式涉及的位置矫正信息收集 装置的初次检测位置历史数据库中存储的、利用摄像头对人的初次检测历 史的信息的例子的图;

图6B是表示将在根据本发明的第一实施方式涉及的位置矫正信息收 集装置的初次检测位置历史数据库中存储的、利用摄像头对人的初次检测 历史的信息进行分组的例子的图;

图6C是表示根据本发明的第一实施方式涉及的位置矫正信息收集装 置的出入口位置推断单元的推断例的图;

图7A是表示在根据本发明的第一实施方式涉及的位置矫正信息收集 装置的人检测历史数据库中存储的、利用摄像头对人的检测历史的信息的 例子的图;

图7B是表示使在根据本发明的第一实施方式涉及的位置矫正信息收 集装置的人检测历史数据库中存储的、利用摄像头对人的检测位置粗大化 的例子的图;

图8是表示根据本发明的第一实施方式涉及的位置矫正信息收集装 置的全体处理的流程图;

图9是表示根据本发明的第一实施方式涉及的位置矫正信息收集装 置中的标签阅读器的位置检测方法的例子的图;

图10是表示根据本发明的第一实施方式涉及的位置矫正信息收集装 置的构成的框图;

图11是表示根据本发明的第一实施方式涉及的位置矫正信息收集装 置的利用人的停留位置和不可侵入的位置的矫正参数获得处理的流程图;

图12是表示根据本发明的第一实施方式涉及的位置矫正信息收集装 置的初次检测位置提取处理的流程图;

图13是表示根据本发明的第一实施方式的变形例涉及的位置矫正信 息收集装置的构成的框图;

图14是表示根据本发明的第一实施方式的其他变形例涉及的位置矫 正信息收集装置的构成的框图;

图15是表示根据本发明的第二实施方式涉及的位置矫正信息收集装 置的构成的框图;

图16A是表示在根据本发明的第二实施方式涉及的位置矫正信息收 集装置中摄像头最后检测出人时的末次检测位置历史数据库的一例的图;

图16B是表示在根据本发明的第二实施方式涉及的位置矫正信息收 集装置中标签阅读器最后检测出人时的末次检测位置历史数据库的一例 的图;

图17是表示根据本发明的第二实施方式涉及的位置矫正信息收集装 置的末次检测位置获得处理的流程图。

具体实施方式

以下,根据附图对本发明涉及的实施方式进行详细说明。

以下,在参照附图对本发明中的实施方式进行详细说明之前,对本发 明的各种方式进行说明。

根据本发明的第一方式,提供一种位置矫正信息收集装置,其特征在 于,具备:

观测装置,其分别获得在具有出入口的环境内存在的人的特征信息、 上述环境的本地坐标空间中检测出上述人的位置的本地坐标和检测出上 述人的时刻作为观测信息;

初次检测位置推断单元,其根据由上述观测装置观测到的、上述人的 上述特征信息、上述本地坐标和上述时刻,对上述本地坐标空间内最初检 测出上述人的位置进行推断;

出入口位置推断单元,其根据由上述初次检测位置推断单元推断的、 上述本地坐标空间内最初检测出上述人的位置,对上述本地坐标空间中的 上述出入口的出入口位置的本地坐标进行推断;和

位置矫正信息算出单元,其根据上述环境的整体空间中的上述出入口 的出入口位置的整体坐标和通过上述出入口位置推断单元推断的上述出 入口位置的上述本地坐标,对上述观测装置的位置算出用于进行矫正的位 置矫正信息。

根据本发明的第二方式,是在第一方式记载的位置矫正信息收集装置 中,还具备:人检测历史数据库,其对由上述观测装置分别获得的上述观 测信息的上述人的上述特征信息、上述人的上述本地坐标和检测出上述人 的上述时刻进行存储;和

初次检测位置历史数据库,其根据在上述人检测历史数据库中存储的 信息,通过上述初次检测位置推断单元将上述本地坐标空间内最初检测出 上述人的位置作为初次检测位置信息,连同检测出上述人的时刻一起加以 存储;

上述初次检测位置推断单元,对于由上述观测装置获得且检测出上述 人的上述观测信息的每个,参照上述人检测历史数据库,判断在上述观测 信息的检测出上述人的时刻至之前规定时刻的期间,存储有和上述观测信 息相同特征信息的其他观测信息是否存储在上述人检测历史数据库中,在 存储有相同特征信息的其他观测信息未存储在上述人检测历史数据库中 的情况下,将该观测信息的检测出上述人的位置推断为最初检测出上述人 的位置,存储在上述初次检测位置历史数据库中。

根据本发明的第三方式,是在第一或者第二方式记载的位置矫正信息 收集装置中,上述出入口位置推断单元,在上述本地坐标空间内最初检测 出上述人的位置附近,参照上述出入口的自动门识别信息,推断作为上述 本地坐标空间中的出入口位置的本地坐标。

根据本发明的第四方式,是在第一~第三中任一方式记载的位置矫正 信息收集装置中,还具备:存储有上述环境的整体空间中的上述出入口的 出入口位置的整体坐标的环境映像存储单元,

上述位置矫正信息算出单元,利用在上述环境映像存储单元中存储的 上述整体空间中的上述出入口的上述出入口位置的整体坐标,根据上述出 入口位置的整体坐标和上述出入口位置的本地坐标,算出用于进行与上述 观测装置的位置有关的矫正的上述位置矫正信息。

根据本发明的第五方式,是在第一~第四中任一方式记载的位置矫正 信息收集装置中,在上述环境映像存储单元中,存储对上述整体空间中的 上述出入口的门是自动打开的出入口或门是手动打开的出入口进行识别 的自动门识别信息,

上述位置矫正信息算出单元,根据在上述环境映像存储单元中存储的 上述自动门识别信息,将上述本地坐标中的出入口的门和上述整体坐标中 的出入口的门建立对应而算出上述位置矫正信息。

根据本发明的第六方式,是在第五方式记载的位置矫正信息收集装置 中,上述初次检测位置推断单元,

在根据上述自动门识别信息判断为上述出入口的上述门是自动打开 的出入口的、上述出入口的上述出入口位置的本地坐标,作为最初检测出 上述人的位置而有多个时,将最初检测出上述人的多个位置中位于距离上 述环境的中心坐标最远的坐标的位置,决定为上述出入口的上述出入口位 置的本地坐标,

另一方面,在根据上述自动门识别信息判断为上述出入口的上述门是 手动打开的出入口的、上述出入口的上述出入口位置的本地坐标,作为最 初检测出上述人的位置而有多个时,将最初检测出上述人的多个位置的重 心位置,决定为上述出入口的上述出入口位置的本地坐标。

根据本发明的第七方式,是在第四方式记载的位置矫正信息收集装置 中,其特征在于,还具备:人检测历史数据库,其对由上述观测装置分别 获得的上述观测信息的上述人的上述特征信息、上述人的上述本地坐标和 检测出上述人的上述时刻进行存储;和

初次检测位置历史数据库,其根据在上述人检测历史数据库中存储的 信息,通过上述初次检测位置推断单元将上述本地坐标空间内最初检测出 上述人的位置作为初次检测位置信息,连同检测出上述人的时刻一起加以 存储;

进而在上述环境映像存储单元中存储有与上述整体空间内且上述人 容易停留的位置有关的信息,

上述出入口位置推断单元,进而根据在上述人检测历史数据库中存储 的上述人的特征信息、上述人的本地坐标和检测出上述人的时刻,对上述 本地坐标空间内上述人容易停留的位置进行推断,

上述初次检测位置历史数据库,通过上述初次检测位置推断单元将上 述本地坐标空间内上述人容易停留的位置连同检测出上述人的时刻一起 加以存储,

上述出入口位置推断单元,根据在上述初次检测位置历史数据库中存 储的上述本地坐标空间内上述人容易停留的位置,对上述本地坐标空间中 的上述人容易停留的位置的本地坐标进行推断,

上述位置矫正信息算出单元,根据上述人容易停留的位置的整体坐标 和通过上述出入口位置推断单元推断的上述人容易停留的位置的本地坐 标,算出用于进行与上述观测装置的位置有关的矫正的上述位置矫正信 息。

根据本发明的第八方式,是在第四方式记载的位置矫正信息收集装置 中,其特征在于,还具备:人检测历史数据库,其对由上述观测装置分别 获得的上述观测信息的上述人的上述特征信息、上述人的上述本地坐标和 检测出上述人的上述时刻进行存储;和

初次检测位置历史数据库,其根据在上述人检测历史数据库中存储的 信息,通过上述初次检测位置推断单元将上述本地坐标空间内最初检测出 上述人的位置作为初次检测位置信息,连同检测出上述人的时刻一起加以 存储;

进而在上述环境映像存储单元中存储有与上述人无法侵入的位置有 关的信息,

上述出入口位置推断单元,进而根据在上述人检测历史数据库中存储 的上述人的特征信息、上述人的本地坐标和检测出上述人的时刻,对上述 本地坐标空间内上述人无法侵入的位置进行推断,

上述初次检测位置历史数据库,通过上述初次检测位置推断单元将上 述本地坐标空间内上述人无法侵入的位置连同检测出上述人的时刻一起 加以存储,

上述出入口位置推断单元,根据在上述初次检测位置历史数据库中存 储的上述本地坐标空间内上述人无法侵入的位置,对上述本地坐标空间中 的上述人无法侵入的位置的本地坐标进行推断,

上述位置矫正信息算出单元,根据上述人容易停留的位置的整体坐标 和通过上述出入口位置推断单元推断的上述人无法侵入的位置的本地坐 标,算出用于进行与上述观测装置的位置有关的矫正的上述位置矫正信 息。

根据本发明的第九方式,提供一种位置矫正装置,其特征在于,具备:

第一~第八中任一方式记载的上述位置矫正信息收集装置;和

矫正单元,其根据上述位置矫正信息进行与上述观测装置的位置有关 的矫正,上述位置矫正信息是通过上述位置矫正信息收集装置的上述位置 矫正信息算出装置,根据在上述整体空间设置的上述出入口的出入口位置 的整体坐标和上述出入口位置的本地坐标而算出的。

根据本发明的第十方式,提供一种位置矫正信息收集装置,其具备:

观测装置,其分别获得在具有出入口的环境内存在的人的特征信息、 上述环境的本地坐标空间中检测出上述人的位置的本地坐标、和检测出上 述人的时刻作为观测信息;

末次检测位置推断单元,其根据由上述观测装置观测到的、上述人的 上述特征信息、上述本地坐标和上述时刻,对上述本地坐标空间内最后检 测出上述人的位置进行推断;

出入口位置推断单元,其根据由上述末次检测位置推断单元推断的、 上述本地坐标空间内最后检测出上述人的位置,对上述本地坐标空间中的 上述出入口的出入口位置的本地坐标进行推断;和

位置矫正信息算出单元,其根据上述环境的整体空间中的上述出入口 的出入口位置的整体坐标和通过上述出入口位置推断单元推断的上述出 入口位置的上述本地坐标,输出用于上述观测装置的位置的矫正的位置矫 正信息。

根据本发明的第十一方式,提供一种位置矫正信息收集方法,其特征 在于,

用观测装置分别获得在具有出入口的环境内存在的人的特征信息、上 述环境的本地坐标空间中检测出上述人的位置的本地坐标、和检测出上述 人的时刻作为观测信息;

用初次检测位置推断单元,根据由上述观测装置观测到的、上述人的 上述特征信息、上述本地坐标和上述时刻,对上述本地坐标空间内最初检 测出上述人的位置进行推断;

用出入口位置推断单元,根据由上述初次检测位置推断单元推断的、 上述本地坐标空间内最初检测出上述人的位置,对上述本地坐标空间中的 上述出入口的出入口位置的本地坐标进行推断;和

用位置矫正信息算出单元,根据上述环境的整体空间中的上述出入口 的出入口位置的整体坐标和通过上述出入口位置推断单元推断的上述出 入口位置的上述本地坐标,输出用于上述观测装置的位置的矫正的位置矫 正信息。

根据本发明的第十二方式,提供一种位置矫正信息收集程序,用于使 计算机实现如下的功能,即

用观测装置分别获得在具有出入口的环境内存在的人的特征信息、上 述环境的本地坐标空间中检测出上述人的位置的本地坐标、和检测出上述 人的时刻作为观测信息的功能;

用初次检测位置推断单元,根据由上述观测装置观测到的、上述人的 上述特征信息、上述本地坐标和上述时刻,对上述本地坐标空间内最初检 测出上述人的位置进行推断的功能;

用出入口位置推断单元,根据由上述初次检测位置推断单元推断的、 上述本地坐标空间内最初检测出上述人的位置,对上述本地坐标空间中的 上述出入口的出入口位置的本地坐标进行推断的功能;和

用位置矫正信息算出单元,根据上述环境的整体空间中的上述出入口 的出入口位置的整体坐标和通过上述出入口位置推断单元推断的上述出 入口位置的上述本地坐标,输出用于上述观测装置的位置的矫正的位置矫 正信息的功能。

以下,使用附图对本发明的实施方式进行说明,但在继续本发明的记 述之前,对附图中的相同部件附上相同的参考符号。

(第一实施方式)

<位置矫正信息收集装置的构成的说明>

图1是表示根据本发明的第一实施方式涉及的位置矫正信息收集装 置的构成的图。

本发明的第一实施方式涉及的位置矫正信息收集装置,具备:观测装 置101、作为人检测历史存储单元的一例的人检测历史数据库102、初次 检测位置推断单元(初次检测位置推断部)103、作为初次检测位置历史 存储单元的一例的初次检测位置历史数据库104、出入口位置推断单元 (出入口位置推断部)105、作为算出位置矫正信息的位置矫正信息算出 单元的一例的矫正参数获得单元(矫正参数获得部)106、作为环境映像 存储单元的一例的环境映像数据库107。

需要说明的是,出入口位置推断单元105和矫正参数获得单元106, 分别具备用于从环境映像数据库107读入信息的构成信息参照单元105a、 106a。

另外,图2中示出作为生活环境的具体例的房间201。房间201具备: 摄像头202和UWB(Ultra Wide Band)(超宽带无线)标签阅读器系统 203(以后记为标签阅读器203)。该摄像头202和UWB标签阅读器系统 203,是作为本发明的第一实施方式涉及的上述位置矫正信息收集装置的 构成要素即观测装置101的一例。在长方体的房间201的四方形顶棚201d 的中央附近,设置有朝向正下方的摄像头202和标签阅读器203。在房间 201内有人204存在,其出入房间201。需要说明的是,对出入房间201 的人数没有限制,将任何一人以人204为代表加以说明。进而,人204 坐的椅子206、和人204无法侵入其配置区域内的桌子207存在于地板 201f上。另外,作为向封闭环境如房间201内的出入口的例子,设置有 门205A、门205B、门205C。以后,将房间201内的门205A、门205B 和门205C中的任意门以门205作为代表加以说明。作为一例,在房间201 的对向的一对墙壁201v、201w上分别配置有门205A和门205C,在连结 一对墙壁201a、201c的墙壁201b上配置有门205B。

需要说明的是,房间201内设置有摄像头202和标签阅读器203两种 观测装置,即便在仅设置任何一方的观测装置101的情况下,也可以应用 本发明。

以下,边对应图8的流程图,边使用图1和图2对各构成要素进行说 明。需要说明的是,图8是表示上述位置矫正信息收集装置的全体处理(位 置矫正信息收集处理)的流程图。

<观测装置的说明>

观测装置101在每个规定的观测周期(例如1秒~2秒的任意时间或 者100ms)对房间201内进行观测,检测出在房间201内存在的人204。 观测装置101将检测结果存储在人检测历史数据库102中。在由观测装置 101检测出人204时,观测装置101获得检测出的人204的特征信息(表 示示出是人的特征(特征量)的信息)和本地坐标(局部坐标)。此外, 观测装置101将检测出的人204的特征信息和本地坐标,连同检测出人 204的时刻一起存储在人检测历史数据库102中。由此,人204和检测出 人204的时刻被建立对应,存储在人检测历史数据库102中。在这里,本 地坐标是指由观测装置101检测出的、表示人204在房间201内的位置的 位置坐标(例如XY坐标)。因此,本地坐标中包含依赖于观测装置101 的设置位置且观测装置101相对于作为后述的房间201的绝对坐标的整体 坐标(全局坐标)的配置位置误差。为此,如后所述,位置的矫正成为必 需。

在观测装置101使用了摄像头202的情况下,本地坐标的原点位置可 以为由摄像头202拍摄的图像的左上角的像素。

另外,在观测装置101使用了标签阅读器203的情况下,本地坐标的 原点位置可以为与标签阅读器203连接的多个基站中的任何基站的位置。

首先,作为观测装置101的一例,对观测装置101使用摄像头202 的情况进行说明。摄像头202具备:对人204进行检测的拍摄部202a、 和对图像数据进行图像处理的图像处理部202b。

为了使用摄像头202对人204进行检测,需要用摄像头202内具备的 图像处理部202b对由摄像头202获得的图像数据进行图像处理。作为这 样的图像处理的方法,例如可以使用背景差分法。用图像处理部202b对 预先用摄像头202拍摄而准备的没有人204存在时的房间201的背景图像 数据、和用摄像头202拍摄的当前的图像数据加以比较。然后,用图像处 理部202b取出像素值不同的区域作为差分区域。不过,图像数据中有可 能混有噪声,所以在通过图像处理部202b能判断上述差分区域相对于人 204而言足够小的情况下,可以通过图像处理部202b判断为上述差分区 域不是人204。在这里,差分区域相对于人204而言足够小的情况,是指 上述差分区域的像素数为以能辨识为人204的最低像素数为基础预先设 定的阈值以下的情况。需要说明的是,检测出的人204的本地坐标可以通 过图像处理部202b为例如上述差分区域的重心位置。

以上是图8的流程图中的步骤S801的处理。即,在步骤S801中, 在由图像处理部202b判断为使用摄像头202检测出人204的情况下,进 入下一步骤S802的处理。另一方面,在由图像处理部202b判断为使用 摄像头202未检测出人204的情况下,直到由图像处理部202b判断为已 检测出人204为止,反复步骤S801的处理。需要说明的是,根据情况, 虽具体未图示,但在由图像处理部202b判断为未检测出人204的情况下, 也可以结束上述位置矫正信息收集处理。

检测出的人204的特征信息,例如可以为上述差分区域的颜色的分 布。以下,将其称为颜色特征信息。在步骤S801中,由图像处理部202b 判断为使用摄像头202检测出人204。然后,在步骤S802中,通过图像 处理部202b,提取已辨识为人204的上述差分区域的颜色分布作为人204 的特征信息的一例。然后,进入步骤S803的处理。

另一方面,作为观测装置101的其他例,对观测装置101使用了标签 阅读器203的情况进行说明。标签阅读器203具备:对标签进行检测的标 签检测部203a、和以标签检测部203a检测出的信息为基础算出上述标签 的位置的信息处理部203b。

为了使用标签阅读器203检测出人204,需要使人204预先携带示出 为人204且示出该人的特征信息的信息(标签ID)作为ID数据(识别信 息)的标签902。

在利用标签阅读器203检测出人204所携带的标签902(标签902的 标签ID)时,检测出的人204的本地坐标例如可以使用三点测量的原理 加以决定。图9示出检测基于三点测量的标签902的位置的例子。在图9 所示的环境内,配置有作为与信息处理部203b连接的标签检测部203a 的基站901A、基站901B和基站901C。基站901A配置在本地坐标(x,y) =(500,600),基站901B配置在本地坐标(x,y)=(700,300),基站901C, 配置在本地坐标(x,y)=(300,300)。在这里,信息处理部203b知晓配 置有3个基站901A、901B、901C的本地坐标。具体而言,信息处理部 203b具有存储了3个基站901A、901B、901C的本地坐标的存储部。此 外,各基站901A、901B、901C对从各基站901A、901B、901C射出的 电波自标签902返回的时间进行计量,由此可以算出至上述标签902的距 离。在这样的状况下,标签902存在于本地坐标(x,y)=(400,400)。基 站901A知晓在以基站901A的位置为中心、以半径为223.61cm的圆弧上 有标签902存在。同样地,基站901B知晓在以基站901B的位置为中心 的半径316.23cm的圆弧上有标签902存在。基站901C知晓在以基站901C 的位置为中心的半径141.42cm的圆弧上有标签902存在。可以由信息处 理部203b判断为以上的3个圆弧全部重合的位置是标签902的存在位置。 在图9中,对二维空间中的标签位置检测进行说明。在实际空间(三维空 间)中的标签位置进行检测的情况下,仅仅是图9的圆弧成为球面,其他 处理没有变化。以上相当于图8的流程图中的步骤S801的处理。即,在 步骤S801中,在用标签阅读器203的信息处理部203b判断为使用标签 阅读器203检测出人204(检测出标签ID)的情况下,进入下一步骤S802。 另一方面,在使用标签阅读器203,标签阅读器203的信息处理部203b 判断为未检测出人204(未检测出标签ID)的情况下,直到标签阅读器 203的信息处理部203b判断为已检测出人204为止,反复步骤S801的处 理。需要说明的是,根据情况,虽具体未图示,但在用标签阅读器203 的信息处理部203b判断为未检测出人204的情况下,也可以结束上述位 置矫正信息收集处理。

检测出的人204(实际上由人204携带的上述标签902)的特征信息, 可以为例如在上述标签902中存储的ID数据(标签ID)。如此,提取作 为上述标签ID的特征信息的处理,相当于图8的流程图中的步骤S802 的处理。然后,进入步骤S803的处理。

需要说明的是,观测装置101具备用于获得检测出人204(或者标签 902的标签ID)的时刻的信息的计时器。

另外,以后,关于摄像头202和标签阅读器203的观测周期,作为一 例分别为1秒加以说明。

<人检测历史数据库的说明>

在人检测历史数据库102中,通过观测装置101存储由观测装置101 检测出人204的时刻、由观测装置101检测出的人204的特征信息、和人 204被观测装置101检测出的本地坐标。

图3A示出摄像头202检测出人204时的人检测历史数据库102的一 例。图3B示出标签阅读器203检测出人204时的人检测历史数据库102 的一例。

在图3A的人检测历史数据库102中,可以存储摄像头202检测出人 204时的时刻、本地坐标和颜色特征信息,此外还可以存储观测ID(用 于对含有时刻、本地坐标和颜色特征信息的观测信息彼此进行识别的信 息)。例如,在时刻2008/09/02_12:00:01时,在本地坐标(x,y)=(50,550) 检测出颜色特征信息为红色的人,作为观测ID=CAM_001而存储在人检 测历史数据库102中。另外,在时刻2008/09/02_12:00:04时,在本地 坐标(1050,350)检测出颜色特征信息为白色的人,作为观测ID=CAM_005 而存储在人检测历史数据库102中。在这里,可以用初次检测位置推断单 元103判断为分别在观测ID=CAM_001和观测ID=CAM_005中存储的颜 色特征信息不同。因此,可以用初次检测位置推断单元103推断在观测 ID=CAM_001检测出的人和在观测ID=CAM_005检测出的人是不同的人 物。

另一方面,在图3B的人检测历史数据库102中,可以存储标签阅读 器203检测出人204时的时刻、本地坐标和标签ID,此外还可以存储观 测ID(用于对含有时刻、本地坐标和标签ID的观测信息彼此进行识别的 信息)。例如,在时刻2008/09/02_12:00:01时,在本地坐标(0,-600) 检测出标签ID=001的人,作为观测ID=TAG_001而存储在人检测历史数 据库102中。另外,在时刻2008/09/02_12:00:04时,在本地坐标 (1000,-400)检测出标签ID=002的人,作为观测ID=TAG_005而存储在 人检测历史数据库102中。在这里,能由初次检测位置推断单元103判断 为在观测ID=TAG_001和观测ID=TAG_005中存储的标签ID是不同的。 因此,可以由初次检测位置推断单元103推断为在观测ID=TAG_001检 测出的人和在观测ID=TAG_005检测出的人是不同的人物。

以上,利用摄像头202或者标签阅读器203将由摄像头202或者标签 阅读器203提取的特征信息和本地坐标存储在人检测历史数据库102中的 处理,相当于图8的流程图中的步骤S803的处理。然后,进入步骤S804 的处理。

<初次检测位置推断单元的说明>

初次检测位置推断单元103,从在人检测历史数据库102中存储的人 204的检测历史的信息,对由观测装置101最初检测出人204的观测ID 进行推断。关于推断方法的详细内容,使用以下的初次检测位置历史数据 库104进行说明。

<初次检测位置历史数据库的说明>

在初次检测位置历史数据库104中,至少最初检测出人204的位置通 过初次检测位置推断单元103加以存储。

图4A示出摄像头202最初检测出人204时的初次检测位置历史数据 库104的一例,图4B示出标签阅读器203最初检测出人204时的例子。

在图4A的初次检测位置历史数据库104的数据中,可以通过初次检 测位置推断单元103存储摄像头202最初检测出人204时的时刻、本地坐 标和颜色特征信息,此外还存储观测ID。需要说明的是,就图4A的初次 检测位置历史数据库104的数据而言,通过初次检测位置推断单元103 以图3A的存储在人检测历史数据库102中的人204的检测历史信息为基 础而作成。

使用图12的流程图,对使用图4A的初次检测位置历史数据库104 的数据获得初次检测位置的方法进行说明。

在步骤S1201中,由初次检测位置推断单元103来判断人检测历史 数据库102是否有未读的数据。如果初次检测位置推断单元103判断为没 有未读数据存在,结束初次检测位置的获得处理。关于初次检测位置推断 单元103判断是否有未读数据的判断方法,如后所述。

就步骤S1202而言,是在初次检测位置推断单元103判断步骤S1201 中有未读数据存在时的处理。在人检测历史数据库102中存储的未读数 据,被初次检测位置推断单元103读入1个。

接着,在步骤S1203中,对在步骤S1202中读入的数据进行以下的 处理。即,初次检测位置推断单元103,对在存储的时刻至之前N时刻的 期间存储有相同特征信息的数据是否存储在人检测历史数据库102中进 行判断。在通过初次检测位置推断单元103判断为存储有相同特征信息的 数据存储在人检测历史数据库102中的情况下,由初次检测位置推断单元 103判断为不是最初检测出的人。此外,返回到步骤S1201的处理。在这 里,N可以为观测装置101的观测周期(例如1秒~2秒的任意时间或者 100ms)等。也可以考虑观测装置101对人204有检测错误的可能性,对 N使用观测装置101的观测周期的常数倍的值。

就步骤S1204而言,是在步骤S1203中,由初次检测位置推断单元 103判断为在存储的时刻至之前N时刻的期间有存储有相同特征信息的 数据存在时的处理。通过该处理,初次检测位置推断单元103将在步骤 S1202中读入的数据存储在初次检测位置历史数据库104中。然后,返回 到步骤S1201的处理。

以下,使用图3A和图4A进行具体说明。

在图4A的初次检测位置历史数据库104中,作为最初检测出人204 的观测ID,观测ID=CAM_001、观测ID=CAM_005和观测ID=CAM_016 分别被初次检测位置推断单元103加以存储。需要说明的是,也可以不使 用初次检测位置历史数据库104而在人检测历史数据库102中设置表示是 否最初检测出人204的区段(field)。

存储观测ID=CAM_001是为了最初检测出颜色特征信息为红色的 人。同样,存储观测ID=CAM_005,是为了最初检测出颜色特征信息为 白色的人。进而,观测ID=CAM_016的颜色特征信息被存储为红色。这 是因为,在观测ID=CAM_016的观测(时刻2008/09/02_12:00:10)之 前的前次观测(时刻2008/09/02_12:00:09)中,未检测出颜色特征信 息为红色的人。也就是说,认为颜色特征信息为红色的人一度在时刻 2008/09/02_12:00:08时离开房间201,在时刻2008/09/02_12:00:10 时进入到房间201。由此,这表示假定观测装置101(在这里为摄像头202。) 对人204没有检测错误,将N的值设定为观测装置101的观测周期的一 例即1秒。即,其原因在于,在每个观测周期连续的观测中,可以连续观 测到具有相同颜色特征信息的人204的情况下,初次检测位置推断单元 103判断为人204存在于房间201内,另一方面,在上述连续的观测中, 无法观测到具有相同颜色特征信息的人204的情况下,初次检测位置推断 单元103判断为人204已离开房间201。

在这里,认为与人204是否存在于房间201内无关,是摄像头202 对人204的检测有错误的情况。在该情况下,例如只要摄像头202无法M 次检测出人204(其中,M是比0大的整数。),可以由初次检测位置推断 单元103判断人204已离开房间201。也就是说,在摄像头202的观测周 期为1秒的情况下,只要由初次检测位置推断单元103判断为有(N×M) 秒未检测出人204,则由初次检测位置推断单元103判断为人204已离开 房间。

返回到图3A的例子加以说明时,红色的人在时刻2008/09/02_12:00: 08时未被检测出,红色的人下一次被检测出是在2秒后的时刻 2008/09/02_12:00:10。只要人204有一次未被检测出,就由初次检测 位置推断单元103判断为已离开房间201。在该情况下,在初次检测位置 历史数据库104中,观测ID=CAM_001、观测ID=CAM_005和观测 ID=CAM_016通过初次检测位置推断单元103加以存储。但是,例如, 在人204连续5次以上(即,M=5)未被检测出的情况下,由初次检测位 置推断单元10判断为人204已离开房间201。在该情况下,在初次检测 位置历史数据库104中,存储有观测ID=CAM_001和CAM_005。此时, 是指由初次检测位置推断单元10判断为在观测ID=CAM_014的时刻 2008/09/02_12:00:09时摄像头202对人204的检测有错误。

另一方面,在图4B的初次检测位置历史数据库104中,标签阅读器 203最初检测出人204时的时刻、本地坐标和标签ID能通过初次检测位 置推断单元103加以存储,此外,观测ID也能通过初次检测位置推断单 元103加以存储。需要说明的是,图4B的初次检测位置历史数据库104, 以图3B的存储在人检测历史数据库102中的人204的检测历史信息为基 础,由初次检测位置推断单元103作成。

使用图12的流程图,对使用图4B的初次检测位置历史数据库104 获得初次检测位置的方法进行说明。

在步骤S1201中,初次检测位置推断单元103对人检测历史数据库 102是否有未读的数据进行判断。只要初次检测位置推断单元103判断为 没有未读数据存在,就结束初次检测位置的获得处理。

作为是否有未读数据的判断方法,考虑由初次检测位置推断单元103 使用观测ID的方法。例如,对于观测ID,按照在人检测历史数据库102 中记录的顺序,事先以升序附加观测ID编号。初次检测位置推断单元103 在读出在人检测历史数据库102中记录的数据时,将读出的观测ID存储 在初次检测位置推断单元103的内部存储器等中。由此,初次检测位置推 断单元103可以将在内部存储器中存储的观测ID的下一个数据判断为应 该读入的数据,在不存在上述数据的情况下,可以判断为没有未读数据存 在。

就步骤S1202而言,是初次检测位置推断单元103在步骤S1201中 判断为有未读数据存在时的处理,由初次检测位置推断单元103读入1 个在人检测历史数据库102中存储的未读数据。

接着,在步骤S1203中,对读入的数据进行以下的处理。即,初次 检测位置推断单元103对在存储的时刻至之前N时刻的期间存储有相同 标签ID(特征信息)的数据是否存储在人检测历史数据库102中进行判 断。在由初次检测位置推断单元103判断为存储有相同标签ID的数据存 储在人检测历史数据库102中的情况下,初次检测位置推断单元103判断 为不是最初检测出的人,返回到步骤S1201的处理。在这里,N可以为观 测装置101的观测周期(例如1秒~2秒的任意时间或者100ms)等。可 以考虑观测装置101对人204有检测错误的可能性,对N可以使用观测 装置101的观测周期的常数倍的值。

就步骤S1204而言,是在步骤S1203中由初次检测位置推断单元103 判断为在存储的时刻至之前N时刻的期间没有存储有相同标签ID的数据 存在时的处理,将步骤S1202中读入的数据作为初次检测位置信息,由 初次检测位置推断单元103存储在初次检测位置历史数据库104中。然后, 返回到步骤S1201的处理。

以下,使用图3B和图4B进行具体说明。

在图4B的初次检测位置历史数据库104中,作为最初检测出人204 的观测ID,观测ID=TAG_001、观测ID=TAG_005和观测ID=TAG_016 分别被初次检测位置推断单元103加以存储。

需要说明的是,可以不使用初次检测位置历史数据库104,在人检测 历史数据库102中设置表示是否最初检测出人204的区段。

观测ID=CAM_001是最初检测出标签ID(特征信息)为“001”的 人的信息而被存储。同样,观测ID=CAM_005是最初检测出标签ID(特 征信息)为“002”的人的信息而被存储。同样,观测ID=CAM_016是最 初检测出标签ID(特征信息)为“003”的人的信息而被存储。

需要说明的是,与观测装置101的检测错误有关的处理,与上述摄像 头202的情况一样。由此,在假定观测装置101(在这里为标签阅读器203。) 对人204没有检测错误的情况下,将N的值设为观测装置101的观测周 期的一例如1秒即可。即,在每个观测周期连续的观测中,在能连续观测 到具有相同标签ID的人204的情况下,初次检测位置推断单元103判断 为人204存在于房间201内,另一方面,在上述连续的观测中,在无法观 测到具有相同标签ID的人204的情况下,初次检测位置推断单元103判 断为人204已离开房间201。

在这里,认为与人204是否存在于房间201内无关,是标签阅读器 203对人204的检测有错误的情况。在该情况下,例如只要标签阅读器203 无法M次检测出人204(其中,M为比0大的整数。),可以由初次检测 位置推断单元103判断为人204已离开房间201。也就是说,在标签阅读 器203的观测周期为1秒的情况下,只要初次检测位置推断单元103判断 为由(N×M)秒未检测出人204,则就由初次检测位置推断单元103判断 为人204已离开房间。

以上,以在人物历史数据库102中存储的人204的检测历史的信息为 基础,由初次检测位置推断单元103提取出最初检测出人204的历史的信 息(例如本地坐标)的处理,相当于图8的流程图中的步骤S804的处理。 然后,进入步骤S805的处理。

接着,在步骤S805中,初次检测位置推断单元103对是否能提取出 (是否存在)检测出人204的历史信息(例如本地坐标)进行判断。另外, 在步骤S805中,当初次检测位置推断单元103判断为能够提取出检测出 人204的历史信息(例如本地坐标)时,初次检测位置推断单元103将提 取出的上述历史信息(例如本地坐标)存储在初次检测位置历史数据库 104中的处理,相当于图8的流程图中的步骤S806的处理。然后,进入 步骤S807的处理。另一方面,在步骤S805中,在初次检测位置推断单 元103判断为无法提出检测出人204的历史信息(例如本地坐标)的情况 下,结束上述位置矫正信息收集装置的全体处理。

<环境映像数据库的说明>

在环境映像数据库107,至少预先存储有房间201的出入口如门205 的整体坐标。在这里,整体坐标与本地坐标不同,是房间201的绝对坐标, 作为一例,是指以房间201的地板的1个角为原点的三维坐标。

环境映像数据库107如图1所示可以预先储存在位置矫正信息收集装 置中。另外,代替预先储存而图14所示,通过互联网1401,以在线的方 式由出入口位置推断单元105和矫正参数获得单元106分别获得与在环境 映像数据库107中存储的信息相同的信息。

另外,如图13中的点划线所示,将环境映像数据库107和互联网1401 以可以连接的方式加以配置,使用互联网1401预先获得必要的信息,使 其存储在环境映像数据库107中。然后,在需要更新信息时(例如在重新 设置观测装置101的情况下,或在变更了观测装置101的类型的情况下, 或进行改装而重新制作了门的情况下等,需要获得新的信息时),可以使 用互联网1401获得更新后的信息,存储在环境映像数据库107中。

图5示出环境映像数据库107的一例。

在图5的环境映像数据库107中,存储有环境ID、上述环境ID所示 家具在房间201中的整体坐标、环境ID所示的家具的属性、和环境ID 所示的家具的采取的动作。

属性存在3种。第一种表示房间201的出入口,门205符合。如果以 环境ID进行表述,则为DOOR_001、DOOR_002、DOOR_003。第二种 表示人204在房间201内容易停留的位置(停留位置)(例如可以坐在该 家具上等),椅子206符合。如果以环境ID进行表述,则为CHAIR_004。 第三种表示人204在房间201内无法侵入的位置(不可侵入)(例如人204 不会进到家具的配置区域内等),桌子207符合。如果以环境ID进行表 述,则为DESK_005。

在动作中,作为自动门识别信息,环境ID所示的家具采取的动作被 预先存储。在基于图5的环境映像数据库107时,在环境ID=DOOR_001 (门205A)和环境ID=DOOR_002(门205B)的动作中预先存储为“手 动开关”。这是指需要人204手动进行门205(205A、205B)的开关(人 暂时在门205A、205B前停止手动进行开关动作)。另外,环境 ID=DOOR_003(门205C)中预先存储为“自动开关”。这是指门205为 自动门,不需要人204手动进行门205的开关(人没有必要暂时在门205C 前停止而手动进行开关动作)。用以上的门205的构成进行说明,但本发 明在门205全部手动开关或者自动开关的情况下都能动作。在这里,作为 一例,前提是在出入口有门205存在,通过门205的开关,人204出入房 间202。

<出入口位置推断单元的说明>

出入口位置推断单元105,分别对摄像头202的本地坐标和标签阅读 器203的本地坐标中房间201的门205(3个门205A、205B、205C)的 位置进行推断。

使用图6A和图6B,对出入口位置推断单元105进行详细说明。

图6A是通过出入口位置推断单元105将由摄像头202检测出的人 204的初次检测位置视觉化的一例,作为最初检测出人204的位置,存在 12处。在这里,这12处的检测位置(检测位置数据)没有必要是检测出 同一人物的位置。需要说明的是,图6A的初次检测位置的历史的信息是 通过出入口位置推断单元105将在初次检测位置历史数据库104中存储的 初次检测位置视觉化的图。

图6B示出通过出入口位置推断单元105将图6A的12处检测位置分 组的结果。分成圆形(的检测位置数据)、三角形(的检测位置数据)、和 四边形(的检测位置数据)3个群组。将分类为三角形(的检测位置数据) 的群组作为群组601A,将分类为四边形(的检测位置数据)的群组作为 群组601B,将分类为圆形(的检测位置数据)的群组作为群组601C。以 后,将群组601A、群组601B和群组601C中的任意群组以群组601为代 表进行说明。

作为分组的方法,可以使用例如k-means法等。

作为该k-means法的方法,首先从12处位置随机选择3处代表位置。 在这里,3处表示在环境映像数据库107中存储的“出入口”的属性数。 需要说明的是,在环境映像数据库107中存储的数据,由出入口位置推断 单元105中所含的构成信息参照单元105a获得。

接着,关于代表位置以外的各位置,由出入口位置推断单元105算出 至各代表位置的距离。此外,由出入口位置推断单元105判断为距离最短 的代表位置是该位置所属(被配属该位置)的群组601。

所有位置的配属完成时,接着,以各群组601的重心为新的代表点, 由出入口位置推断单元105对所有的位置算出至各代表位置的距离。

此外,由出入口位置推断单元105判断为距离最短的代表位置是该位 置所属的(被配属该位置)群组601。

以下,反复进行代表点的作成和配属,只要各位置所属的群组601 没有发生变化,就结束处理。需要说明的是,分组的方法不限于此。

在这里,可以认为人204最初被摄像头202和标签阅读器203检测出 是刚打开门205进入到房间201内之后。因此,可以由出入口位置推断单 元105判断为门205的本地坐标中的位置是人204的初次检测位置被分组 后的各位置的重心位置。

以上,以在初次检测位置历史数据库104中存储的人204的初次检测 位置历史的信息为基础,通过出入口位置推断单元105对门205的本地坐 标进行推断的处理,相当于图8的流程图中的步骤S807的处理。然后, 进入步骤S808的处理。

<矫正参数获得单元的说明>

作为算出位置矫正信息的位置矫正信息算出单元的一例的矫正参数 获得单元106,根据由出入口位置推断单元105推断的门205的本地坐标 中的位置、和在环境映像数据库107中存储的门205的整体坐标中的位置, 分别获得需要进行与摄像头202的位置和标签阅读器203的位置有关的矫 正的、作为位置矫正信息的一例的参数。

作为位置矫正信息的例子,作为需要与位置有关的矫正的参数,可以 使用以下5种参数中的任意一种。需要说明的是,[数1]表示本地坐标中 的位置,

[数1]

x,y

[数2]表示整体坐标中的位置。

[数2]

x′,y′

[数3]

sx(将x变换为x′时的倍率)、

[数4]

xy(将y变换为y′时的倍率)、

[数5]

x0(将x的原点变换为x′的原点时的平行移动量)、

[数6]

y0(将y的原点变换为y′的原点时的平行移动量)、

[数7]

θ(将x坐标轴变换为x′坐标轴时的旋转角)。

式1示出与倍率、平行移动量、旋转角对应的坐标变换的式子。

[数8]

(x,y,1)=(x,y,1)sx·cosθsy·sinθ0-sx·sinθsy·cosθ0x0y01.....(式1)

门205存在3处,整体坐标的门205的位置和本地坐标的门205的位 置的组合存在6种。在所有的该6种中,对由(式1)展开的联立方程式 求解,分别求出上述的5种参数。在这里,摄像头202和标签阅读器203 设置成从房间201的顶棚201d向正下方俯视地板201f。也就是说,

[数9]

x和y

[数10]

sx和sy

可以认为[数9]x和y的比率与[数10]sx和sy的比率相同。

[数11]

x∶y=sx∶sy

因此,可以判断为最接近的整体坐标的门205的位置和本地坐标的门 205的位置的组合是要求出的参数的组合。

在这里,对根据环境映像数据库107和分组后的初次检测位置历史的 信息求出整体坐标的门205的位置和本地坐标的门205的位置的组合的方 法,进行说明。

在图5的环境映像数据库107中,存在关于环境ID所示的家具的动 作而存储的“动作”的项目。由此可知,就环境ID=DOOR_001(门205A) 和环境ID=DOOR_002(门205B)而言,作为自动门识别信息如“动作” 的信息,成为“手动开关”,所以是手动门,就环境ID=DOOR_003(门 205C)而言,作为自动门识别信息如“动作”的信息,成为“自动开关”, 所以是自动门。在门205是手动门的情况下,在人204刚进入房间201 内之后,会发生所谓人204关闭门205的动作。也就是说,在人204关闭 门205期间,摄像头202和标签阅读器203检测出人204的可能性高。与 此相对,在门205为自动门的情况下,在人204进入房间201内之后,人 204没有必要关闭门205,继续步行。也就是说,按照摄像头202和标签 阅读器203的观测的时间点,可以有人204在门205的位置被检测出的情 况、或在自门205向房间201的内部稍稍移动的位置被检测出的情况。也 就是说,在自动门进行了初次检测的检测位置的偏移,与在手动门进行了 初次检测的检测位置的偏移相比,相对增大(参照图6A的右侧的5个圆 形)。

作为求出整体坐标的门205的位置和本地坐标的门205的位置的组合 的具体方法,由出入口位置推断单元105求出与群组601的位置有关的标 准偏差,由出入口位置推断单元105将上述标准偏差最大的群组601判断 为在自动门进行了初次检测的检测位置即可。

通过以上的处理,可以由出入口位置推断单元105判定为群组601C 是在作为自动门的门205C进行了初次检测的检测位置的群组。另外,在 本地坐标不发生颠倒时,根据在环境映像数据库107中存储的门205A和 门205B的位置关系、再加上群组601A和群组601B的位置关系,可以 由出入口位置推断单元105判定为群组601A是在门205A进行了初次检 测的检测位置的群组,可以由出入口位置推断单元105判定为群组601B 是在门205B进行了初次检测的检测位置的群组。

在这里,说明的是出入口位置推断单元105以群组601的重心位置为 门位置。但是,在门205为自动门的情况下,如上所述。最初检测出人 204的位置发生了偏移。因此,在门205为自动门的情况下,可以由出入 口位置推断单元105判断为在属于群组601C的各检测位置中在最远端检 测出的检测位置是门位置602(参照图6C)。这里所说的“最远端”,是 指用于检测在房间201的墙壁201a、201B、201c的延长线上所配置的出 入口的位置的、位于距离房间201的中心坐标最远的坐标的位置。不过, 在矫正前不知道本地坐标中房间201的中心坐标。

因此,对以人检测历史为基础的利用出入口位置推断单元105检测的 “最远端”的检测位置的求法进行说明。

首先,用出入口位置推断单元105求出在人检测历史数据库102中存 储的所有的人204的位置的重心位置。由出入口位置推断单元105将属于 各群组的检测位置中位于距离上述重心位置最远的位置的检测位置,判断 为属于上述群组的检测位置中最远端的检测位置。

在这里,在环境映像数据库107中存储的数据,由矫正参数获得单元 106中所含的构成信息参照单元106a获得。

以上,根据本地坐标中的门205的位置和在环境映像数据库107中存 储的整体坐标中的门205的位置,由矫正参数获得单元106求出矫正所需 的参数的处理,相当于图8的流程图中的步骤S808的处理。然后,结束 上述位置矫正信息收集装置的全体处理。

在这里,可以是观测装置101始终观测上述环境,初次检测位置推断 单元103始终检查人检测历史数据库的新的人检测历史,出入口位置推断 单元105始终检查初次检测位置历史数据库的新的初次检测位置历史。另 外,可以另外具备与观测装置101、人检测历史数据库102、初次检测位 置推断单元103、初次检测位置历史数据库104、出入口位置推断单元105 和矫正参数获得单元106连接并对全体的位置矫正信息收集处理进行控 制的控制装置1301。将增加了控制装置1301的构成例示于图13及图14。

控制装置1301对观测装置101进行控制而使其进行环境的观测。接 着,控制装置1301在确认到人检测历史数据库102中有新的人检测历史 信息存在时,对初次检测位置推断单元103进行控制而使其进行初次检测 位置的推断。此外,控制装置1301在确认到初次检测位置历史数据库104 中有新的初次检测位置的历史信息存在时,对出入口位置推断单元105 进行控制而使其进行本地坐标系中的出入口位置的推断。需要说明的是, 控制装置1301对观测装置101进行控制的时间点可以通过来自用户的输 入来决定。进而,控制装置1301开始对初次检测位置推断单元103的控 制所需的在人检测历史数据库102中记录的新的人检测历史信息的数量, 可以通过来自用户的输入预先决定。同样,控制装置1301开始对出入口 位置推断单元105的控制所需的在初次检测位置历史数据库104中记录的 新的初次检测位置的历史信息的数量,可以通过来自用户的输入预先决 定。

<人停留位置和不可侵入位置的利用方法的说明>

假设房间201内仅在一处有门205时,无法作成联立方程式,上述参 数不会由矫正参数获得单元106求出。在这样的情况下,由出入口位置推 断单元105求出与人204容易停留的位置(人停留位置)或者无法侵入的 位置有关的信息,可以由矫正参数获得单元106加以利用。

边参照图11的流程图,边对与上述位置有关的信息的利用方法进行 说明。

对步骤S1101中的、人204的停留位置(人停留位置)进行说明。

为了利用人停留位置的信息而获得与摄像头202的位置和标签阅读 器203的位置有关的矫正所必需的矫正信息,人停留位置的整体坐标和本 地坐标成为必需。

整体坐标中的人停留位置预先存储在环境映像数据库107中即可。在 图5的环境映像数据库107中,作为人204停留的位置而存储有环境 ID=CHAIR_004。这是指预先决定房间201内的家具中人204容易停留的 位置,在环境映像数据库107中使这样的位置作为人204停留的位置加以 存储。

关于本地坐标中的人停留位置,可以通过出入口位置推断单元105 根据在人检测历史数据库102中存储的人204的检测历史的信息加以推 断。关于此,使用图3A进行说明。可知在注意到颜色特征信息为白色的 人时,在观测ID=CAM_005的时刻2008/09/02_12:00:04被最初检测出 之后,至观测ID=CAM_011的时刻2008/09/02_12:00:07之前在本地坐 标上移动。但是,在观测ID=CAM_011的时刻2008/09/02_12:00:07 以后,通过出入口位置推断单元105可知颜色特征信息为白色的人未从本 地坐标(750,350)上移动而是在停滞(停留)。这样的情况下,通过出入 口位置推断单元105使坐标(750,350)为本地坐标中的人停留位置即可。 需要说明的是,就出入口位置推断单元105对人204是否停留的判断而言, 例如在摄像头202于相同位置N次检测出人204的情况下,可以由出入 口位置推断单元105判断为人204在停留。也就是说,在摄像头202的观 测周期为1秒的情况下,只要在N秒(=N次×1秒)时间内人204于相 同位置被检测出,就由出入口位置推断单元105判断为人204在停留。需 要说明的是,也考虑摄像头202或者标签阅读器203通过观测噪声每次在 稍微不同的位置检测出人204。为此,关于在距前次检测出位置为±α(cm) 以内进行检测的位置,可以由出入口位置推断单元105判断为相同的位 置。α例如可以为与摄像头202或者标签阅读器203的位置误差有关的标 准偏差等。

以上为图11的步骤S1101中利用出入口位置推断单元105的处理。 然后,进入步骤S1102的处理。

接着,对利用出入口位置推断单元105的步骤S1102的处理中人204 的不可侵入位置进行说明。

为了利用人不可侵入位置的信息获得与摄像头202的位置和标签阅 读器203的位置有关的矫正所必需的矫正信息,人不可侵入位置的整体坐 标和本地坐标成为必需。

整体坐标中的人不可侵入位置,预先存储在环境映像数据库107中即 可。在图5的环境映像数据库107中,作为人204无法侵入的位置,存储 有环境ID=DESK_005。这是指预先决定房间201内的家具当中人204无 法侵入的位置,使环境映像数据库107中存储这样的位置作为人204无法 侵入的位置。

使用图7A和图7B,对本地坐标中的人不可侵入位置进行说明。

图7A是摄像头202检测出的人204的检测位置的历史信息的一例。 图7A中人204的检测位置,作为没有范围的点被存储。但是,实际的人 204具有某一定的宽度(肩宽等)。因此,使图7A的人204的检测位置在 XY方向上分别各粗大化Acm的处理,由出入口位置推断单元105加以 实施,表示为黑色圆形。A的值可以与实际的人204的肩宽一致,可以在 考虑了观测装置101的传感器噪声的大小之后加以设定。

图7B是使图7A的人204的检测位置在XY方向上分别进一步各粗 大化1m后的图。看到图7B时,可知在房间201的地板201f的中央附近 得到未检测到人204的区域、未到区域701。可以由出入口位置推断单元 105将该未到区域701的重心位置作为本地坐标中的人不可侵入位置加以 处理。需要说明的是,在人204的检测历史的信息少的情况下,得到多个 未到区域701或者/和得到较宽的未到区域,无法由出入口位置推断单元 105高精度地求出本地坐标中的人不可侵入位置。

以上为利用出入口位置推断单元105的步骤S1102的处理。然后,进 入步骤S1103的处理。

需要说明的是,人停留位置和不可侵入位置的算出分别由出入口位置 推断单元105进行。

接受步骤S1101和步骤S1102的结果,在步骤S1103中,矫正参数 获得单元106根据(式1)获得摄像头202或者/和标签阅读器203的矫正 参数。

在门205存在3处的情况下,本地坐标中的门位置和整体坐标中的门 位置的组合存在6种,关于上述6种,需要矫正参数获得单元106对矫正 参数进行计算。

但是,在门205的位置、停留位置、不可侵入位置仅存在1处的情况 下,门205的位置、停留位置、和不可侵入位置的各位置的本地坐标和整 体坐标的组合分别仅存在1种。由此,作为应该求出的矫正信息的矫正参 数,仅为1个组合,利用矫正参数获得单元106的计算时间,缩短为在先 前的6个组合时所需时间的1/6。

以上为利用矫正参数获得单元106的步骤S1103的处理。

关于作为上述位置矫正信息收集装置110的构成及作用,如上所示。

<位置矫正装置的构成的说明>

以下,对具有上述位置矫正信息收集装置110且进而也具有矫正单元 (矫正部)108的、本发明的第一实施方式涉及的位置矫正装置111进行 说明。需要说明的是,关于上述位置矫正信息收集装置110的构成及作用, 与上述位置矫正信息收集装置110相同。所以以下仅对矫正单元108进行 说明。

<矫正单元的说明>

关于上述位置矫正装置111,除了上述位置矫正信息收集装置110之 外,还具有矫正单元108,使用由矫正参数获得单元106获得的矫正参数, 由矫正单元108进行摄像头202或者/和标签阅读器203的矫正。当矫正 参数在X坐标为+5cm时,可以使实际的摄像头202或者/和标签阅读器 203的位置在+X轴方向上移动5cm,还可以使由摄像头202或者/和标签 阅读器203获得的数据在+X轴方向上移动5cm。

图10示出具有矫正单元108的位置矫正信息收集装置的构成图。

通过如上所示的构成,可以将最初检测出人204的位置推断为向作为 闭合环境的房间201内的出入口如门205的位置。由此,可以在不使用环 境内预先准备的标记等的情况下,自动进行与观测装置101的位置有关的 矫正所需的信息收集。另外,可以以收集到的矫正信息为基础,由矫正单 元108进行观测装置101的位置的矫正。

(第二实施方式)

<位置矫正信息收集装置的构成的说明>

图15是表示本发明的第二实施方式涉及的位置矫正信息收集装置的 构成的图。

本发明的第二实施方式涉及的位置矫正信息收集装置具有:观测装置 101、作为人检测历史存储单元的一例的人检测历史数据库102、末次检 测位置推断单元(末次检测位置推断部)1303、作为末次检测位置历史存 储单元的一例的末次检测位置历史数据库1304、出入口位置推断单元(出 入口位置推断部)105、作为算出位置矫正信息的位置矫正信息算出单元 的一例的矫正参数获得单元(矫正参数获得部)106、和作为环境映像存 储单元的一例的环境映像数据库107。

需要说明的是,末次检测位置推断单元1303和末次检测位置历史数 据库1304以外的各单元及数据库,与在第一实施方式中说明的一样。另 外,第二实施方式中的出入口位置推断单元105的处理,使用末次检测位 置代替初次检测位置。

<末次检测位置推断单元的说明>

末次检测位置推断单元1303,从在人检测历史数据库102中存储的 人204的检测历史的信息,对观测装置101最后检测出人204的观测ID 进行推断。关于推断方法的详细内容,使用以下的末次检测位置历史数据 库1304进行说明。

<末次检测位置历史数据库的说明>

在末次检测位置历史数据库1304中,至少最后检测出人204的位置 通过末次检测位置推断单元1303加以存储。

图16A及图16B中分别示出摄像头202最后检测出人204时及标签 阅读器203最后检测出人204时的末次检测位置历史数据库1304的一例。

在图16A的末次检测位置历史数据库1304中,摄像头202最后检测 出人204时的时刻、本地坐标和颜色特征信息、再加上观测ID可以通过 末次检测位置推断单元1303加以存储。需要说明的是,关于图16A的末 次检测位置历史数据库1304,以图3A的存储在人检测历史数据库102 中的人204的检测历史信息为基础,由末次检测位置推断单元1303作成。

使用图17的流程图,对使用图16A的末次检测位置历史数据库1304 获得末次检测位置获得的方法进行说明。

在步骤S1501中,末次检测位置推断单元1303判断在人检测历史数 据库102中当前时刻(获得末次检测位置的时点)起N时刻以前是否有 未读的数据。只要由末次检测位置推断单元1303判断为没有未读数据存 在,就结束末次检测位置的获得处理。在这里,N可以为观测装置101 的观测周期(例如1秒~2秒的任意时间或者100ms)等。可以考虑观测 装置101对人204有检测错误的可能性,作为N,使用观测装置101的观 测周期的常数倍的值。

另外,末次检测位置推断单元1303具有计时器。

就步骤S1502而言,是在末次检测位置推断单元1303判断为步骤 S1501中有未读数据存在时的处理,由末次检测位置推断单元1303读入 在人检测历史数据库102中存储的未读数据之一。

接着,在步骤S1503中,通过末次检测位置推断单元1303来判断在 步骤S1502中读入的数据中在存储的时刻至之后N时刻的期间存储有相 同标签ID(特征信息)的数据是否存储在人检测历史数据库102中。在 由末次检测位置推断单元103判断为存储有相同标签ID的数据存储在人 检测历史数据库102中的情况下,由末次检测位置推断单元1303判断为 不是最后检测出的人,返回到步骤S1501的处理。

关于步骤S1504,是在步骤S1503中由末次检测位置推断单元1303 判断为在存储的时刻至之后N时刻的期间没有存储有相同标签ID的数据 存在时的处理,将在步骤S1502中读入的数据作为末次检测位置信息, 通过末次检测位置推断单元1303存储在末次检测位置历史数据库1304 中。然后,返回到步骤S1501的处理。

如此求出末次检测位置时,通过出入口位置推断单元105进行出入口 位置的推断。在第一实施方式中使用了初次检测位置,在第二实施方式中, 使用末次检测位置代替初次检测位置。仅仅是将初次检测位置置换成末次 检测位置,其他处理没有变化,所以省略在这里重新说明。

通过如上所示的第二实施方式的构成,可以将最后检测出人204的位 置推断为向作为闭合环境的房间201内的出入口如门205的位置。由此, 可以在不使用环境内预先准备的标记等的情况下,自动进行与观测装置 101的位置有关的矫正所需的信息收集。另外,能以收集到的矫正信息为 基础,由矫正单元108进行观测装置101的位置矫正。

需要说明的是,通过适当组合上述各种实施方式或者变形例中的任意 实施方式或者变形例,可以发挥各自具有的效果。例如,作为由出入口位 置推断单元105使用的检测位置,可以全部使用初次检测位置和末次检测 位置。

【产业上的可利用性】

本发明涉及的位置矫正信息收集装置、位置矫正信息收集方法及位置 矫正信息收集程序,可以在不使用用于位置矫正的标记的情况下进行与观 测装置的位置有关的矫正。由此,对于在办公室、工场或家庭内等的安全 系统中使用的具备观测装置的位置矫正信息收集装置以及利用观测装置 的位置矫正信息收集方法及位置矫正信息收集程序特别有用。

本发明参照附图对优选的实施方式进行了充分记述,但对于熟悉该技 术的人来说,自然会进行各种变形或修正。这样的变形或修正只要未超出 基于技术方案的本发明的范围就应被理解为被本发明所包含。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号