车辆周围图像显示控制装置、车辆周围图像显示控制方法、由包含该方法的命令构成的非临时性有形计算机读取媒体、将车辆的周围的图像顶视变换而显示的图像处理方法

摘要

车辆周围图像显示控制装置具备：车辆周围图像取得装置(110)；俯瞰图像制作装置(115)；分割保存装置(120)，将距上述车辆更远的A俯瞰图像向存储器的A区域(51a)保存，将距上述车辆更近的B俯瞰图像向存储器的B区域(51b)保存；影子判定装置(125)，判定在B俯瞰图像中是否有影子；车辆运动量计算装置(135、155)；第1履历图像构成装置(140)，在B俯瞰图像中没有影子的情况下，将保存在存储器的C区域(52)中的摄影范围外的C俯瞰图像使用B俯瞰图像更新，并且，将与上述B区域(51b)相同范围的履历B俯瞰图像使用A俯瞰图像更新，以反映当前的图像；第2履历图像构成装置(160)，在B俯瞰图像中有影子的情况下，使用履历B俯瞰图像将C俯瞰图像更新，并且，使用A俯瞰图像将履历B俯瞰图像更新，以反映当前的图像；显示控制装置(130、150)，使图像显示装置(3)显示A－C俯瞰图像及履历B俯瞰图像。

说明书

相关申请的相互参照

本公开基于2012年5月23日提出申请的日本专利申请2012－117762 号主张优先权，这里引用其全部内容。

技术领域

本发明涉及车辆周围图像显示控制装置、车辆周围图像显示控制方法、 由包含该方法的命令构成的非临时性有形计算机读取媒体、将车辆的周围 的图像顶视变换而显示的图像处理方法。

背景技术

以往，已知有用安装在车辆上的摄像机将车辆的周围反复摄影、将摄 影图像俯瞰变换为从车辆的上方往下看的视点的图像、使该俯瞰变换后的 俯瞰图像显示到图像显示装置上的技术。

在这样的技术中，已知有通过将合成了最新的摄影图像的俯瞰图像和 过去的摄影图像的俯瞰图像的合成俯瞰图像显示到图像显示装置上、将车 辆的周围的图像显示范围扩大的技术(称作履历合成技术)(参照专利文献 1)。

例如，在摄像机是将车辆的后方摄影的后置摄像机的情况下，如图5 所示，在存储器上设置用来将车辆的除了后方以外的周围的俯瞰图像保存 的履历区域91、和用来将车辆的后方的俯瞰图像保存的实时区域92。并且， 将最新的摄影图像的俯瞰图像盖写(覆盖)到存储器上的实时区域92中， 使履历区域91及实时区域92的合成俯瞰图像显示到图像显示装置上，利 用车辆信息(转向角、车速等)计算车辆的运动，在履历区域91及实时区 域92中使图像移动，以做出与计算出的车辆的运动相反的运动。

通过重复这样的处理，例如在车辆后退时显示在图像显示装置上的图 像以图6A～图6F的顺序，随着车辆的后退，处于实时区域92中的图像依 次移动到履历区域91中。因而，包含在履历区域91中的俯瞰图像的范围 依次扩大，车辆的周围的显示范围扩大。

但是，在上述那样的技术中，如图7A～图7F所例示那样，有在摄像 机的摄影图像中有自身车辆的影子的情况下，随着自身车辆的移动，该影 子持续移动到履历区域91中。因而，在显示于图像显示装置上的合成俯瞰 图像中，影子的图像扩大，成为车辆的周围看不清楚的合成俯瞰图像。、

先行技术文献

专利文献

专利文献1：特开2002－373327号公报(对应于美国公开公报 20030165255)

专利文献2：特开2010－237976号公报

非专利文献

非专利文献1：西本至孝、泉隆，“有关基于影子提取的车辆检测”，电 气学会ITS研究会，ITS－06－14，7～12页，2006年6月

发明内容

本公开的目的是提供一种车辆周围图像显示控制装置、车辆周围图像 显示控制方法、由包含该方法的命令构成的非临时性有形计算机读取媒体、 将车辆的周围的图像顶视变换而显示的图像处理方法。在车辆周围图像显 示控制装置、车辆周围图像显示控制方法、由包含该方法的命令构成的非 临时性有形计算机读取媒体、将车辆的周围的图像顶视变换而显示的图像 处理方法中，利用将合成了最新的摄影图像的俯瞰图像和过去的摄影图像 的俯瞰图像的合成俯瞰图像显示到图像显示装置上的履历合成技术，降低 随着车辆的移动而在合成俯瞰图像中自身车辆的影子扩大的可能性。

在本公开的第一技术方案中，车辆周围图像显示控制装置具备：取得 装置，从搭载在车辆上的车载摄像机反复取得上述车辆的周围的摄影图像； 俯瞰变换装置，对摄影图像依次实施俯瞰变换，制作俯瞰图像；分割保存 装置，通过将上述俯瞰图像在上述车辆的前后方向上分割，制作距上述车 辆更远者的规定的A范围的A俯瞰图像、和距上述车辆更近者的规定的B 范围的B俯瞰图像，将A俯瞰图像保存至存储器的实A区域，将B俯瞰图 像保存存储器的实B区域；影子判定装置，判定在保存在上述实B区域的 一部分或全部中的B俯瞰图像中是否有影子；运动计算装置，基于从上述 车辆输入的车辆举动信息，计算上述车辆的运动量；第1履历图像构成装 置，在上述影子判定装置判定为在B俯瞰图像中没有影子的情况下，基于 上述车辆的上述运动量，使用保存在上述实B区域中的B俯瞰图像在上述 履历C区域内构成C俯瞰图像，以使用来保存作为上述车载摄像机的摄影 范围外的C范围的俯瞰图像的存储器的履历C区域的C俯瞰图像反映上述 车辆的当前的周围的配置，并且基于上述车辆的上述运动量，使用保存在 上述实A区域内的A俯瞰图像在上述履历B区域内构成履历B俯瞰图像， 以使用来保存与上述实B区域相同范围的俯瞰图像的存储器的履历B区域 内的履历B俯瞰图像反映上述车辆的当前的周围的配置；第2履历图像构 成装置，在上述影子判定装置判定为在B俯瞰图像中有影子的情况下，基 于上述车辆的上述运动量，使用保存在上述履历B区域内的履历B俯瞰图 像在上述履历C区域内构成C俯瞰图像，以使存储器的履历C区域内的C 俯瞰图像反映上述车辆的当前的周围的配置，并且基于上述车辆的上述运 动量，使用保存在上述实A区域内的A俯瞰图像在上述履历B区域内构成 履历B俯瞰图像，以使上述履历B区域内的履历B俯瞰图像反映上述车辆 的当前的周围的配置；显示控制装置，使图像显示装置显示上述实A区域 内的A俯瞰图像、上述履历C区域内的C俯瞰图像、以及上述实B区域内 的B俯瞰图像或上述履历B区域内的履历B俯瞰图像。

在上述装置中，能够根据影子的有无来选择是使用实B区域的B俯瞰 图像还是使用履历B区域的履历B俯瞰图像作为履历合成(是指构成履历 C区域内的C俯瞰图像)的原图像。由此，在有影子的情况下，使用基于 实A区域的A俯瞰图像(没有影子的可能性较高的图像)构成的履历B区 域的履历B俯瞰图像进行履历合成，所以能够降低在履历C区域内自身车 辆的影子扩大的可能性。此外，在没有影子的情况下，使用实B区域的B 俯瞰图像进行履历合成，所以履历C区域内的C俯瞰图像的摄影时期变得 比较新。

作为代案，也可以是，在上述影子判定装置判定为在B俯瞰图像中没 有影子的情况下，第1履历图像构成装置基于上述车辆的上述运动量，将 实A区域、实B区域、履历C区域依次更新，以使俯瞰图像在将作为A俯 瞰图像的显示范围的A范围、作为B俯瞰图像的显示范围的B范围及作为 C俯瞰图像的显示范围的C范围接合的结合范围中移动，与此同时，将履 历B区域及上述实A区域依次更新，以使俯瞰图像在将作为履历B俯瞰图 像的显示范围的B范围和作为A俯瞰图像的显示范围的A范围接合的结合 范围中移动。此外，也可以是，在上述影子判定装置判定为在B俯瞰图像 中有影子的情况下，第1履历图像构成装置基于上述车辆的上述运动量， 将实A区域、履历B区域、履历C区域依次更新，以使俯瞰图像在将作为 A俯瞰图像的显示范围的A范围、作为履历B俯瞰图像的显示范围的B范 围及作为C俯瞰图像的显示范围的C范围接合的结合范围中移动。

在本公开的第二技术方案中，车辆周围图像显示方法具备：从搭载在 车辆上的车载摄像机反复取得上述车辆的周围的摄影图像；对摄影图像依 次实施俯瞰变换，制作俯瞰图像；通过将上述俯瞰图像在上述车辆的前后 方向上分割，制作距上述车辆更远者的规定的A范围的A俯瞰图像、和距 上述车辆更近者的规定的B范围的B俯瞰图像，将A俯瞰图像向存储器的 实A区域保存，将B俯瞰图像向存储器的实B区域保存；判定在保存在上 述实B区域的一部分或全部中的俯瞰图像中是否有影子；基于从上述车辆 输入的车辆举动信息，计算上述车辆的运动量；在B俯瞰图像中没有影子 的情况下，基于上述车辆的上述运动量，使用保存在上述实B区域中的B 俯瞰图像在上述履历C区域内构成C俯瞰图像，以使用来保存作为上述车 载摄像机的摄影范围外的C范围的俯瞰图像的存储器的履历C区域的C俯 瞰图像反映上述车辆的当前的周围的配置，并且基于上述车辆的上述运动 量，使用保存在上述实A区域内的A俯瞰图像在上述履历B区域内构成履 历B俯瞰图像，以使用来保存与上述实B区域相同范围的俯瞰图像的存储 器的履历B区域内的履历B俯瞰图像反映上述车辆的当前的周围的配置； 在B俯瞰图像中有影子的情况下，基于上述车辆的上述运动量，使用保存 在上述履历B区域内的履历B俯瞰图像在上述履历C区域内构成C俯瞰图 像，以使存储器的履历C区域内的C俯瞰图像反映上述车辆的当前的周围 的配置，并且基于上述车辆的上述运动量，使用保存在上述实A区域内的 A俯瞰图像在上述履历B区域内构成履历B俯瞰图像，以使上述履历B区 域内的履历B俯瞰图像反映上述车辆的当前的周围的配置；使图像显示装 置显示上述实A区域内的A俯瞰图像、上述履历C区域内的C俯瞰图像、 以及上述实B区域内的B俯瞰图像或上述履历B区域内的履历B俯瞰图像。

在上述方法中，能够根据影子的有无来选择是使用实B区域的B俯瞰 图像还是使用履历B区域的履历B俯瞰图像作为履历合成(是指构成履历 C区域内的C俯瞰图像)的原图像。由此，在有影子的情况下，使用基于 实A区域的A俯瞰图像(没有影子的可能性较高的图像)构成的履历B区 域的履历B俯瞰图像进行履历合成，所以能够降低在履历C区域内自身车 辆的影子扩大的可能性。此外，在没有影子的情况下，使用实B区域的B 俯瞰图像进行履历合成，所以履历C区域内的C俯瞰图像的摄影时期变得 比较新。

在本公开的第三技术方案中，非临时性有形计算机读取媒体具备由计 算机实施的命令，该命令包括控制车辆周围图像的显示的计算机实施方法， 所述命令具备：从搭载在车辆上的车载摄像机反复取得上述车辆的周围的 摄影图像；对摄影图像依次实施俯瞰变换，制作俯瞰图像；通过将上述俯 瞰图像在上述车辆的前后方向上分割，制作距上述车辆更远者的规定的A 范围的A俯瞰图像、和距上述车辆更近者的规定的B范围的B俯瞰图像， 将A俯瞰图像向存储器的实A区域保存，将B俯瞰图像向存储器的实B区 域保存；判定在保存在上述实B区域的一部分或全部中的俯瞰图像中是否 有影子；基于从上述车辆输入的车辆举动信息，计算上述车辆的运动量； 在B俯瞰图像中没有影子的情况下，基于上述车辆的上述运动量，使用保 存在上述实B区域中的B俯瞰图像在上述履历C区域内构成C俯瞰图像， 以使用来保存作为上述车载摄像机的摄影范围外的C范围的俯瞰图像的存 储器的履历C区域的C俯瞰图像反映上述车辆的当前的周围的配置，并且 基于上述车辆的上述运动量，使用保存在上述实A区域内的A俯瞰图像在 上述履历B区域内构成履历B俯瞰图像，以使用来保存与上述实B区域相 同范围的俯瞰图像的存储器的履历B区域内的履历B俯瞰图像反映上述车 辆的当前的周围的配置；在B俯瞰图像中有影子的情况下，基于上述车辆 的上述运动量，使用保存在上述履历B区域内的履历B俯瞰图像在上述履 历C区域内构成C俯瞰图像，以使存储器的履历C区域内的C俯瞰图像反 映上述车辆的当前的周围的配置，并且基于上述车辆的上述运动量，使用 保存在上述实A区域内的A俯瞰图像在上述履历B区域内构成履历B俯瞰 图像，以使上述履历B区域内的履历B俯瞰图像反映上述车辆的当前的周 围的配置；使图像显示装置显示上述实A区域内的A俯瞰图像、上述履历 C区域内的C俯瞰图像、以及上述实B区域内的B俯瞰图像或上述履历B 区域内的履历B俯瞰图像。

在上述的非临时性有形计算机读取媒体中，能够根据影子的有无来选 择是使用实B区域的B俯瞰图像还是使用履历B区域的履历B俯瞰图像作 为履历合成(是指构成履历C区域内的C俯瞰图像)的原图像。由此，在 有影子的情况下，使用基于实A区域的A俯瞰图像(没有影子的可能性较 高的图像)构成的履历B区域的履历B俯瞰图像进行履历合成，所以能够 降低在履历C区域内自身车辆的影子扩大的可能性。此外，在没有影子的 情况下，使用实B区域的B俯瞰图像进行履历合成，所以履历C区域内的 C俯瞰图像的摄影时期变得比较新。

在本公开的第四技术方案中，从搭载在车辆上的车载摄像机连续地取 得上述车辆的周围的图像、将该图像进行顶视变换、向搭载在上述车辆上 的图像显示装置显示的图像处理方法，将上述顶视变换后的图像2分割； 判定在分割后的上述图像中的、距上述车辆较近图像的近距离图像中是否 包含上述车辆的影子；在上述近距离图像中包含有上述车辆的影子的情况 下，用在规定时间前摄影的距上述车辆较远图像的远距离图像的履历图像 将当前的上述近距离图像替换。

上述图像处理方法在包含有上述车辆的影子的情况下，作为履历合成 的原图像而使用远距离图像的履历图像。由此，能够降低通过履历合成而 自身车辆的影子扩大的可能性。

在本公开的第五技术方案中，从搭载在车辆上的车载摄像机取得上述 车辆的周围的图像，将该图像进行顶视变换而保存到存储器中，向图像显 示装置显示的车辆周围图像显示控制装置，具备：取得装置，反复取得上 述车辆的周围的摄影图像；顶视变换装置，将摄影图像依次进行顶视变换， 制作一系列的顶视图像群；分割保存装置，在将制作出的一系列的顶视图 像群中的最新的顶视图像向上述存储器保存时，通过将上述顶视图像在上 述车辆的前后方向上分割，将距上述车辆更远的远距离顶视图像向实A区 域保存，将距上述车辆更近的近距离顶视图像向实B区域保存；影子判定 装置，判定在保存在上述实B区域中的最新的上述近距离顶视图像中是否 拍摄有上述车辆的影子；运动计算机构，基于从上述车辆输入的车辆举动 信息，计算上述车辆的运动量；第1履历图像构成装置，在上述存储器内 设定保存处于上述车载摄像机的摄影范围外且与上述车辆的周围配置对应 的履历图像的履历C区域、和保存与上述实B区域相同范围的近距离顶视 图像的履历B区域，在由上述影子判定机构判定为没有影子的情况下，基 于上述车辆的上述运动量，用保存在上述实B区域内的上述近距离顶视图 像将上述履历C区域盖写(覆盖)，并且用保存在上述实A区域内的上述远 距离顶视图像将上述履历B区域盖写(覆盖)；第2履历图像构成装置，在 由上述影子判定机构判定为有影子的情况下，基于上述车辆的上述运动量， 用保存在上述履历B区域内的上述近距离顶视图像将上述履历C区域盖写 (覆盖)，并且用保存在上述实A区域内的上述远距离顶视图像将上述履历 B区域盖写(覆盖)；显示控制机构，使上述图像显示装置显示上述实A区 域内的上述远距离顶视图像、上述履历C区域内的上述履历图像、以及上 述实B区域内或上述履历B区域内的上述近距离顶视图像。

在上述装置中，能够根据影子的有无来选择是使用实B区域的近距离 顶视图像还是使用履历B区域的上述近距离顶视图像作为履历合成(是指 构成履历C区域内的履历图像)的原图像。由此，在有影子的情况下，使 用基于实A区域的远距离顶视图像(没有影子的可能性较高的图像)构成 的履历B区域的上述近距离顶视图像进行履历合成，所以能够降低在履历 C区域内自身车辆的影子扩大的可能性。此外，在没有影子的情况下，使 用实B区域的上述近距离顶视图像进行履历合成，所以履历C区域内的履 历图像的摄影时期变得比较新。

附图说明

关于本公开的上述目的及其他目的、特征及优点，一边参照附图一边通 过下述详细的记述会变得更明确。

图1是表示有关实施方式的车辆周围图像显示系统的结构的图。

图2是表示存储器中的实A区域、实B区域、履历C区域、履历B区 域的图。

图3是控制装置执行的处理的流程图。

图4A是表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图 像的图。

图4B是表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图 像的图。

图4C是表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图 像的图。

图4D是表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图 像的图。

图4E是表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图像 的图。

图4F是表示在有影子的情况下随着车辆的后退而变化的合成俯瞰图像 的图。

图5是作为以往技术表示存储器中的履历区域和实时区域的图。

图6A是以往技术表示随着车辆的后退而变化的合成俯瞰图像的图。

图6B是以往技术表示随着车辆的后退而变化的合成俯瞰图像的图。

图6C是以往技术表示随着车辆的后退而变化的合成俯瞰图像的图。

图6D是以往技术表示随着车辆的后退而变化的合成俯瞰图像的图。

图6E是以往技术表示随着车辆的后退而变化的合成俯瞰图像的图。

图6F是以往技术表示随着车辆的后退而变化的合成俯瞰图像的图。

图7A是作为以往技术表示在有影子的情况下随着车辆的后退而变化 的合成俯瞰图像的图。

图7B是作为以往技术表示在有影子的情况下随着车辆的后退而变化 的合成俯瞰图像的图。

图7C是作为以往技术表示在有影子的情况下随着车辆的后退而变化 的合成俯瞰图像的图。

图7D是作为以往技术表示在有影子的情况下随着车辆的后退而变化 的合成俯瞰图像的图。

图7E是作为以往技术表示在有影子的情况下随着车辆的后退而变化的 合成俯瞰图像的图。

图7F是作为以往技术表示在有影子的情况下随着车辆的后退而变化的 合成俯瞰图像的图。

具体实施方式

以下，对本发明的一实施方式进行说明。在图1中表示有关本实施方 式的车辆周围图像显示系统的结构。该车辆周围图像显示系统搭载在车辆 中，具备车载摄像机1、控制装置2(相当于车辆周围图像显示控制装置的 一例)、以及图像显示装置3。

车载摄像机1固定搭载在车辆的后端附近，将车辆的周围、具体而言 对车辆的后方的规定范围进行反复(例如以1/30秒周期)摄影，将摄影的 结果得到的摄影图像的数据向控制装置2依次输出。

控制装置2被从车载摄像机1反复输入上述摄影图像，并且被从自身 车辆反复输入档位范围(shift range)的信息、车速的信息及转向角(或偏 航角速度(yaw rate))的信息。

并且，控制装置2通过执行预先决定的处理，作为俯瞰变换部21、图 像合成部22、车辆运动计算部23、影子判断部24发挥功能。

俯瞰变换部21通过对从车载摄像机1输入的摄影图像实施周知的俯瞰 变换，将该摄影图像变换为从自身车辆的上方(向正下方或斜下方)往下 看的视点的俯瞰图像。

图像合成部22如后述那样，将最新的摄影图像的俯瞰图像与过去的摄 影图像的俯瞰图像合成，将合成的结果得到的合成俯瞰图像向图像显示装 置3输出。

车辆运动计算部23基于从自身车辆输入的档位范围的信息、车速的信 息及转向角(或偏航角速度)的信息，计算遵循周知的阿克曼模型(Ackerman  model)的自身车辆的运动(移动量及姿势变化量)。影子判断部24判定在 最新的摄影图像的俯瞰图像中是否存在影子。

另外，作为这样的结构的控制装置2，也可以使用周知的微型计算机。

图像显示装置3是将从控制装置2输入的合成俯瞰图像显示的装置， 配置在车内的驾驶员能够看到显示的合成俯瞰图像那样的位置。

以下，对这样的结构的车辆周围图像显示系统的动作进行说明。在搭 载在控制装置2中的可写入的存储器(例如RAM)中，如图2所示，预先 确保了实A区域51a、实B区域51b、履历C区域52及履历B区域53。

实A区域51a及实B区域51b是用来将自身车辆的周围中的自身车辆 的后方的俯瞰图像保存的区域，如后述那样，保存将最新的摄影图像俯瞰 变换后的俯瞰图像。

此外，实A区域51a是用来保存将车辆的后方在车辆的前后方向上2 分割后的、距车辆更远者的规定的范围的俯瞰图像的区域。此外，实B区 域51b是用来保存同样2分割后的、距车辆更近者的规定的范围的俯瞰图 像的区域。

履历C区域52是用来保存自身车辆的周围中的自身车辆的后方以外 (即，车载摄像机1的摄影范围外)的俯瞰图像的区域，如后述那样，保 存将过去的摄影图像俯瞰变换后的俯瞰图像。

履历B区域53是用来保存车辆的周围中的与上述实B区域51b相同范 围的俯瞰图像的区域。但是，如后述那样，与实B区域51b不同，不是保 存最新的摄影图像，而保存将过去的摄影图像俯瞰变换后的俯瞰图像。

控制装置2使用这样的实A区域51a、实B区域51b、履历C区域52、 履历B区域53，执行在图3中用流程图表示的处理。控制装置2通过执行 该图3的处理，作为上述俯瞰变换部21、图像合成部22、车辆运动计算部 23、影子判断部24发挥功能。

关于该图3的处理，沿着1个事例进行说明。另外，在该事例中，假 设在车载摄像机1的摄影图像中没有拍摄有自身车辆的影子以外的影子。

首先，在控制装置2开始图3的处理时，实A区域51a、实B区域51b、 履历C区域52、履历B区域53的各自的区域内为完全不包含俯瞰图像的 数据的空的状态，换言之，为仅包含表示空的数据的状态。

控制装置2首先在步骤105中，基于输入的最新的档位范围信息，判 定自身车辆的档位位置是否是倒车(后退位置)，如果不是倒车，则再次执 行步骤105的判定。

假设驾驶员在要将车辆停车到停车场的停车位(图4A～图4F的P2) 时，将档位范围放入R(倒车)。于是，控制装置2在步骤105中判定档位 位置是倒车，向步骤110前进。

在步骤110中，从车载摄像机1受理并取得1张最新的摄影图像的输 入。接着，在步骤115中，对在之前的步骤110中取得的最新的摄影图像 实施周知的俯瞰变换。通过该俯瞰变换，将摄影图像变换为从自身车辆的 上方(向正下方或斜下方)往下看的视点的俯瞰图像。

另外，在该俯瞰变换时，如周知那样，假定摄影图像中的物体存在于 高度零的位置(即路面)。在俯瞰变换中使用的变换式被预先记录在控制装 置2的存储器(例如ROM)中。控制装置2通过执行该步骤115的处理， 作为俯瞰变换部21发挥功能。

接着，在步骤120中，将在之前的步骤115中制作出的俯瞰图像向存 储器中的实A区域51a及实B区域51b保存。

具体而言，将该俯瞰图像在车辆的前后方向2分割后的、距车辆较远 者的规定的范围的图像向实A区域51a保存，将该俯瞰图像同样2分割后 的、距车辆较近者的规定的范围的图像向实B区域51b保存。

接着，在步骤125中，判定在之前的步骤115中制作出的俯瞰图像中 的保存在实B区域51b内的俯瞰图像中是否存在影子。

在该俯瞰图像中是否存在影子，只要用周知的方法(例如，专利文献2、 非专利文献1中记载的方法)判定就可以。例如可以使用专利文献2中记 载的影检测技术进行判定。

具体而言，对于实B区域51b内的俯瞰图像的一部分区域，基于色相 和亮度进行区域分割，在分割后的多个区域中，提取色相的差是规定的阈 值以下且亮度的差为规定值异常的两个区域。

并且，将提取出的两个中的亮度较高的区域作为非阴影区域，将亮度 较低的区域作为阴影区域。并且，将颜色信息的空间(参照专利文献2的 图14(b))中的从该阴影区域向非阴影区域的矢量确定为光源的颜色信息。

并且，对实B区域51b内的俯瞰图像的全区域，基于色相和亮度进行 区域分割，在相邻的区域间的色相的差与光源的色相在规定的范围内一致 的情况下，将这些相邻的区域中的亮度较低的区域确定为影子。控制装置2 通过执行该步骤125的处理，作为影子判断部24发挥功能。

在本事例中，假设在开始图3的处理的时点，如图4A所示，在自身车 辆的后方(行进方向)的、与实B区域51b对应的范围内存在自身车辆的 影子。在此情况下，在步骤125中判定为有影子，向步骤145前进。

在步骤145中，判定在履历B区域53中俯瞰图像的数据是否是规定量 以上。例如也可以是，当俯瞰图像的数据将履历B区域53的全部充满时， 判定为在履历B区域53中俯瞰图像的数据是规定量以上，在其以外的情况 下判定为在履历B区域53中俯瞰图像的数据不到规定量。

在本事例中，由于图3的处理刚开始，所以在履历B区域53中完全没 有俯瞰图像的数据，所以判定为不到规定量，向步骤130前进。

在步骤130中，以图2的左侧所示那样的配置，将实A区域51a、实B 区域51b及履历C区域52的图像接合而合成，将合成后的合成俯瞰图像保 存至控制装置2中的规定的输出用存储器。

另外，也可以在合成俯瞰图像中如图2所示那样叠加表示自身车辆的 形状的图像54。此时，也可以将车辆形状图像54透过性地叠加，以便在合 成俯瞰图像与车辆形状图像54重叠的部分处能够辨识合成俯瞰图像和车辆 形状图像54的两者。

控制装置2通过执行该步骤130的处理，作为图像合成部22发挥功能。 保存在该输出用存储器中的合成俯瞰图像被从控制装置2向图像显示装置3 输入，结果，图像显示装置3将该合成俯瞰图像对驾驶员显示。

接着，在步骤135中，基于从自身车辆输入的各种车辆举动信息，即 档位范围的信息、车速的信息及转向角(或偏航角速度)的最新的信息(追 加使用过去的信息)，计算遵循周知的阿克曼模型(Ackerman model)的自 身车辆的运动量(移动矢量及姿势变化角度)。另外，这里所述的运动量， 是表示从前次的摄影图像的取得定时到此次的摄影图像的取得定时的期间 中的车辆的运动(即，摄影图像的取得间隔中的运动量)的运动量。控制 装置2通过执行该步骤135的处理，作为车辆运动计算部23发挥功能。

接着，在步骤140中，基于在之前的步骤135中计算出的自身车辆的 运动量，计算表示自身车辆的周围(假定固定在路面上)相对地相对于自 身车辆怎样地移动的相对移动量。

具体而言，计算与在之前的步骤135中计算出的自身车辆的运动量相 反的运动。例如，当自身车辆的移动矢量是(α，β)、姿势变化角度是θ 时，作为周围相对于自身车辆的相对移动量，假设移动矢量是(－α，－β)、 姿势变化角度是－θ。

并且，在将实A区域51a、实B区域51b及履历C区域52c以图2的 左侧那样的配置接合的结合区域内，按照如上述那样计算出的周围的相对 移动量，使保存在该结合区域内的全部的俯瞰图像移动，以使该结合区域 内的俯瞰图像反映车辆的当前的周围的配置。

由此，对应于该相对移动量，在实B区域51b和履历C区域52的边界， 俯瞰图像的一部分从实B区域51b移动到履历C区域52，或从履历C区域 52移动到实B区域51b。在本事例中，由于自身车辆后退，所以为前者。 此外，处于实B区域51b中的自身车辆的影子的图像移动到履历C区域52 中。

与此同时，在步骤140中，在将实A区域51a及履历B区域53以图2 的右侧那样的配置接合的区域内(注意履历C区域52没有被接合)，按照 如上述那样计算出的周围的相对移动量，使俯瞰图像移动。因而，随着车 辆的后退，在图3的处理的开始最初为空的履历C区域52内俯瞰图像增加。

由此，对应于该相对移动量，在实A区域51a与履历B区域53的边界， 俯瞰图像的一部分从实A区域51a向履历B区域53、或从履历B区域53 向实A区域51a移动。在本事例中，由于自身车辆后退，所以为前者。因 而，随着车辆的后退，在图3的处理的开始最初为空的履历B区域53内俯 瞰图像增加。

在步骤140之后，处理回到步骤105。然后，车辆继续后退，假设自身 车辆的影子持续处于最新的摄影图像内(与实B区域51b对应的位置内)。 在此情况下，在履历B区域53中的俯瞰图像的数据不到规定量的期间中， 控制装置2在步骤105中判定档位位置是倒车，在步骤125中判定为有影 子，在步骤145中判定为在履历B区域53内俯瞰图像的数据不到规定量。

因而，控制装置2将步骤105、110、115、120、125、145、130、135、 140以该顺序反复执行。各步骤的处理内容与已经说明的同样。

结果，如图4A、图4B、图4C所示，匹配于车辆的后退(既可以是直 行后退，也可以是拐弯后退)，实B区域51b内的俯瞰图像逐渐被储存到履 历C区域52内。在此期间中，如已经说明那样，在步骤130中，将接合了 实A区域51a、实B区域51b及履历C区域52内的俯瞰图像的合成俯瞰图 像(及车辆的图像54)持续显示到图像显示装置3上。

此外，在此期间中，由于在实B区域51b中的俯瞰图像中持续存在自 身车辆的影子，所以在履历C区域52中持续被储存有影子的俯瞰图像。因 而，如图4A、图4B、图4C那样，实际不存在的影子在履历C区域52内 作为图像扩大。

此外，通过如上述那样控制装置2将步骤105、110、115、120、125、 145、130、135、140以该顺序反复执行，匹配于车辆的后退(既可以是直 行后退，也可以是拐弯后退)，实A区域51a内的俯瞰图像逐渐被储存到履 历B区域53内。但是，在此期间中，履历B区域53不被用于图像显示装 置3的显示。

实A区域51a与实B区域51b相比，保存距车辆的后端更远的后方位 置(例如，从自身车辆后端离开3米以上的后方)的俯瞰图像。因而，在 实A区域51a中的俯瞰图像中拍摄有自身车辆的影子的可能性比较低。在 本事例中，假设在实A区域51a中的俯瞰图像中没有拍摄有自身车辆的影 子。因而，在从实A区域51a移动而储存到履历B区域53中的俯瞰图像中 也没有拍摄有自身车辆的影子。

然后，假设在自身车辆的影子持续处于最新的摄影图像内(与实B区 域51b对应的位置内)的状态下自身车辆继续后退，结果履历B区域53中 的俯瞰图像的数据成为规定量以上。

在此情况下，控制装置2在步骤105中判定档位位置是倒车，在步骤 125中判定为有影子，向步骤145前进，而在步骤145中，判定为在履历B 区域53内俯瞰图像的数据是规定量以上，所以向步骤150前进。

在步骤150中，以图2的右侧所示那样的配置，将实A区域51a、履 历B区域53及履历C区域52的图像接合而合成，将合成后的合成俯瞰图 像向控制装置2中的规定的输出用存储器保存。

步骤150的处理与步骤130不同的是代替实B区域51b(有影子)而 使用履历B区域53(没有影子)这一点。另外，在合成俯瞰图像中，也可 以与步骤130同样叠加表示自身车辆的形状的图像54。

通过这样代替实B区域51b(有影子)而使用履历B区域53(没有影 子)显示，如图4D所示，在自身车辆的后方，在俯瞰图像中到此为止一直 有的影子消失。但是，关于已经移动到履历C区域52中的影子继续显示。

控制装置2通过执行该步骤150的处理，作为图像合成部22发挥功能。 将保存在该输出用存储器中的合成俯瞰图像从控制装置2向图像显示装置3 输入，结果，图像显示装置3将该合成俯瞰图像对驾驶员显示。

接着，在步骤155中，通过与步骤130相同的方法，计算遵循周知的 阿克曼模型(Ackerman model)的自身车辆的运动量(移动矢量及姿势变 化角度)。控制装置2通过执行该步骤155的处理，作为车辆运动计算部23 发挥功能。

接着，在步骤160中，基于在之前的步骤155中计算出的自身车辆的 运动量，用与步骤140同样的方法计算表示自身车辆的周围(假定固定在 路面上)相对地相对于自身车辆怎样移动的相对移动量。

并且，在将实A区域51a、履历B区域53及履历C区域52c以图2的 右侧那样的配置接合的结合区域内，按照如上述那样计算出的周围的相对 移动量，使保存在该结合区域的全部的俯瞰图像移动，以使该结合区域内 的俯瞰图像反映车辆的当前的周围的配置。

由此，对应于该相对移动量，在实A区域51a与履历B区域53的边界， 俯瞰图像的一部分从实A区域51a移动到履历B区域53，或从履历B区域 53移动到实A区域51a。在本事例中，由于自身车辆后退，所以为前者。 因而，随着车辆的后退，在图3的处理的开始最初为空的履历B区域53内 俯瞰图像增加。

由此，对应于该相对移动量，在履历B区域53与履历C区域52的边 界，俯瞰图像的一部分从履历B区域53移动到履历C区域52，或从履历C 区域52移动到履历B区域53。在本事例中，由于自身车辆后退，所以为 前者。此时，由于在实B区域51b中没有自身车辆的影子，所以自身车辆 的影子的图像也不会移动到履历C区域52。

在步骤160后，处理回到步骤105。然后，车辆继续后退，假设自身车 辆的影子持续处于最新的摄影图像内(与实B区域51b对应的位置内)。在 此情况下，控制装置2在步骤105中判定档位位置是倒车，在步骤125中 判定为有影子，在步骤145中判定在履历B区域53内俯瞰图像的数据是规 定量以上。

因而，控制装置2将步骤105、110、115、120、125、145、150、155、 160以该顺序反复执行。各步骤的处理内容与已经说明的同样。

结果，如图4D、图4E、图4F所示，匹配于车辆的后退(既可以是直 行后退也可以是拐弯后退)，实A区域51a内的俯瞰图像逐渐被储存到履历 B区域53内，并且履历B区域53内的俯瞰图像逐渐被储存到履历C区域 52内。

在此期间，如已经说明那样，在步骤150中，将接合了实A区域51a、 履历B区域53及履历C区域52内的俯瞰图像的合成俯瞰图像(及车辆的 图像54)在图像显示装置3上持续显示。

此外，在此期间，由于在履历B区域53中的俯瞰图像中不存在自身车 辆的影子，所以在履历C区域52中持续储存没有影子的俯瞰图像。因而， 如图4D、图4E、图4F那样，尽管已经移动的影子残留在履历C区域52 中而移动，但能够防止实际上不存在的影子在履历C区域52内作为图像进 一步扩大。

然后，假设因车辆的朝向变化等的理由，自身车辆的影子从实B区域 51b中的俯瞰图像消失。在此情况下，控制装置2在步骤125中判定为在之 前的步骤115中制作出的俯瞰图像中不存在影子，向步骤130前进。但是， 步骤130、135、140的处理内容是已经说明那样的。但是，此次由于在实B 区域51b内的俯瞰图像中不存在自身车辆的影子，所以在步骤140中，影 子的图像不从实B区域51b移动到履历C区域52。

然后，在自身车辆的影子没有进入到实B区域51b中的俯瞰图像中的 原状下车辆后退的期间，控制装置2在步骤125中判定为没有影子，所以 重复步骤105、110、120、125、130、135、140的处理。在此情况下，也 由于在实B区域51b内的俯瞰图像中没有影子，所以影子的图像不会从实 B区域51b移动到履历C区域52。

这样，在实B区域51b内的俯瞰图像中没有影子的情况下，通过不是 将履历B区域53、而是将实B区域51b内的俯瞰图像在显示中使用，从而 使用最新的摄影图像使显示的范围扩大。

另外，在上述事例中，在图3的处理开始的时点，自身车辆的影子已 经进入到摄影图像中。但是，也可以想到在图3的处理开始的时点自身车 辆的影子没有进入到摄影图像中、之后因车辆的朝向变化等的理由而自身 车辆的影子出现在摄影图像内的事例。

在这样的情况下，在自身车辆的影子没有进入到实B区域51b中的俯 瞰图像中、车辆后退的期间，控制装置2在步骤125中判定为没有影子， 所以重复步骤105、110、120、125、130、135、140的处理。在此情况下， 由于在实B区域51b内的俯瞰图像中没有影子，所以影子的图像不会从实 B区域51b移动到履历C区域52。此外，在此情况下，在步骤140中，随 着车辆的后退移动，俯瞰图像被从实A区域51a逐渐储存到履历B区域53 中。

然后，在履历B区域53中俯瞰图像的数据被储存规定量以上，再然后， 假设因车辆的朝向变化等的理由而自身车辆的影子出现在实B区域51b中 的俯瞰图像内。在此情况下，控制装置2在步骤125中判定为有影子，在 步骤145中判定为在履历B区域53内俯瞰图像的数据是规定量以上，向步 骤150前进，将步骤150、155、160的处理与已经说明的同样地执行。

但是，在本事例中，由于影子的图像完全没有移动到履历C区域52， 所以在将实A区域51a、履历B区域53、履历C区域52内的俯瞰图像接 合的合成图像中完全没有影子。

并且，然后即使在摄影图像中(具体而言，在与实B区域51b对应的 范围的摄影图像中)有影子，控制装置2然后通过将步骤105、110、115、 120、125、145、150、155、160以该顺序反复执行，从而不使用实B区域 51b内的最新的摄影图像而使用履历B区域53内的摄影图像，所以在将实 A区域51a、履历B区域53、履历C区域52内的俯瞰图像接合的合成图像 中也完全没有影子。

另外，在本实施方式中，在步骤125中，判定在之前的步骤115中制 作出的实B区域51b内的俯瞰图像中是否存在影子。但是，对于该影子是 自身车辆的影子还是其他物体的影子没有判定。

因而，作为临时例，在尽管自身车辆的影子不在俯瞰图像中、但其他 物体的影子处于最新的实B区域51b内的俯瞰图像内的情况下，控制装置 2也进行与自身车辆的影子处于最新的实B区域51b内的俯瞰图像的情况 相同的动作。

即，如果在步骤125中判定为有影子、在履历B区域53中储存有规定 量以上的俯瞰图像的数据，则通过代替实B区域51b而使用履历B区域53， 从而进行以图2的右侧的配置组合的合成俯瞰图像的显示，匹配于车辆的 移动，使该合成俯瞰图像在实A区域51a、履历B区域53、履历C区域52 内移动。

即使这样，由于只是显示的俯瞰图像的一部分从实B区域51b内的最 新的俯瞰图像替换为履历B区域53内的稍旧的俯瞰图像，所以也不会发生 大的问题。此外，即使是将不是影子误判定为影子的情况，也同样不会发 生大的问题。

如以上说明，在本实施方式中，通过执行步骤150～160，当自身车辆 的影子被车载摄像机1摄影时，也能够抑制由图像显示装置3显示的合成 俯瞰图像的品质的下降。

具体而言，设置履历B区域53，使用保存在实A区域51a内的俯瞰图 像在履历B区域53内构成俯瞰图像，以使该履历B区域53内的俯瞰图像 反映车辆的当前的周围的配置。

并且，判定在保存在包括实B区域51b的一部分或全部的规定的区域 中的俯瞰图像内是否有影子，在没有影子的情况下使用保存在实B区域51b 内的俯瞰图像在履历C区域52内构成俯瞰图像，在有影子的情况下使用保 存在履历B区域53内的俯瞰图像在履历C区域52内构成俯瞰图像，以使 履历C区域52内的俯瞰图像反映车辆的当前的周围的配置。

这样，能够根据影子的有无来选择是使用实B区域51b的俯瞰图像还 是使用履历B区域53的俯瞰图像作为履历合成(这里，是指构成履历C区 域52内的俯瞰图像)的原图像。

由此，在有影子的情况下，使用基于实A区域51a的俯瞰图像(没有 影子的可能性较高的图像)构成的履历B区域53的俯瞰图像进行履历合成， 所以能够降低在履历C区域52内自身车辆的影子扩大的可能性。

此外，在没有影子的情况下，使用实B区域51b的俯瞰图像进行履历 合成，所以履历C区域52内的俯瞰图像的摄影时期变得比较新。

另外，在本实施方式中，即使是在步骤125中判定为有影子的情况， 在步骤145中判定为在履历B区域53中没有规定量以上数据的情况下，在 步骤150～160中也不将履历B区域53用于显示及向履历C区域52的俯瞰 图像移动，而在步骤130～140中将实B区域51b用于显示及向履历C区域 52的俯瞰图像移动。

这样做是因为，即使在实B区域51b的俯瞰图像中有影子，如果在履 历B区域53中没有储存充分的量的俯瞰图像的阶段中将履历B区域53用 于显示，则在有图像显示装置3显示的合成俯瞰图像中出现空白，进而该 空白移动到履历C区域52中。

另外，在上述实施方式中，控制装置2通过执行步骤110作为取得装 置的一例发挥功能，通过执行步骤115作为俯瞰变换装置的一例发挥功能， 通过执行步骤120作为分割保存装置的一例发挥功能，通过执行步骤125 作为影子判定装置的一例发挥功能，通过执行步骤135、155作为运动计算 装置的一例发挥功能，通过执行步骤130、150作为显示控制装置的一例发 挥功能，通过执行步骤130作为第1显示控制装置的一例发挥功能，通过 执行步骤140作为第1履历图像构成装置的一例发挥功能，通过执行步骤 150作为第2显示控制装置的一例发挥功能，通过执行步骤160作为第2履 历图像构成装置的一例发挥功能，通过执行步骤145作为数据量判定装置 的一例发挥功能。

(其他实施方式)

以上，对本发明的实施方式进行了说明，但本发明的范围并不仅限定 于上述实施方式，包含能够实现本发明的各发明特定事项的功能的各种形 态。例如，也容许以下这样的形态。

(1)在步骤145中，也可以替换为车辆是否后退移动了规定距离以上 (或是否后退移动了规定时间以上)的判定。这是基于如果车辆后退了充 分的距离则在履历B区域53中包含相当于充分的量的俯瞰变换的数据的考 虑的动作。

(2)在上述实施方式的步骤125中，不判断是否是自身车辆的影子， 只要在实B区域51b中有影子，即使它是自身车辆以外的物体的影子，也 只要处于实B区域51b内就判定为有影子。

但是，也可以并不一定这样，也可以仅在实B区域51b内有影子、该 影子是自身车辆的影子的情况下判定为有影子，在其以外的情况下判定为 没有影子。

(3)此外，在上述实施方式中，作为判定是否有影子的范围，仅将实 B区域51b全部的内部的俯瞰图像作为对象，但也可以仅将实A区域51a 的全部及实B区域51b的总和的区域内的俯瞰图像作为对象。或者，也可 以仅将实A区域51a的一部分及实B区域51b的一部分的总和的区域内的 俯瞰图像作为对象。或者，也可以将车载摄像机1的摄影图像全体作为对 象。

即，只要判定在保存在包括实B区域51b的一部分的规定的区域中的 俯瞰图像中是否有影子就可以。这是因为，如果这样，则通过在至少实B 区域51b的该一部分中有影子的情况下执行步骤150～160，能够减少影子 被显示的量。此外，假如有在判定对象中的实B区域51b中没有影子、在 其他部分中有影子的情况下也执行步骤150～160的情况，但在此情况下也 只是显示的图像不为最新，所以没有大的问题。

(4)在上述各实施方式中，车载摄像机1将车辆的后方的规定范围反 复摄影，但车载摄像机1也可以将车辆的前方的规定范围反复摄影。在此 情况下，在上述说明书中，将车辆的前后替换。

(5)此外，在上述实施方式中，在步骤140中，基于车辆的运动量使 俯瞰图像在将实A区域51a、实B区域51b及履历C区域52c接合的结合 区域内移动，与此同时，使俯瞰图像在将履历B区域53及实A区域51a 接合的结合区域内移动。

这样，则履历C区域52内的各位置的俯瞰图像成为其位置从车载摄像 机1的摄影范围脱离之前(从实B区域51b脱离之前)的俯瞰图像。但是， 也可以并不一定这样。

例如，履历C区域52内的各位置的俯瞰图像也可以为比其位置从车载 摄像机1的摄影范围脱离之前更靠前的俯瞰图像。

即，在步骤140中，履历C区域52只要基于车辆的运动量使用保存在 实B区域51b内的俯瞰图像构成、以使履历C区域52内的俯瞰图像反映车 辆的当前的周围的配置就足够。

(6)此外，在上述实施方式中，在步骤160中，基于车辆的运动量， 使俯瞰图像在将实A区域51a、履历B区域53及履历C区域52c接合的结 合区域内移动。

这样，则履历C区域52内的各位置的俯瞰图像成为其位置从履历B区 域53脱离之前的俯瞰图像。但是，也可以并不一定这样。

例如，履历C区域52内的各位置的俯瞰图像也可以为比其位置从履历 B区域53脱离之前更靠前的俯瞰图像。

即，在步骤160中，履历C区域52只要基于车辆的运动量使用保存在 实B区域53内的俯瞰图像构成、以使履历C区域52内的俯瞰图像反映车 辆的当前的周围的配置就足够。

(7)此外，在上述实施方式中，在步骤140中，基于车辆的运动量， 使俯瞰图像在将实A区域51a及履历B区域53接合的结合区域内移动。

此外，在步骤160中，基于车辆的运动量，使俯瞰图像在将实A区域 51a、履历B区域53及履历C区域52c接合的结合区域内移动。

这样，履历B区域53内的各位置的俯瞰图像成为其位置从实A区域 51a脱离之前的俯瞰图像。但是，也可以并不一定这样。例如，履历B区域 53内的各位置的俯瞰图像也可以为比其位置从实A区域51a脱离之前更靠 前的俯瞰图像。

即，履历B区域53内的俯瞰图像只要基于车辆的运动量使用保存在实 A区域51a内的俯瞰图像构成、以使履历B区域53内的俯瞰图像反映车辆 的当前的周围的配置就足够。

(8)此外，在上述实施方式中，通过设置履历B区域53，能够得到 下述(a)、(b)两个效果。(a)由于使用履历B区域53显示，所以在自身 车辆的移动时影子跟在自身车辆的后方的可能性被降低。(b)由于使图像 从履历B区域53移动到履历C区域52，所以自身车辆的影子在履历C区 域52中扩大的可能性被降低。

但是，(a)的效果不是必须的。即，在图3的处理中，在步骤150中， 与步骤130同样，也可以将实A区域51a、实B区域51b及履历C区域52 内的俯瞰图像的合成图像保存到输出用存储器中。

将本公开依据实施例进行了说明，但应理解的是本公开并不限定于该 实施例及构造。本公开还包含各种各样的变形例及等价范围内的变形。除 此以外，各种各样的组合或形态、还有在它们中仅包含一个要素、其以上 或以下的其他组合或形态也包含在本公开的范畴或思想范围中。