首页> 中国专利> 车辆判别装置、车辆判别方法、车辆判别程序、以及存储了车辆判别程序的程序记录介质

车辆判别装置、车辆判别方法、车辆判别程序、以及存储了车辆判别程序的程序记录介质

摘要

本发明提供一种车辆判别装置、车辆判别方法、车辆判别程序、以及存储了车辆判别程序的程序记录介质,其在按照车种来判别大量的车辆静态图像数据时,能够在快速处理中进行判别。将摄像图像的等间隔位置处的像素转换成亮度成分,施加微分滤波器,求取变化量,对求出的变化量中存在多少个大于一定值以上的变化量进行计数,根据该计数值,判别被拍摄到对象图像中的车辆,所以计数值也随着摄像图像中摄像到的对象物的大小而改变,占有区域大的,计数值也大,占有区域小的,计数值也小,从而能够准确地判别车辆。

著录项

  • 公开/公告号CN101454815A

    专利类型发明专利

  • 公开/公告日2009-06-10

    原文格式PDF

  • 申请/专利权人 富士通株式会社;

    申请/专利号CN200780019483.8

  • 申请日2007-05-25

  • 分类号G08G1/015(20060101);G06T1/00(20060101);G06T7/00(20060101);G08G1/04(20060101);H04N7/18(20060101);

  • 代理机构11127 北京三友知识产权代理有限公司;

  • 代理人黄纶伟

  • 地址 日本神奈川县

  • 入库时间 2023-12-17 22:10:28

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2023-06-02

    未缴年费专利权终止 IPC(主分类):G08G 1/015 专利号:ZL2007800194838 申请日:20070525 授权公告日:20120404

    专利权的终止

  • 2012-04-04

    授权

    授权

  • 2009-08-05

    实质审查的生效

    实质审查的生效

  • 2009-06-10

    公开

    公开

说明书

技术领域

本发明涉及利用信息处理技术,根据车辆的摄像图像来判别车辆的 装置。

背景技术

作为本发明的第一背景技术,存在日本特开2000-149181号公报中 公开的技术。

该第一背景技术涉及一种交通流量计测系统,其包括:照相机,其 用于对路面和通过路面上设定区域的车辆进行连续拍摄,从而得到连续 图像;亮度直方图计算单元,其用于通过计算分别对所述连续图像求取 亮度直方图;差分计算单元,其用于计算所述亮度直方图的时间系列差 分;保存单元,其用于将在设定时间中无变化的所述亮度直方图作为路 面数据进行保存;差分计算单元,其在所述设定时间中,所述亮度直方 图发生变化时,计算前后2个亮度直方图的差分;以及车辆检测单元, 其对所述差分和预先设定的阈值进行比较,判别车辆的存在。

根据该第一背景技术,能够将车辆的存在高精度地数值化。

作为本发明的第二背景技术,存在日本特开2002-8186号公报中公 开的技术。

该第二背景技术涉及一种车种识别装置,其具备:轮廓线提取单元, 其通过对成为识别对象的车辆的图像数据进行微分处理,从而提取该车 辆的轮廓线;特征量提取单元,其通过对上述轮廓线提取单元所提取的 轮廓线在预定区域内的预定提取方向成分的频率进行计算,从而提取该 轮廓线的特征量;存储单元,其将预先取得的、成为识别基准的车辆的 基准特征量和表示该车辆种类的信息相互关联起来存储;以及特征量匹 配单元,其对上述特征量提取单元所提取的特征量和存储于上述存储单 元的基准特征量相互进行匹配,从而识别成为上述识别对象的车辆的种 类。

像这样,根据第二背景技术,通过轮廓线提取单元提取车辆的轮廓 线,通过特征量提取单元提取轮廓线的特征量。并且,特征量匹配单元 对该特征量和预先取得的基准特征量进行匹配,识别车辆的种类。从而, 由于不是像以往那样单纯地依据外观上的尺寸,而是根据车辆各部的轮 廓线的特征量来识别车种,所以车辆和背景部分之间的亮度差不会造成 问题,能够识别车种,提高车种识别的精度。

作为本发明的第三背景技术,存在日本专利第3453952号公报中记 载的技术。

该第三背景技术涉及一种交通流量计测装置,其包括:图像输入单 元,其保持被输入的由摄像机拍摄到的道路上的图像;图像分析单元, 其对所述道路上的图像的亮度分布进行分析;车辆跟踪单元,其对从依 次输入的道路上的图像切出的模板(template)进行图案匹配,跟踪车辆; 车辆判断单元,其根据所述图案匹配结果计算车辆的跟踪距离,在计算 结果的值大于预定值的情况下,判断为通过车辆;以及车种判断单元, 其在判断为所述通过车辆的情况下,在垂直方向上对预先确定的车种判 断区域的图像进行微分,将微分后的图像投影到水平方向上,相加得到 波形,选择相隔最远的2个所述波形的峰,根据选出的2个峰的各个垂 直方向的坐标,将2个模板登记,由所述2个模板的中心坐标之差,计 算将车辆前面部投影到道路上的投影长度,由计算出的多个地点的投影 长度的变化率,判断所述车辆的高度,根据判断出的高度,判断所述车 辆的种类。

像这样,根据第三背景技术,不利用模板切出车辆的影子,并且也 不用1个模板切出2台车辆,因此不会影响车辆的影子,即使在并行的 车辆重合的情况下,也能够精确地识别车辆。并且,无需背景图像,所 以即使在混杂时,也能够高精度地跟踪车辆。

专利文献1:日本特开2000-149181号公报

专利文献2:日本特开2002-8186号公报

专利文献3:日本专利第3453952号公报

所述第一背景技术中,以动态图像为对象,若为动态图像(连续图 像内),则使用差分法,提取动态物体,进行其图案匹配,从而有可能能 够判断是不是二轮车。但是,为静态图像的情况下,不像动态图像那样, 由多张静态图像构成,不能对静态图像彼此进行比较,仅提取动态物体, 因此需要判断二轮车位于哪里,存在没有该判断单元就不能判断有无车 辆的问题。

并且,所述第二背景技术中,从一张彩色静态图像提取四轮车的情 况下,由于占有一定程度的面积,所以提取图像内的边缘,能够根据该 边缘间距离、特性等,推测车辆位置。但是,由于二轮车与四轮车相比, 在静态图像内所占的面积较小,所以仅利用了边缘的方法不太有效,存 在难以正确进行判断的问题。

此外,所述第三背景技术也与所述第一背景技术相同,以动态图像 为前提,若不是动态图像,则车辆跟踪单元不发挥作用,不能执行之后 的处理,不能识别车辆。

发明内容

本发明的目的在于,提供一种车辆判别装置,其按照车种判别大量 的车辆静态图像数据时,能够在快速处理中进行判别。

通常在图像识别中使用微分滤波器时,用于轮廓线提取等。此时, 针对图像内的全部像素施加微分滤波器。

但是,四轮车由多个复杂形状的部件构成,所以构成复杂的边缘群。 另一方面,二轮车在图像中所占面积的比例较小,与四轮车相比,边缘 群不受限。

因此,对于四轮车和二轮车图像中的边缘群的特征提取,即使不对 图像内全部施加微分滤波器,也能够得到。

本发明中,针对图像中的HSI(色相(Hue)·饱和度(Saturation)·亮 度(Intensity))的I成分,对栅格的顶点(向水平方向n个、向垂直方向 n个)施加微分滤波器,使用由此得到的图像中的亮度的计算值,进行二 轮车图像和二轮车图像以外的图像的判别,能够实现该处理的快速化。

(1)取出拍摄到车辆的彩色静态图像的RGB直方图,由该RGB, 计算并求取HIS的I成分(亮度)。

(2)对求出的I成分施加微分滤波器,求取在图像内的浓度变化。 此时,微分滤波器仅对图像上指定的栅格顶点、即构成栅格的栅格线的 交点施加。

(3)对1张图像,将图像分为左端·中央·右端3部分,求取各区域 的整个变换量相对于整个区域的整个变换量所占的变化量的比例。

(4)变化量大于第一阈值的变化量个数少于第二阈值,并且,上述 变化量比例满足预定条件时,判别为二轮车,若不是,则判别为二轮车 以外的车辆。

此外,对(2)中求出的浓度(亮度)变化实施平滑化,使变化量平 滑,能够除去噪声。

[1]本发明的车辆判别装置,其根据车辆的图像进行车辆的判别,该 车辆判别装置的特征在于,所述车辆判别装置包括:特征提取单元,其 用于提取图像中的与预先设定的栅格点对应的像素及其周边像素的亮度 成分;微分单元,其用于对特征提取单元提取出的亮度成分值进行微分 处理,求取与栅格点对应的像素的亮度成分的变化量;特定变化量个数 计算单元,其用于求取微分单元求出的变化量之中、其值为预先确定的 第一阈值以上的值的变化量的个数;以及车辆判别单元,其根据特定变 化量个数计算单元求出的变化量的个数,判别车辆。

根据这种本发明,将摄像图像的等间隔位置的像素及其周边像素转 换成亮度成分,对等间隔位置的像素施加微分滤波器,求取变化量,对 求出的变化量中存在多少个大于一定值以上的变化量的情况进行计数, 根据其计数值,判别被拍摄到对象图像中的车辆,所以计数值也随着摄 像图像中摄像到的对象物的大小而改变,占有区域大的,计数值也大, 占有区域小的,计数值也小,从而能够准确地判别车辆。虽然能够大体 判别四轮车和四轮车以外的车辆,但即使是四轮车中,也能够判别大型 汽车、中型汽车、小型汽车等,即使是四轮车以外的车辆,也能够判别 自动二轮车、带原动力的自行车、自行车、行人、动物等。

“其周边像素”是指对象图像上的分别在水平方向和垂直方向上等间 隔位置处的像素的周边像素,作为必要最小限,是指在下一工序的微分 单元中必要的亮度成分值的像素。例如,若微分滤波器以3行3列的阵 列式表示,则将对象图像上的分别在水平方向和垂直方向上等间隔位置 处的像素为中心,垂直方向上3个、水平方向上3个像素的亮度成分值 是下一工序的微分单元中必要的亮度成分值,“其周边像素”是将对象图 像上的分别在水平方向和垂直方向上等间隔位置处的像素除外的4个。

“第一阈值”通常设定在对象图像的未拍摄到对象物的位置求取的变 化量的值和对象图像的拍摄到对象物的位置的变化量的值之间。变化量 的值根据摄像环境而有所不同,所以优选构建装置时进行设定。

当然,特征提取单元也可以求取全部像素的亮度成分的值。

[2]本发明的车辆判别装置的车辆判别单元优选在由特定变化量个 数计算单元求出的变化量的个数为预先确定的第二阈值以上的情况下, 判别为车辆是四轮车。

根据这种本发明,摄像装置摄像的对象物有多种,从占有摄像图像 的区域的观点来看,变化量个数因四轮车还是四轮车以外的车辆而大不 相同,即使是四轮车中最小的轻汽车,与四轮车以外的车辆中较大的自 动二轮车相比,其值也有较大差距,即,在四轮车和四轮车以外的车辆 之间,变化量个数的值有较大差距,其判别是容易的,具有能够准确进 行判别的效果。

因此,“第二阈值”通常设定在对象图像中的对象物为四轮车时的变 化量个数和对象图像中的对象物为四轮车以外的车辆时的变化量个数之 间。变化量个数的值根据摄像环境而有所不同,所以优选构建装置时进 行设定。

[3]本发明的车辆判别装置,其根据车辆的图像进行车辆的判别,所 述车辆判别装置包括:特征提取单元,其用于提取图像中的与栅格点对 应的像素及其周边像素的亮度成分,该栅格点是预先设定的垂直栅格线 和水平栅格线的交点;微分单元,其用于根据特征提取单元提取出的亮 度成分值进行微分处理,求取与栅格点对应的像素的亮度成分的变化量; 特定垂直投影值比例计算单元,其用于沿着垂直栅格线对微分单元求出 的变化量进行累计,求取垂直投影值,按照大小顺序,提取预先确定的 个数的垂直投影值,对提取出的垂直投影值之中沿着相邻垂直栅格线累 计的垂直投影值进行累计,求取特定垂直投影值,求取该特定垂直投影 值相对于与全部栅格点对应的像素的亮度成分的变化量的累计值的比 例;以及车辆判别单元,其根据特定垂直投影值比例计算单元求出的特 定垂直投影值的比例,判别车辆。

根据这种本发明,将摄像图像的等间隔位置处的像素转换成亮度成 分,施加微分滤波器,沿着垂直栅格线对求出的变化量进行累计,求取 垂直投影值,对垂直栅格线彼此存在相邻关系且求出的垂直投影值之中 值大的多个垂直投影值进行累计,求取特定垂直投影值,除以整个变换 量,从而求取特定垂直投影值的比例,因此宽度方向较细的对象物的特 定垂直投影值的比例大,另一方面,宽度方向粗的对象物的特定垂直投 影值的比例小,由此发挥能够准确判断车辆的效果。虽然能够大体上判 别二轮车和二轮车以外的物体,但即使在二轮车中,也能够判别自动二 轮车、带原动力的自行车、自行车、行人、以及动物,即使在四轮车中, 也能够判别大型汽车、中型汽车、以及小型汽车。

[4]本发明的车辆判别装置的车辆判别单元优选在由特定垂直投影 值比例计算单元求出的特定垂直投影值的比例为预先确定的第三阈值以 上的情况下,判别为车辆是二轮车。

根据这种本发明,摄像装置摄像的对象物有多种,从纵向具有一定 长度的、宽度方向的长度的观点来看,特定垂直投影值的比例因二轮车 还是二轮车以外的物体而大不相同,即使是二轮车中最大的自动二轮车, 与四轮车中最小的轻汽车相比,就没有宽度,以及二轮车中最小的自行 车与行人相比,也有纵向长度,即,在二轮车和二轮车以外的物体之间, 特定垂直投影值的比例的值存在较大差距,其判别是容易的,具有能够 准确进行判别的效果。

此外,作为用于判别二轮车的条件,还可以附加特定变化量个数为 第四阈值以下的条件。此时的第四阈值优选[2]的第二阈值以下。

因此,“第三阈值”通常设定在对象图像中的对象物是二轮车时的特 定垂直投影值的比例和对象图像中的对象物是二轮车以外的物体时的特 定垂直投影值的比例之间。特定垂直投影值的比例的值根据摄像环境而 有所不同,所以优选构建装置时进行设定。

应用所述[1]和[3],形成1个装置,从而能够更加准确地执行车辆判 别。即,对比以[1]判别出的结果和以[3]判别出的结果,若为相同结果, 则将该判别结果作为正确结果输出。若为不同结果,则一个判别结果错 误的可能性高,因此作为未确定判别而另输出。此外,对于某个车辆的 种类,[1]的判别结果的正确回答率高,对于其他车辆的种类,[3]的判别 结果的正确回答率高,即[1]和[3]的判别结果的正确回答率有时根据车辆 的种类而有所不同,这时可以采用优先输出判别结果的正确回答率高的 判别结果的结构。例如,[1]的判别结果为轻汽车,对于轻汽车,[1]的至 今的正确回答率为95[%],另一方面,[3]的判别结果为普通轿车,对于 普通轿车,[3]的至今的正确回答率为60[%]时,将[1]的判别结果优先 输出。此外,即使是相同摄像环境的条件值,因时间而改变时,可以用 作参数。例如,可以采用如下结构:还记录在各天气条件下的正确回答 率,读出与作为对象的摄像图像摄像时的天气条件一致的天气条件的正 确回答率。

上述发明作为装置进行了说明,但本领域技术人员应当知道,本发 明可以作为程序、方法、系统实现。

这些上述的发明概要并不是因属于本发明的必要特征而列举的,这 些多个特征的变形也能构成发明。

在大量的车辆静态图像数据输入到车辆判别装置时,能够快速判别 拍摄到二轮车的摄像图像。

在此,本发明可以采用很多不同的方式实施。因此,并不应只用下 述实施方式的记载内容进行解释。并且,在整个实施方式中,对相同要 素附加相同号码。

在实施方式中,主要对装置进行说明,若为本领域技术人员,能够 知道本发明能够作为可在计算机中使用的程序、系统、方法实施。并且, 本发明可以采用硬件、软件、或软件和硬件的实施方式来实施。程序能 够记录在硬盘、CD-ROM、DVD-ROM、光存储装置或磁存储装置等任意 计算机可读介质中。此外,程序能够经由网络记录到其他计算机中。

附图说明

图1是本发明的第一实施方式涉及的摄像环境的说明图。

图2是本发明的第一实施方式涉及的系统结构图和车辆判别装置的 硬件结构图。

图3是本发明的第一实施方式涉及的车辆判别装置的结构框图。

图4是利用本发明的第一实施方式涉及的摄像装置拍摄到的摄像图 像(拍摄到二轮车的情况)。

图5是利用本发明的第一实施方式涉及的摄像装置拍摄到的摄像图 像(拍摄到四轮车的情况)。

图6是本发明的第一实施方式涉及的车辆判别装置的动作流程图。

图7是本发明的第一实施方式涉及的车辆判别装置的特定变化量个 数计算处理的详细流程图。

图8是本发明的第一实施方式涉及的车辆判别装置的特定垂直投影 值比例计算处理的详细流程图。

图9是将其他实施方式涉及的栅格线的全部水平像素的变化量在各 水平位置上垂直投影,进行计算,将计算出的值图表化的图。

图10是将其他实施方式涉及的栅格线的全部水平像素的变化量在 各水平位置上垂直投影,进行计算,将计算出的值图表化的图。

标记说明

10摄像装置;30管理计算机;200车辆判别装置;210 CPU(处理 器);211输入部;212特征提取部;213微分滤波器部;214特定变化量 个数计算部;215特定垂直投影值比例计算部;216车辆判别部;217输 出部;220 DRAM;230硬盘;240显示器;250键盘;260鼠标;270 LAN 卡;280 CD-ROM驱动器

具体实施方式

(本发明的第一实施方式)

[1.系统结构]

图1是本实施方式涉及的摄像环境的说明图。在本实施方式中,将 摄像装置10配置在铺设于工场用地内的道路旁,在工场主屋内配置车辆 判别装置200。被摄像装置10摄像到的摄像图像经由连接摄像装置10和 车辆判别装置200的通信路径发送到车辆判别装置200,车辆判别装置 200对接收到的摄像图像实施信息处理,输出车辆判别结果。利用由管理 者进行操作的管理计算机30对车辆判别结果进行统计,按照四轮车和二 轮车,表示进入到用地内的车辆个数。这些信息例如除了可以用于警备 方面之外,还能够在工场施设增设的设计时使用。

图2是本实施方式涉及的系统结构图和车辆判别装置的硬件结构 图。车辆判别装置200的硬件结构是一般的计算机结构,由CPU(Central Processing Unit)210、DRAM(Dynamic Random Access Memory:动态 随机存取存储器)等主存储器220、作为外部存储装置的硬盘230、作为 显示装置的显示器240、作为输入装置的键盘250和鼠标260、用于与网 络连接的扩展卡即LAN卡270、CD-ROM驱动器280等构成。即,将存 储于CD-ROM等存储介质的车辆判别程序、或经由网络从其他计算机发 送来的车辆判别程序复制到计算机的硬盘230,成为可适当地读出到主存 储器220的状态,即执行安装,由一般的计算机构成车辆判别装置。另 外,还可以不采用一般的计算机,而使用专用作车辆判别装置的硬件来 构成车辆判别装置。具体地说,采用ASIC(Application Specific IC:专 用集成电路)来安装车辆判别装置上的逻辑(logic),与存储器等多个LSI 一起,用系统LSI构成车辆判别装置。

管理计算机30的硬件结构也与车辆判别装置200相同,采用一般的 计算机构成。在此,也可以将车辆判别装置200和管理计算机30构建到 同一计算机上。

图3是本实施方式涉及的车辆判别装置的结构框图。车辆判别装置 200包括:输入部211,其从摄像装置10读取摄像图像;特征提取部212, 其对RGB形式的摄像图像进行HSI转换,提取I成分;微分滤波器部213, 其仅针对所提取的HSI形式的I成分的提取数据,仅在特定点实施微分 滤波器;特定变化量个数计算部214,其计算构成滤波器数据的变化量在 第一阈值以上的变化量个数;特定垂直投影值比例计算部215,其对摄像 图像数据上的水平位置相同的构成滤波器数据的变化量进行累计,对累 计得到的值中满足特定条件的值进一步进行累计,求取特定垂直投影值, 将该特定垂直投影值除以整个变换量的累计值,求取特定垂直投影值的 比例;车辆判别部216,其根据求出的特定变化量个数和特定垂直投影值 比例是否满足预定条件,判别当前成为对象的摄像图像数据中被摄像到 的车辆是四轮车还是二轮车;以及输出部217,其输出车辆判别数据。在 此的结构框图是一例,若是所谓的本领域技术人员,当然可实施适当设 计变更,在不变更本发明的实质部分的范围内,改变模块结构。即,功 能模块的捕获方式根据安装者、安装环境以及式样而有所不同。

摄像装置10有2台,一台用于拍摄进入的车辆,对进入方向的预定 范围进行拍摄,另一台用于拍摄退出的车辆,对退出方向的预定范围进 行拍摄。图4是利用本实施方式涉及的摄像装置拍摄到的摄像图像(拍 摄到二轮车的情况)。图5是利用本实施方式涉及的摄像装置拍摄到的摄 像图像(拍摄到四轮车的情况)。摄像装置例如相当于CCD照相机。图4 中,摄像图像上记载有水平栅格线110和垂直栅格线120。水平栅格线 110和垂直栅格线120的交点为栅格点130,由相邻的4个栅格点130构 成栅格140。在图5中也是相同的。

[2.特征提取处理]

将特征提取部212使用的RGB形式的摄像图像转换成HSI形式的技 术是众所周知的惯用技术,在此不再详述。

特征提取部212需要求取的只有HSI形式的H成分、S成分、I成分 之中的I成分,所以无需求取H成分、S成分。不求取这些成分,从而能 够避免不必要的运算处理。

并且,也可以不必对摄像图像数据的全部像素求取I成分,而仅最 小限度地,在应用微分滤波器时求取必要像素的I成分即可。该最小限的 I成分还取决于微分滤波器的大小,为3行3列的微分滤波器的情况下, 每个对象点需要包括对象点在内的上下3个、左右3个,共计5个像素 的I成分。通常,在n行n列的微分滤波器的情况下,需要(2n-1)[个]I 成分。当然,在必要的I成分重复的情况下,无需重复求取I成分。

在本实施方式中,对象点是由图4或图5所示的垂直栅格线和水平 栅格线形成的多个栅格的顶点。这样,能够在摄像图像中等间隔地配置 对象点。图4和图5中,垂直栅格线和水平栅格线分别为5根,但本发 明不限于此。可以分别为n根,也可以分别为n根、m根。

若栅格线个数减少,则运算处理量减少,所以速度加快,但还是存 在最低限必要的栅格线个数的。该栅格线个数在各摄像环境下有所不同, 在运用中实现优化。虽然运用者可以采用手动一边参照判别结果的回答 正确率一边进行设定,但优选具备控制部,该控制部根据作为目标的判 别结果的正确回答率,由初始状态的栅格线个数增加或减少栅格线个数。

摄像环境是摄像装置10的配设周边环境(路面、时间(早上、白天、 夜晚等)、天气(晴天、雨天、多云等)、季节等)、摄像装置10的摄像 区域、摄像装置10自身的摄像性能等。优选构建以这些参数为输入数据, 将输出数据设为垂直栅格线和水平栅格线的个数的神经网络、SOM (Self-Organizing Map:自组地图)等。

[3.微分滤波器处理]

微分值中存在差异的地方为图像内的浓度发生变化的点(浓度值的 斜率越大,微分值变化越大)。

差异越大,越表示浓度急剧改变的点,所以能够推测为在存在该差 异的点附近出现路面以外的物体。

为二轮车的情况下,路面信息较多,因此与四轮车相比,引起浓度 变化的点较少。由此,着眼于该引起浓度变化的点,若这些点多于某一 定值,且少于四轮车,则能够判别为二轮车。

微分滤波器是指将图像数据在各点上的微系数设为新像素值的滤波 器。实际上,由于是数字图像,所以要考虑差分。滤波器系数包括水平 方向成分和垂直方向成分。

水平方向的滤波器系数如下。

[式1]

-101-202-101···(1)

垂直方向的滤波器系数如下。

[式2]

-1-2-1000121···(2)

本实施方式使用微系数的大小。求取水平方向成分gh(i,j)、垂直方 向成分gv(i,j)之后,由

[式3]

g(i,j)=gh2(i,j)+gv2(i,j)···(3)

求取g(i,j)。

所述微分滤波器通常被称为Sobel滤波器(参考文献:高木幹雄、 下田陽久、「新画像解析ハンドブク」(p1231)、束京大学出版会)。

[4.特定变化量个数计算处理]

对摄像图像上的由垂直栅格线和水平栅格线形成的栅格的顶点、即 栅格点的像素的变化量之中,具有预定阈值以上的值的变化量进行计数。 在摄像图像中具有一定值以上的变化量的点,可推测为位于所述栅格点 之中映到摄像图像的二轮车、四轮车上。并且,比较位于二轮车的栅格 点和位于四轮车的栅格点的情况下,四轮车与二轮车相比,在摄像图像 中所占的面积要大,因此存在的栅格点个数增多。因此,根据该存在的 栅格点个数,能够判别映到摄像图像中的对象物是四轮车还是四轮车以 外的车辆。

[5.特定垂直投影值比例计算处理]

对摄像图像上的各垂直栅格线上的栅格点的像素的变化量进行累 计,得到垂直投影值。对该垂直投影值中、从大值起预先决定个数的垂 直投影值进行累计,求取特定垂直投影值。并且,将特定垂直投影值除 以对全部垂直投影值进行累计得到的全垂直投影值、即整个变换量,求 取特定垂直投影值比例。另外,需要使通过构成特定垂直投影值的垂直 投影值的像素的线段是连续的。即,例如,第三垂直栅格线和第四垂直 栅格线在横向上连续,可以将第三垂直栅格线和第四垂直栅格线的垂直 投影值累计,但是第一垂直栅格线和第三垂直栅格线不在横向上连续, 若包括第二垂直栅格线在内也不连续,则不能对第一垂直栅格线和第三 垂直栅格线的垂直投影值进行累计。

若观看到被拍摄到摄像图像中的二轮车,则与全部垂直栅格线之中 多根垂直栅格线重合(第一特性)。另一方面,若观看到被拍摄到摄像图 像的四轮车,则与全部垂直栅格线之中的大部分垂直栅格线重合。但是, 如[4.特定变化量个数计算处理]中所说明的,位于四轮车的栅格点比位于 二轮车的栅格点多。而且,位于二轮车、四轮车的像素的变化量的值比 不存在对象物的路面大。并且,摄像图像上的栅格点的整个变换量之中 的预定以上是位于映到摄像图像的对象物中的栅格点的变化量的累计 值。这样,在拍摄到二轮车的摄像图像中,占栅格点的整个变换量之中 预定以上的部分也仍成为位于二轮车的栅格点的变化量的累计值(第二 特性)。

因此,根据第一特性和第二特性,若满足全部垂直栅格线之中多根 垂直栅格线上的栅格点的变化量的累计值占栅格点的整个变换量之中预 定以上的条件,则能够推测为是二轮车等。相反,若拍摄到二轮车等对 象物之外的物体,则能够推测为是四轮车。在此,以摄像图像中拍摄到 对象物的情况为前提进行了说明,但在未拍摄到对象物的摄像图像的情 况下,不满足所述条件,所以包括在四轮车的推测结果中。不希望包括 在四轮车的推测结果的情况下,对栅格点的整个变换量的值进行阈值判 别,从而可将其除去。即,未拍摄到对象物的大部分仅由路面构成的摄 像图像中,在各栅格点上的变化量较少,因此所累计的整个变换量的值 也较少。同样,根据变化量个数是否在预定以下,能够判断是否是仅由 路面构成的摄像图像。

[6.车辆判别]

在利用车辆判别部216进行的判断中,特定变化量个数和特定垂直 投影值比例应满足的预定条件的详细情况根据摄像环境而有所不同,但 可以按照下面所说的预定条件为基准进行设定。

该预定条件如下,即,第一条件是特定变化量个数为第二阈值以上, 第二条件是特定垂直投影值比例为第三阈值以上。该预定条件基于[4.特 定变化量个数计算处理]和[5.特定垂直投影值比例计算处理]中说明事项 所记载的理论。若满足第一条件,则为四轮车;若不满足第一条件,则 仅为二轮车、路面。若满足第二条件,则为二轮车;若不满足第二条件, 则仅为四轮车、路面。仅为路面而未拍摄到对象物的摄像图像可以采用 上述的方法除去,所以能够判别二轮车和四轮车。能够更准确地以第一 条件判别四轮车,以第二条件判别二轮车,能够以第一条件和第二条件 判别四轮车和二轮车。

在此,四轮车以外的车辆是指二轮车(自动二轮车、带原动力的自 行车、自行车),二轮车以外的物体仅包括行人、动物、以及路面。另外, 本发明中的四轮车包括桥车等普通汽车、公共汽车或大型卡车等大型汽 车。当然,不仅包括配设有四个轮胎的车辆,还包括配设有四个以上轮 胎的车辆、配设有四个以下轮胎的车辆。配设有四个以上轮胎的车辆可 以举出大型卡车为一例,配设有四个以下轮胎的车辆可以举出三轮车为 例。即,本发明能够判别映到对象图像的车辆是否是具有预定区域以上 的占有空间的车辆,在不脱离本发明的宗旨的范围内,可以解释为四轮 车。

并且,在属于特定变化量个数为第二阈值以下的条件的情况下,二 轮车以外的物体仅包括行人、动物、以及路面,但是,若特定垂直投影 值比例为第三阈值以上,仅不包括路面。通过第三阈值的调整,能够进 一步详细地判别二轮车。

[7.基于流程图的动作说明]

图6是本实施方式涉及的车辆判别装置的动作流程图,图7是本实 施方式涉及的车辆判别装置的特定变化量个数计算处理的详细流程图, 图8是本实施方式涉及的车辆判别装置的特定垂直投影值比例计算处理 的详细流程图。

CPU 210作为输入部211,从摄像装置10接收并取得摄像图像(步 骤S100)。摄像装置10能够在拍摄后实时地将摄像图像发送到车辆判别 装置200,也可以在预定次数的摄像次数或预定时间后进行发送。

CPU 210作为特征提取部212,针对摄像图像中栅格的顶点和微分滤 波器中需要的栅格的顶点的周边,从RGB成分转换成I成分(步骤S200)。

CPU 210执行平滑化处理(步骤S300)。平滑化处理是各种公知的 惯用技术,只要是本领域技术人员,就能够适当安装,所以在此不再详 述。例如,作为平滑化用的滤波器,存在下述式(4)的滤波器。n大于 1。除此之外,还存在加权平均滤波器、中值滤波器。另外,在步骤S200 中,还求取微分滤波器中需要的栅格顶点周边像素的I成分,能够适用平 滑化用的滤波器。其中,微分滤波器为n行n列,平滑化用的滤波器为 m行m列时,n≥m。当n<m时,在步骤S200中,需要作为平滑化滤波 器用,求取I成分。

[式4]

1n1n1n1n1n1n1n1n1n···(4)

并且,在步骤S300中实施了平滑化处理,但也可以在步骤S100和 步骤S200之间实施平滑化处理。可以对摄像图像的全部像素执行平滑化 处理;也可以仅对微分滤波器中使用的像素实施平滑化处理,仅对实施 了平滑化处理的像素,执行步骤S200。

CPU 210作为微分滤波器部213,对实施了平滑化处理的I成分的提 取数据,施加微分滤波器(步骤S400)。这样,作为滤波器数据求取各栅 格在顶点上的变化量。

接着,CPU 210执行步骤S500的已定义特定变化量个数计算处理和 步骤S600的已定义特定垂直投影值比例计算处理。对于各个处理的详细 情况将在后面叙述。

CPU 210作为车辆判别部216,根据特定变化量个数和特定垂直投影 值比例判别摄像到的车辆是二轮车还是四轮车,制作车辆判别数据(步 骤S700)。具体地说,若特定变化量个数为第二阈值以下,则判断是四轮 车以外的车辆;若特定变化量个数为第四阈值以下且特定垂直投影值比 例为第三阈值[%]以上,则判断是二轮车。车辆判别数据由表示二轮车、 四轮车的种类的标记构成。

CPU 210作为输出部217,将车辆判别数据和摄影图像、摄影时刻以 及摄影场所识别信息一起输出到统计装置、即管理计算机30(步骤S800)。

管理计算机30对每个摄像装置10,累计二轮车和四轮车的个数。 而且,从对进入的车辆进行拍摄的摄像装置10的累计结果减去对退出的 车辆进行拍摄的摄像装置10的累计结果,从而分为二轮车和四轮车,将 当前工厂内进入的车辆个数显示到管理计算机30的显示器240上。

(特定变化量个数计算处理)

CPU 210作为特定变化量个数计算部214,从利用微分滤波器部213 求出的滤波器数据中取出变化量(步骤S501),判别所取出的变化量是否 为n以上(步骤S502)。若为n以上,则对特定变化量个数进行向上计数 (步骤S503),若不是n以上,则进入下一步骤。接着,判别所取出的变 化量判别是否是最后的变化量(步骤S504)。若为最后的变化量,则结束, 若不是这样,则返回到步骤S501。

(特定垂直投影值比例计算处理)

CPU 210作为特定垂直投影值比例计算部215,对位于第n水平位置 的变化量进行累计。即,对第n垂直栅格线上的像素的变化量进行累计 (步骤S601)。n的初始值是1。CPU 210判别n是否等于N(步骤S602)。 在不等于0的情况下,对n加1,返回到步骤S601。在等于0的情况下, 进入到下一处理。

CPU 210按照累计值的大小,以减小顺序,排列求出的累计值(步 骤S611)。

CPU 210取出第1到第T的累计值(步骤S612)。T可以任意设定。 若为图4,则T例如是2。

CPU 210将所取出的累计值的垂直栅格线之中不连续的垂直栅格线 的累计值除去之后,对累计值进行累计,求取特定垂直投影值(步骤 S613)。四轮车也好,二轮车也好,在对象物存在于摄像图像中的情况下, 连续占据某个区域,而不会离散存在于摄像图像中,所以通过对不连续 的栅格线的累计值不进行相加,从而能够除去噪声。例如,在图4中, 第三垂直栅格线和第四垂直栅格线上的栅格点与二轮车以及二轮车的驾 驶员重合,通常情况下,第三垂直栅格线的累计值或第四垂直栅格线的 累计值属于累计值第1大和第2大的值,但由于噪声,即使第一垂直栅 格线是累计值第2大的垂直栅格线,也不在步骤S613中相加。在此,为 了设定T个累计值,也可以采用取出第T个之后的存在相邻关系的累计 值。这样,如在先前的图4的例子中所说,对第三垂直栅格线的累计值 或第四垂直栅格线的累计值进行累计,成为特定垂直投影值。除此之外, 将最高累计值的垂直栅格线设为中心,对包含该垂直栅格线且在横向上 连续的T根垂直栅格线的累计值进行累计,设为特定垂直投影值。

CPU 210将特定垂直投影值除以将全部累计值进行累计得到的值, 求取特定垂直投影值的比例(步骤S621)。

[8.本实施方式的效果]

这样,根据本实施方式涉及的车辆判别装置,从由摄像装置10得到 的摄像图像提取特定点的I成分,对所提取的I成分施加微分滤波器,求 取特定变化量个数和特定垂直投影值比例,根据求出的特定变化量个数 和特定垂直投影值比例是否满足预定条件,能够判别映到摄像图像的车 辆是二轮车还是四轮车。尤其,在摄像图像中进行图像处理的像素不限 于特定像素,能够快速判别车辆。

[9.具体例]

实际上,针对图4的拍摄到二轮车的摄像图像和图5的拍摄到四轮 车的摄像图像,求取栅格点的浓度变化量,求取在全部浓度变化量中的 比例,该比例示于表1(四轮车)、表2(二轮车)。另外,图4和图5是 线图,但实际上是RGB图像,使用该RGB图像进行了实验。表的n行 m列的值是第n水平栅格线和第m垂直栅格线的交点的像素的浓度变化 量的比例。

[表1]

 

0.2841260002.6071528.33824919.727041.34021713.534040.71031411.6103614.088236.86414613.034061.1936650.362191.2706480.50825900.2246211.3955450.9852641.1257970.5258240.483848

[表2]

 

0.9847740.7552870.3851228.1136250.9553710.1510570.9126171.25022321.683450.8342421.2906352.02664810.5112535.547631.0681371.7616170.5446451.5552310.3851221.0519930.9672392.1201920.5340692.618572.567976

[表3]

 

2.89127843.6498646.790462.3657184.516278

[表4]

 

11.1941824.8315950.44435.2986088.808046

表3和表4分别表示表1和表2的各行合计。

在表1和表2中,分别求取浓度变化量的比例值的最大值,仅利用 包含最大值的行求取最大值的比例时,四轮车为45.19382,相对于此, 二轮车为70.46907,值相差较远,达到能够充分进行判别的程度。

(其他实施方式)

[采用组化的特定垂直投影值计算方法]

图9和图10是将在各水平位置将栅格线的全部水平像素的变化量垂 直投影后计算出的值图表化的图例。图9涉及二轮车,图10涉及四轮车。

在所述第一实施方式中,使用水平栅格线的分散像素的变化量,判 别车辆。即,使用了与水平栅格线和垂直栅格线的交点相当的像素的变 化量。图9和图10中,求取水平栅格线上全部像素的变化量,进行垂直 投影。换言之,相当于将垂直栅格线设置横侧的像素数份的情况。参照 该图9和图10可知,为二轮车的情况下,形成一个大山,变化量集中在 一定的宽度方向上,相对于此,为四轮车的情况下,形成多个山,变化 量分散。就是说,对于特定垂直投影值比例,证实所述第一实施方式中 说明的本发明的理论。

但是,在上述第一实施方式中,也可以在特定垂直投影值比例计算 处理中,对垂直投影值中从大值起累计预先决定个数的存在连续关系的 垂直投影值进行累计,求取特定垂直投影值,如图9和图10所示,抽取 多根与Y轴方向平行的直线,以通过该直线划分的区域彼此累计变化量, 将最大累计值设为特定垂直投影值,除以整个变换量,求取特定垂直投 影值的比例。

即,将预定个数的垂直投影值组化,使得通过相同垂直投影值的像 素的线段连续,在组中累计垂直投影值,求取将该累计值最大的组的垂 直投影值的累计值、即特定垂直投影值在整个变换量中的比例,根据该 比例,能够判别车辆。

[微分滤波器的代替技术]

在所述第一实施方式中,使用微分滤波器求取微分值,但也可以使 用傅立叶变换,求取微分值。例如,对摄像图像实施傅立叶变换,除去 低频成分,仅对高频成分进行傅立叶逆变换,也能够求取微分值。

[忽略相隔预定距离以上的特定变化量点]

特定变化量点是推测为存在二轮车、四轮车等的位置。但是,二轮 车、四轮车等在摄像图像中连续占有特定区域,而不是离散存在的。因 此,从形成某个集合的特定变化量点相隔预定距离以上的特定变化量点 并不表示存在二轮车、四轮车等的点,为噪声的可能性非常高。即,忽 略这种相隔预定距离以上的特定变化量点,实施车辆判别,从而能够实 现更高精度的车辆判别。优选在步骤S400和步骤S500之间实施。在此, 设为“从形成某个集合的特定变化量点相隔预定距离以上的特定变化量 点”,但也可以设为最近的特定变化量点为预定距离以上的特定变化量 点。

在此,求取特定变化量点彼此的距离,判断是否为预定距离以上, 确定离散存在的特定变化量,但也可以使用聚类法(clustering)。作为聚 类法,可以使用公知技术的聚类法,例如可以使用K-means法(参考文 献:高木幹雄、下田陽久、「新画像解析ハンドブク」(p1577-1579)、 東京大学出版会)。即,使用聚类法形成的群中,确定要素为1个等较少 的群,将该群的要素作为离散的特定变化量点忽略。

通过以上的所述各实施方式说明了本发明,但本发明的技术范围不 限于实施方式中记载的范围,可以对这些各实施方式进行各种变更或改 善。而且,这些进行了变更或改善的实施方式也包括在本发明的技术范 围内。这由权利要求书和发明内容也是显而易见的。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号