基于分布式体系结构的多元数据源交通信息融合方法

摘要

本发明涉及一种基于分布式体系结构的多元数据源交通信息融合方法，包括以下步骤：1)服务器端将接收到的多元交通数据组包分发给各客户机端；2)经客户机端对数据进行校准后，发送至分布式融合平台数据接收模块；3)分布式融合平台将多元数据送至数据缓冲池暂存，根据数据规模将数据分配到不同的客户机端，同时从权值数据库读取权值，进行加权融合运算；4)将融合后的数据存放到统一的融合数据库中。根据实际交通的观察结果，对加权融合运算所用的权值数据库中不同数据的权值进行调整修改。本发明具备的有益效果在于：能获得准确的交通态势信息，有利于更快速准确合理地进行交通管理。

说明书

技术领域

本发明涉及交通智能管理的相关技术领域，特别是一种基于分布式体系结构的多元数据源交通信息融合方法。

背景技术

随着社会的发展，人们对城市交通、公共安全和环境保护越来越重视，通过提高城市交通全局的综合管理能力，大幅度提高城市交通效率，避免出现城市交通瓶颈，实现交通安全无事故，降低城市车辆尾气排放量和噪音，从而减少环境污染和对地球资源的消耗。目前的城市交通管理系统所采集的交通信息的数据源单一，无法获得最准确的交通态势信息，不利于更准确合理地进行交通管理。

发明内容

本发明的目的是为了提供一种基于分布式体系结构的多元数据源交通信息融合方法，解决了目前的城市交通管理系统所采集的交通信息的数据源单一，无法获得最准确的交通态势信息，不利于更准确合理地进行交通管理的问题。

为实现上述目的，本发明采用了以下技术方案：

本发明公开了一种基于分布式体系结构的多元数据源交通信息融合方法，其特征在于：包括以下步骤：

1)服务器端将接收到的多元交通数据组包分发给各客户机端，即各网格计算节点；

2)经客户机端对数据进行校准后，发送至分布式融合平台数据接收模块；

3)分布式融合平台将多元数据送至数据缓冲池暂存，根据数据规模将数据分配到不同的客户机端，同时从权值数据库读取权值，进行加权融合运算；

4)将融合后的数据存放到统一的融合数据库中。

进一步，根据实际交通的观察结果，对加权融合运算所用的权值数据库中不同数据的权值进行调整修改。

其中，所述的分布式融合平台的具体数据处理流程如下：

1)经数据校准的多元数据到达数据接收模块；

2)数据接收模块将多元数据送至数据缓冲池暂存，同时估计数据规模；

3)数据接收模块向主调度器发送调度请求，其中估计的数据规模作为调度请求的一部分；

4)主调度器根据数据规模，计算出所需网格计算节点数结合数据处理程序所需具体参数组成查询条件提交给网格资源管理器；

5)网格资源管理器根据其所掌握的各个网格计算节点的当前状况找出符合相应查询条件的网格计算节点集合返回给主调度器；

6)主调度器为每个网格计算节点生成独立的任务管理器，任务管理器具体分管分配到各个网格计算节点上的子计算任务；

7)任务管理器通知数据缓冲池将子计算任务所需的那部分多元数据传送到该任务所在网格计算节点上，并控制该网格计算节点上数据处理程序分析处理相应数据；

8)各网格计算节点将处理后的数据保存入数据库；

9)任务管理器将计算任务结束的消息告知主调度器，主调度器结束相应任务管理器。

其中，所述的多元交通数据包括GPS车载终端、以及部署于交通道路上的感应线圈检测器和视频图像检测器所生成的交通数据。

所述的客户机端对多元交通数据进行校准，包括对所有的交通数据进行时间校准，以及对GPS车载终端所生成的交通数据进行空间校准。

由于采用了以上的方案，使本发明具备的有益效果在于：

1)采用多元数据融合方法处理道路交通问题；

2)采用分布式体系结构，将系统负载(数据处理任务)部署到多个处理节点，从而实现对海量多元交通数据进行快速有效的处理；

3)在数据融合处理的过程中引入实时反馈机制，以动态调整系统运行参数；

4)引入“整流”机制，将随机并发的多元交通数据流“整形”为间隔有序的规则数据包流，提供各处理节点以统一的数据格式，从而提高系统整体数据处理速度。

附图说明

图1是本发明的交通数据融合系统体系结构示意图。

图2是数据预处理示意图。

图3是最短距离地图匹配算法示意图。

图4是调度器总体结构及调度流程示意图。

具体实施方式

以下结合附图及实施例对本发明作进一步描述。

本发明所设计的交通数据融合系统体系结构如错误！未找到引用源。所示。该系统主要由多监测器探测、交通数据预处理、交通态势分析与估计等部分组成。其中校准、相关为识别和估计作预处理，实际融合是在识别和估计中进行。数据融合过程分三步完成：第一步为低层处理，对于证据级的融合，输出的是特征、属性和状态；第二步为高层处理(行为估计)，对应的是决策级融合，输出抽道路交通的态势，譬如路况信息等；第三步为融合数据库，将融合后的数据放入统一的融合数据库，以备其他应用开发。

高层处理采用分布式体系结构，基于网格资源管理器的分布式任务分配与调度，在多台机器上并行融合算法处理。另外融合算法采用反馈结构，根据实际运行的效果实时更新，获得最优的多元数据源交通信息权值分配，和最准确的交通态势信息。

具体地讲，基于分布式体系结构的多元数据源交通信息融合方法，包括以下步骤：

1)服务器端将接收到的多元交通数据组包分发给各客户机端，即各网格计算节点；

2)经客户机端对数据进行校准后，发送至分布式融合平台数据接收模块；

3)分布式融合平台将多元数据送至数据缓冲池暂存，根据数据规模将数据分配到不同的客户机端，同时从权值数据库读取权值，进行加权融合运算；

4)将融合后的数据存放到统一的融合数据库中。

根据实际交通的观察结果，对加权融合运算所用的权值数据库中不同数据的权值进行调整修改。

其中，所述的多元交通数据包括GPS车载终端、以及部署于交通道路上的感应线圈检测器和视频图像检测器所生成的交通数据。

所述的客户机端对多元交通数据进行预处理即校准，包括对所有的交通数据进行时间校准，以及对GPS车载终端所生成的交通数据进行空间校准。数据预处理是对交通多元数据进行低层融合，包括数据的采集与校准，示意图如图2所示。

数据采集中，GPS车载终端的基本结构分天线单元和接收单元两部分。天线单元的主要作用是：当GPS卫星从地平线上升起时，捕获、跟踪卫星，接收放大GPS信号；接收单元的主要作用是：记录GPS信号并对信号进行解调和滤波处理，还原出GPS卫星发送的导航电文，求解信号在站星间的传播时间和载波相位差，实时地获得导航定位数据，或采用测后处理的方式，获得定位、测速、实时等数据。微处理器是GPS接收机的核心，承担整个系统的管理、控制和实时数据处理。

感应线圈检测器(ILD)坚固耐用，是全球公认的、可全天候精确监控车辆通过与存在状态的可靠的方法，是目前国内外使用最为广泛的车辆检测装置。这种检测器由埋在路面下的线圈和能够测量该线圈电感变化的电子设备组成，对通过线圈或存在于线圈上的车辆引起的电磁感应变化进行处理而达到检测目的。感应线圈检测器可用来检测车辆计数、车辆出现、车速、占有率等检测信息。

基于视频图像处理的交通检测技术是近年来在传统的电视监视系统基础上逐步发展起来的一种新型的车辆检测方法，使用灵活，比其它检测技术能收集更多和更全面的交通数据。视频检测是一种结合视频图像和模式识别的技术。视频检测处理技术通过闭路电视和数字化技术分析交通数据。其基本原理是在很短的时间间隔内，由半导体电荷藕合器件(CCD)摄像机连续摄得两幅图像，而这种图像本身就是数字图像，很容易对两幅图像的全部或部分区域进行比较，若差异超过一定的阀值则说明有运动车辆。

各检测器不断的扫描观测目标，检测信号的变化。当目标出现时，进行必要的处理，得到车辆的运动速度等信息，同时组合先验知识(如线圈的埋设位置)，转换为车辆的空间位置、运动速度等信息，并将监测数据合并时间信息传送到标准模块进行处理。

数据校准的目的是为了统一上述各检测器的时间和空间参考点。由于各检测器是独立异步工作的，因此必须进行时间和空间的校准。对于空间的校准，一般是指把所有监测数据的空间表示变换到同一坐标系下。在本系统中，除GPS车载终端外，其他三类检测器都有固定的安装位置，因此可直接与数字地图的特定路段的特定位置建立关联。而GPS车载终端获取的GPS数据由于存在精度误差和传输误差，需进行匹配定位，也即通过地图匹配算法将GPS数据定位至某条实际路段上。

最常见的GPS地图匹配算法是最短距离法，即根据路段属性，预先设置一个匹配阀值，在电子地图上的所有或部分路段中，计算当前获取的GPS数据与各道路路段之间的距离以及GPS数据在该道路路段上的最短距离点，将在阀值范围内各路段的匹配距离进行比较，得到一条距离最短的路段，则该路段为GPS点的匹配路段，该最短距离点为GPS点的匹配点。如图3所示。

综上，实现了各类监测数据在空间上的校准。

对于时间的校准，主要是指各类监测数据的时间参考点的统一，可通过某种自动化方式实现。

本发明采用网格技术构建分布式的融合平台。当有融合任务过来时，采用网格技术进行任务调度，在每个网格节点运行相应的多元数据源交通信息融合算法，将任务分配给空闲的机器，提高整个系统的处理能力与性能。融合平台的任务调度总体结构如图4所示。

分布式融合平台的具体数据处理流程如下：

1)经数据校准的多元数据到达数据接收模块；

2)数据接收模块将多元数据送至数据缓冲池暂存，同时估计数据规模；

3)数据接收模块向主调度器发送调度请求，其中估计的数据规模作为调度请求的一部分；

4)主调度器根据数据规模，计算出所需网格计算节点数结合数据处理程序所需具体参数组成查询条件提交给网格资源管理器；

5)网格资源管理器根据其所掌握的各个网格计算节点的当前状况找出符合相应查询条件的网格计算节点集合返回给主调度器；

6)主调度器为每个网格计算节点生成独立的任务管理器，任务管理器具体分管分配到各个网格计算节点上的子计算任务；

7)任务管理器通知数据缓冲池将子计算任务所需的那部分多元数据传送到该任务所在网格计算节点上，并控制该网格计算节点上数据处理程序分析处理相应数据；

8)各网格计算节点将处理后的数据保存入数据库；

9)任务管理器将计算任务结束的消息告知主调度器，主调度器结束相应任务管理器。

其中，调度器功能如下：

数据接收模块：该模块主要起到承上启下的作用，数据接收模块的功能是接收数据校准模块校准后的多元数据，将这些多元数据保存入数据缓冲池中，同时对等待处理的数据量进行估计并把任务规模以任务调度请求的方式通知主调度器。

数据缓冲池模块：数据缓冲池主要起到对待处理数据的缓冲作用，并在任务管理器的控制下将特定多元数据传送到各个网格计算节点。

主调度器模块：主调度器是该任务调度的核心模块，是整个调度器的心脏。主调度器从数据接收模块获得任务调度请求，并根据任务调度请求所提供的等待调度的数据规模和待调度的程序处理能力，计算出处理相应量数据所需的网格计算节点数N。获得所需计算节点数后，主调度器会根据所调度程序的特殊要求(如：对操作系统，可能内存，CPU频率，可用磁盘空间，网络带宽……)结合所需计算结点数形成一个统一的计算节点查询条件提交给网格资源管理器，网格资源管理器根据查询条件和其掌握的各个网格计算节点的当前状况搜索出符合条件要求的N个网格计算节点集合返回给主调度器。主调度器在得到网格资源管理器返回的N个网格计算节点集合后，生成N个计算任务管理器各自具体负责在N个网格计算节点具体计算任务。当任务完成后主调度器还负责对所有任务调度器的清理工作。

网格资源管理器模块：网格资源管理器模块是整个任务调度器的基础，它主要负责收集网格平台上各计算节点的节点状态，同时查询并返回符合查询条件的网格计算节点集合供主调度程序分配相应的计算任务。网格资源管理器的效率和收集信息的准确性直接和间接的影响了整个任务调度器的效率。

任务管理器模块：任务管理器模块起到了在主调度器和网格计算节点间中间人的作用。在主调度程序看来任务管理器等同于在各个网格计算节点上运行的计算任务，主管理器通过任务管理器获得各个计算任务的当前状态，如果需要的话可以通过任务管理器对当前的计算任务进行重新计算、终止或者迁移到其他计算节点上等操作；在网格计算节点看来，任务管理器等同于计算任务的管理者，整个计算过程由任务管理器进行统一控制，包括任务的开始、挂起、继续和终止等。

反馈式多元数据源交通信息融合：

不同类型的交通数据反映了一部分的交通状况信息，但是在不同的时刻，不同的路段，不同的交通数据反映的信息量是不一样，也就是说拥有不同的融合权值。譬如对于某一路段i，GPS数据反映它的拥堵情况为g_i，线圈数据反映的拥堵情况为x_i，视频数据反映的情况为s_i，则路段i融合多元信息后的拥堵情况为：R_i＝αg_i+βx_i+γs_i；其中，α+β+γ＝1。α，β和γ的值从权值数据库中取，这些权值预先都设为同一大小，日后根据实际融合效果，进行反馈调整。融合后的数据R_i存放如融合统一数据库中。

实施案例：上海市道路交通多元数据源综合信息融合系统便采用了本系统所提出的方法。

其中

1)分布式机群环境

服务器(1台)：

P42.8G，内存512M，硬盘80G，千兆网卡，Linux FC3，j2sdk1.4.2

客户机(4台)：

P42.8G，内存512M，硬盘80G，千兆网卡，Linux FC3，j2sdk1.4.2

2)GPS数据量

上海市内部分出租车(6000辆)，每30秒生成1条GPS数据；

上海市内部分公交车(150辆)，每15秒生成1条GPS数据。

3)感应线圈数据量

上海市内部分线圈(700个)，每20秒生成1条线圈数据

4)视频据量

上海市内部分视频采集点(10个)，每个采集点流量为300k/s。