一种分布式视频监控系统的负载均衡方法及平台

摘要

本申请公开了一种分布式视频监控系统的负载均衡方法，包括：确定当前的视频存放任务中每个视频文件所对应的文件复杂度，并预估每个视频文件所对应的潜在访问度；利用每个视频文件所对应的文件复杂度和潜在访问度，计算每个视频文件所对应的节点负载需求量；按照基于节点负载需求量均衡分布原则确定的分组规则，对视频存放任务中的所有视频文件进行分组，得到N组视频文件；将N组视频文件分别保存至分布式视频监控系统中的N个节点。本申请实现了视频监控系统的负载均衡，提高了视频监控系统的存储性能，并有利于提升视频监控系统中的数据完整性和安全性。另外，本申请还相应公开了一种分布式视频监控系统的负载均衡平台。

说明书

技术领域

本发明涉及负载均衡技术领域，特别涉及一种分布式视频监控系统的负载均衡方法及平台。

背景技术

目前，随着视频监控行业的快速发展，采用高清摄像机的视频监控系统越来越多，所拍摄的画面质量也越来越清晰，这样使得视频监控系统中的监控数据容量呈爆炸性增长趋势。由于视频监控数据本身是非结构化数据，普通的关系型数据库根本无法满足其存储需求，导致海量视频监控数据的存储和安全性问题日益突出。

目前的现有技术中，主要是通过集中存储的方式来对视频监控数据进行存储。然而，由于视频数据量大，会导致存储节点的负载度变得非常大，这样会严重降低视频监控系统的存储性能，并且容易对视频监控数据的完整性和安全性造成不良影响。

综上所述可以看出，如何实现视频监控系统的负载均衡，以提升视频监控系统的存储性能是目前有待于解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种分布式视频监控系统的负载均衡方法及平台，实现了视频监控系统的负载均衡，由此提高了视频监控系统的存储性能，并有利于提升视频监控系统中的数据完整性和安全性。其具体方案如下：

一种分布式视频监控系统的负载均衡方法，包括：

确定当前的视频存放任务中每个视频文件所对应的文件复杂度，并预估每个视频文件所对应的潜在访问度；

利用每个视频文件所对应的文件复杂度和潜在访问度，计算每个视频文件所对应的节点负载需求量；

按照基于节点负载需求量均衡分布原则确定的分组规则，对所述视频存放任务中的所有视频文件进行分组，得到N组视频文件，N为正整数；

将所述N组视频文件分别保存至分布式视频监控系统中的N个节点。

优选的，所述确定当前的视频存放任务中每个视频文件所对应的文件复杂度的过程，包括：

利用每个视频文件的视频格式和/或文件大小，确定每个视频文件所对应的文件复杂度。

优选的，所述预估每个视频文件所对应的潜在访问度的过程，包括：

利用每个视频文件的采集时间信息和/或采集场所信息，预估每个视频文件所对应的潜在访问度。

优选的，所述利用每个视频文件所对应的文件复杂度和潜在访问度，计算每个视频文件所对应的节点负载需求量的过程，包括：

利用预先确定的文件复杂度权重和文件访问度权重，分别对每个视频文件所对应的文件复杂度和潜在访问度进行相应的加权平均处理，得到相应的加权平均数，并将每个加权平均数确定为相应视频文件所对应的节点负载需求量。

优选的，所述将所述N组视频文件分别保存至分布式视频监控系统中的N个节点的过程，包括：

确定当前所述分布式视频监控系统中每一节点的节点负载；

以节点负载大小为筛选依据，从所述分布式视频监控系统的所有节点中筛选出所述N个节点；其中，所述N个节点中的任一节点的节点负载均小于或等于其余未被筛选到的任一节点的节点负载；

将所述N组视频文件分别一对一地保存至所述N个节点。

优选的，确定当前所述分布式视频监控系统中目标节点的节点负载的过程，包括：

利用所述目标节点的运行状态参数，计算所述目标节点的运行负荷度；

对保存在所述目标节点中的每一视频文件的实际访问度进行相加处理，得到所述目标节点的节点访问度；

利用预先确定的运行负荷度权重和节点访问度权重，对所述目标节点的运行负荷度和节点访问度进行相应的加权平均处理，得到相应的加权平均数，并将该加权平均数确定为所述目标节点的节点负载；

其中，所述目标节点为所述分布式视频监控系统中的任一节点。

优选的，所述利用所述目标节点的运行状态参数，计算所述目标节点的运行负荷度的过程，包括：

获取所述目标节点的CPU使用率、宽带利用率、内存使用率和IO使用率；

对所述目标节点的CPU使用率、宽带利用率、内存使用率和IO使用率进行加权平均处理，得到相应的加权平均数，并将该加权平均数确定为所述目标节点的运行负荷度。

本发明还公开了一种分布式视频监控系统的负载均衡平台，包括：

信息确定模块，用于确定当前的视频存放任务中每个视频文件所对应的文件复杂度，并预估每个视频文件所对应的潜在访问度；

负载需求量计算模块，用于利用每个视频文件所对应的文件复杂度和潜在访问度，计算每个视频文件所对应的节点负载需求量；

文件分组模块，用于按照基于节点负载需求量均衡分布原则确定的分组规则，对所述视频存放任务中的所有视频文件进行分组，得到N组视频文件，N为正整数；

文件保存模块，用于将所述N组视频文件分别保存至分布式视频监控系统中的N个节点。

优选的，所述文件保存模块，包括：

节点负载确定子模块，用于确定当前所述分布式视频监控系统中每一节点的节点负载；

节点筛选子模块，用于以节点负载大小为筛选依据，从所述分布式视频监控系统的所有节点中筛选出所述N个节点；其中，所述N个节点中的任一节点的节点负载均小于或等于其余未被筛选到的任一节点的节点负载；

文件保存子模块，用于将所述N组视频文件分别一对一地保存至所述N个节点。

优选的，所述节点负载确定子模块，包括：

运行负荷度计算单元，用于利用所述目标节点的运行状态参数，计算所述目标节点的运行负荷度；

节点访问度计算单元，用于对保存在所述目标节点中的每一视频文件的实际访问度进行相加处理，得到所述目标节点的节点访问度；

节点负载计算单元，用于利用预先确定的运行负荷度权重和节点访问度权重，对所述目标节点的运行负荷度和节点访问度进行相应的加权平均处理，得到相应的加权平均数，并将该加权平均数确定为所述目标节点的节点负载；

其中，所述目标节点为所述分布式视频监控系统中的任一节点。

本发明中，负载均衡方法，包括：确定当前的视频存放任务中每个视频文件所对应的文件复杂度，并预估每个视频文件所对应的潜在访问度；利用每个视频文件所对应的文件复杂度和潜在访问度，计算每个视频文件所对应的节点负载需求量；按照基于节点负载需求量均衡分布原则确定的分组规则，对视频存放任务中的所有视频文件进行分组，得到N组视频文件；将N组视频文件分别保存至分布式视频监控系统中的N个节点。

可见，本发明中，先基于视频文件对应的文件复杂度和潜在访问度，计算视频文件对应的节点负载需求量，然后基于节点负载需求量均衡分布原则，对当前视频存放任务中的所有视频文件进行分组，这样可以使得每组视频文件之间的总节点负载需求量相同或大致相同，从而使得后续对上述每组视频文件分别进行存储的每个节点之间所增长的负载大致相同，由此实现了视频监控系统的负载均衡，提高了视频监控系统的存储性能，并有利于提升视频监控系统中的数据完整性和安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种分布式视频监控系统的负载均衡方法流程图；

图2为本发明实施例公开的一种分布式视频监控系统的负载均衡平台结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种分布式视频监控系统的负载均衡方法，本实施例中的分布式视频监控系统具体为基于Hadoop体系架构的视频监控系统，参见图1所示，本实施例中的负载均衡方法包括：

步骤S11：确定当前的视频存放任务中每个视频文件所对应的文件复杂度，并预估每个视频文件所对应的潜在访问度。

本实施例中，一个视频存放任务可以同时将多个视频文件存放至分布式视频监控系统。在获取到当前的视频存放任务后，本实施例先确定出该视频存放任务中每个视频文件的文件复杂度以及预估每个视频文件的潜在访问度。

可以理解的是，上述文件复杂度和潜在访问度的具体数值均大于或等于0，并且，小于或等于1。文件复杂度的数值越大，则意味着相应视频文件的复杂性越高，该视频文件所需的节点负载也就越大。

另外，上述视频文件的潜在访问度是指未来的单位时间段内，该视频文件可能的被访问次数与整个视频监控系统中所有视频文件可能的总被访问次数之间的比值。潜在访问度的数值越大，则意味着相应视频文件的可能被访问的次数就越大，这样该视频文件所需的节点负载也就越大。

需要进一步指出的，本实施例中，分布式视频监控系统中包括多种类型的视频采集设备，由于不同类型的视频采集设备所使用的视频格式可能会有所不同，这样使得上述视频存放任务中，可能会存在视频格式不相同的视屏文件。

步骤S12：利用每个视频文件所对应的文件复杂度和潜在访问度，计算每个视频文件所对应的节点负载需求量。

也即，本实施例同时基于视频文件的文件复杂度和潜在访问度，来确定出视频文件所需的节点负载。

为了便于比较，本实施例中，上述节点负载需求量采用归一化形式进行表示，也即，本实施例中节点负载需求量的数值大于或等于0，并且，小于或等于1。

步骤S13：按照基于节点负载需求量均衡分布原则确定的分组规则，对视频存放任务中的所有视频文件进行分组，得到N组视频文件，N为正整数。

可以理解的是，上述基于节点负载需求量均衡分布原则确定的分组规则，具体用于规定在进行视频文件分组时，所得到的每组视频文件之间的总节点负载需求量相同或大致相同。例如，假设上述视频存放任务中，需要对6个视频文件进行存放，其中，在这6个视频文件中，视频文件1的节点负载需求量为0.3，视频文件2的节点负载需求量为0.5，视频文件3的节点负载需求量为0.4，视频文件4的节点负载需求量为0.1，视频文件5的节点负载需求量为0.2，视频文件6的节点负载需求量为0.6，在这种情况下，可以将视频文件1和视频文件3分到同一组，将视频文件2和视频文件5分到同一组，将视频文件4和视频文件6分到同一组，以使得每组视频文件中的总节点负载需求量都相同，均为0.7。

另外，需要说明的是，本实施例中，在对视频存放任务中的所有视频文件进行分组时，所对应的分组组数可以由系统随机确定，但是不能大于分布式视频监控系统中的节点的总数。当然，也可以预先对上述分组组数进行设定，比如默认分为6组。另外，也可以由后台预先根据当前分布式视频监控系统中的所有节点的负载情况，来对上述分组组数进行确定。

步骤S14：将上述N组视频文件分别保存至分布式视频监控系统中的N个节点。

可见，本发明实施例中，先基于视频文件对应的文件复杂度和潜在访问度，计算视频文件对应的节点负载需求量，然后基于节点负载需求量均衡分布原则，对当前视频存放任务中的所有视频文件进行分组，这样可以使得每组视频文件之间的总节点负载需求量相同或大致相同，从而使得后续对上述每组视频文件分别进行存储的每个节点之间所增长的负载大致相同，由此实现了视频监控系统的负载均衡，提高了视频监控系统的存储性能，并有利于提升视频监控系统中的数据完整性和安全性。

本发明实施例公开了一种具体的分布式视频监控系统的负载均衡方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

上一实施例步骤S11中，需要对当前的视频存放任务中每个视频文件所对应的文件复杂度进行确定。具体的，本实施例中，上述确定当前的视频存放任务中每个视频文件所对应的文件复杂度的过程，包括：

利用每个视频文件的视频格式和/或文件大小，确定每个视频文件所对应的文件复杂度。

本实施例中，视频文件的视频格式可以包括但不限于AVI、MP4、MPG、ASF、FLV、DAV、SV4和SV5等。需要说明的是，不同的视频格式对应于不同的视频压缩算法，能够反映出视频文件的复杂程度，除此之外，也可以将视频文件的文件大小作为反映其复杂程度的参数，基于此，本实施例可以基于视频格式和/或文件大小，确定每个视频文件所对应的文件复杂度。具体的，本实施例可以预先为不同的视频格式设定不同的第一类复杂系数，同理，也可以预先为不同范围的视频大小数值设定不同的第二类复杂系数。在获取到每个视频文件的视频格式和/或视频大小之后，相应地利用预先设定的信息确定每个视频文件的视频格式所对应的第一类复杂系数和/或确定每个视频文件的视频大小所对应的第二类复杂系数，进而利用相应的第一类复杂系数和/或第二类复杂系数，确定出视频文件的文件复杂度。如果只利用第一类复杂系数或第二类复杂系数来确定视频文件的文件复杂度，则第一类复杂系数或第二类复杂系数本身便作为相应视频文件的文件复杂度，如果需要同时利用第一类复杂系数和第二类复杂系数来确定视频文件的文件复杂度，则视频文件的文件复杂度具体可以由相应的第一类复杂系数和第二类复杂系数经过加权平均处理后得到。

另外，在上一实施例步骤S11中，还需要对每个视频文件所对应的潜在访问度进行预估。具体的，本实施例中，上述预估每个视频文件所对应的潜在访问度的过程，可以包括：

利用每个视频文件的采集时间信息和/或采集场所信息，预估每个视频文件所对应的潜在访问度。

本实施例中，视频文件的采集时间信息包括视频文件的采集日期以及采集时间段，视频文件的采集场所信息包括采集地点周围的环境信息。本实施例中，节假日里采集的视频文件所对应的潜在访问度高于非节假日采集的视频文件，夜晚采集的视频文件所对应的潜在访问度高于白天采集的视频文件，采集地点周围的人流量越大，相应视频文件所对应的潜在访问度就越高。

上一实施例步骤S12中，需要利用每个视频文件所对应的文件复杂度和潜在访问度，计算每个视频文件所对应的节点负载需求量。具体的，本实施例中，上述利用每个视频文件所对应的文件复杂度和潜在访问度，计算每个视频文件所对应的节点负载需求量的过程，可以包括：

利用预先确定的文件复杂度权重和文件访问度权重，分别对每个视频文件所对应的文件复杂度和潜在访问度进行相应的加权平均处理，得到相应的加权平均数，并将每个加权平均数确定为相应视频文件所对应的节点负载需求量。

本实施例中，文件复杂度权重和文件访问度权重均可以分别设为0.5，当然，也可以将文件复杂度权重设的比文件访问度高，例如，可以将文件复杂度权重设为0.6，文件访问度权重设为0.4。

上一实施例步骤S14中，将N组视频文件分别保存至分布式视频监控系统中的N个节点的过程，可以具体包括下面步骤S141至S143：

步骤S141：确定当前分布式视频监控系统中每一节点的节点负载；

步骤S142：以节点负载大小为筛选依据，从分布式视频监控系统的所有节点中筛选出N个节点；其中，上述N个节点中的任一节点的节点负载均小于或等于其余未被筛选到的任一节点的节点负载；

步骤S143：将上述N组视频文件分别一对一地保存至上述N个节点。

也即，本实施例在得到上述N组视频文件之后，可以从分布式视频监控系统中筛选出当前节点负载较小的N个节点，然后将上述N组视频文件分别一对一地保存至上述N个节点。

另外，上述步骤S141中，确定当前分布式视频监控系统中目标节点的节点负载的过程，具体可以包括下面步骤S1411至S1413：

步骤S1411：利用目标节点的运行状态参数，计算目标节点的运行负荷度；

步骤S1412：对保存在目标节点中的每一视频文件的实际访问度进行相加处理，得到目标节点的节点访问度；

步骤S1413：利用预先确定的运行负荷度权重和节点访问度权重，对目标节点的运行负荷度和节点访问度进行相应的加权平均处理，得到相应的加权平均数，并将该加权平均数确定为目标节点的节点负载；

可以理解的是，上述目标节点为分布式视频监控系统中的任一节点。

另外，需要说明的是，上述视频文件的实际访问度是指单位历史时间段内，该视频文件被访问的次数与整个视频监控系统中所有视频文件总的被访问次数之间的比值。

具体的，上述步骤S1411中，利用目标节点的运行状态参数，计算目标节点的运行负荷度的过程，具体可以包括：

获取目标节点的CPU使用率、宽带利用率、内存使用率和IO使用率，然后对目标节点的CPU使用率、宽带利用率、内存使用率和IO使用率进行加权平均处理，得到相应的加权平均数，并将该加权平均数确定为目标节点的运行负荷度。

相应的，本发明实施例中还公开了一种分布式视频监控系统的负载均衡平台，参见图2所示，该平台包括：

信息确定模块11，用于确定当前的视频存放任务中每个视频文件所对应的文件复杂度，并预估每个视频文件所对应的潜在访问度；

负载需求量计算模块12，用于利用每个视频文件所对应的文件复杂度和潜在访问度，计算每个视频文件所对应的节点负载需求量；

文件分组模块13，用于按照基于节点负载需求量均衡分布原则确定的分组规则，对视频存放任务中的所有视频文件进行分组，得到N组视频文件，N为正整数；

文件保存模块14，用于将上述N组视频文件分别保存至分布式视频监控系统中的N个节点。

可见，本发明实施例中，先基于视频文件对应的文件复杂度和潜在访问度，计算视频文件对应的节点负载需求量，然后基于节点负载需求量均衡分布原则，对当前视频存放任务中的所有视频文件进行分组，这样可以使得每组视频文件之间的总节点负载需求量相同或大致相同，从而使得后续对上述每组视频文件分别进行存储的每个节点之间所增长的负载大致相同，由此实现了视频监控系统的负载均衡，提高了视频监控系统的存储性能，并有利于提升视频监控系统中的数据完整性和安全性。

具体的，上述文件保存模块，包括节点负载确定子模块、节点筛选子模块和文件保存子模块；其中，

节点负载确定子模块，用于确定当前分布式视频监控系统中每一节点的节点负载；

节点筛选子模块，用于以节点负载大小为筛选依据，从分布式视频监控系统的所有节点中筛选出N个节点；其中，上述N个节点中的任一节点的节点负载均小于或等于其余未被筛选到的任一节点的节点负载；

文件保存子模块，用于将上述N组视频文件分别一对一地保存至上述N个节点。

另外，上述节点负载确定子模块，包括运行负荷度计算单元、节点访问度计算单元和节点负载计算单元；其中，

运行负荷度计算单元，用于利用目标节点的运行状态参数，计算目标节点的运行负荷度；

节点访问度计算单元，用于对保存在目标节点中的每一视频文件的实际访问度进行相加处理，得到目标节点的节点访问度；

节点负载计算单元，用于利用预先确定的运行负荷度权重和节点访问度权重，对目标节点的运行负荷度和节点访问度进行相应的加权平均处理，得到相应的加权平均数，并将该加权平均数确定为目标节点的节点负载；

其中，上述目标节点为分布式视频监控系统中的任一节点。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种分布式视频监控系统的负载均衡方法及平台进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。