独立站点分布式系统、独立站点数据的管理方法及设备

摘要

本申请提供一种独立站点分布式系统、独立站点数据的管理方法及设备，所述系统包括至少一个独立站点、至少一个服务集群以及资源管理引擎，服务集群中包括至少一个服务节点；独立站点用于上报所承载的商家的各个产品所关联的数据，资源管理引擎用于根据上报的数据将各独立站点划分到对应的集合，为各集合配置相应的服务集群，并基于各集合中独立站点的数量配置与每个独立站点对应的服务节点；服务集群所配置的服务资源与集合中的独立站点上报的数据相匹配；服务节点则用于存储所对应的独立站点上承载的商家的各个产品所关联的数据。本申请在保证各个服务集群独立站点数量均衡分布的同时，也实现了数据的均匀分布，避免了资源的浪费。

说明书

技术领域

本申请实施例涉及独立站点的数据管理技术领域，尤其涉及一种独立站点分布式系统、独立站点数据的管理方法及设备。

背景技术

独立站点是指基于SaaS技术平台建立的拥有独立域名，内容、数据、权益私有，具备独立经营主权和经营主体责任，由社会化云计算能力支撑，并可以自主、自由对接第三方软件工具、宣传推广媒体与渠道的新型官网(网站)。

通常一个独立站点上承载的是一个商家经营的所有商品的数据，也就是每个独立站点对应一个商家，由商家自主运营而不受第三方平台的制约，具有较高的自由度。

第三方平台是例如淘宝、京东等在一个平台上由多个商家共同运营的平台。在配置服务集群中的各个服务节点时，第三方平台通常是以商品为单位，考虑“商品种类的数据”在服务集群中各个服务节点上的均匀分布，即各个服务节点上负载的商品种类数量一致。因此，对于第三方平台来说，服务集群中的各个服务节点往往可以实现数据的均衡负载。

但不同于第三方平台，独立站点的分布式系统在配置服务集群中各个服务节点时，通常考虑的是如何使得服务集群中各个服务节点负载的“独立站点的数量”保持均衡。然而，不同的独立站点在经营状况、商品种类等方面可能会存在较大的差异，从而使得各个独立站点获取的流量及数据量有所不同。例如有些独立站点的经营状况良好，获取的流量较多，而有些独立站点的经营状况较差，获取的流量较少；又例如有些独立站点的商品种类繁多，数据量大，而有些独立站点的商品种类单一，数据量小。因此，目前这种为独立站点配置服务集群的方式无法保证服务器集群上各个服务节点负载的数据均衡。

发明内容

为克服相关技术中存在的问题，本申请提供了一种独立站点分布式系统、独立站点数据的管理方法及设备。

根据本申请实施例的第一方面，提供一种独立站点分布式系统，所述系统包括：至少一个独立站点、至少一个服务集群以及资源管理引擎，所述服务集群中包括至少一个服务节点；

所述独立站点用于上报所承载的商家的各个产品所关联的数据；

所述资源管理引擎，用于根据所述独立站点上报的数据将各所述独立站点划分到对应的集合，以及为每个集合配置相应的服务集群，并基于所述集合中独立站点的数量配置与每个所述独立站点对应的所述服务节点；其中，所配置的服务集群的服务资源与所述集合中的独立站点上报的数据相匹配；

所述服务集群中的服务节点，用于存储所对应的独立站点上承载的商家的各个产品所关联的数据。

根据本申请实施例的第二方面，提供一种独立站点数据的管理方法，适用于包括至少一个独立站点和至少一个服务集群的独立站点分布式系统，所述独立站点用于上报所承载的商家的各个产品所关联的数据，所述服务集群包括至少一个服务节点，所述服务集群中的服务节点用于存储所对应的独立站点上承载的商家的各个产品所关联的数据；所述方法包括：

根据所述独立站点上报的数据将各所述独立站点划分到对应的集合；

为每个集合配置相应的服务集群，并基于所述集合中独立站点的数量配置与每个所述独立站点对应的所述服务节点；其中，所配置的服务集群的服务资源与所述集合中的独立站点上报的数据相匹配。

根据本申请实施例的第三方面，提供一种独立站点数据的管理装置，适用于包括至少一个独立站点和至少一个服务集群的独立站点分布式系统，所述独立站点用于上报所承载的商家的各个产品所关联的数据，所述服务集群包括至少一个服务节点，所述服务集群中的服务节点用于存储所对应的独立站点上承载的商家的各个产品所关联的数据；所述装置包括：

分类模块，用于根据所述独立站点上报的数据将各所述独立站点划分到对应的集合；

配置模块，用于为每个集合配置相应的服务集群，并基于所述集合中独立站点的数量配置与每个所述独立站点对应的所述服务节点；其中，所配置的服务集群的服务资源与所述集合中的独立站点上报的数据相匹配。

根据本申请实施例的第四方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述第二方面所述的方法。

根据本申请实施例的第五方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于指令相关的硬件，来完成实现上述第二方面所述的方法。

本申请的实施例提供的技术方案可以包括以下有益效果：

一方面，按照独立站点上报的数据的特点对独立站点分类，将数据特性类似的独立站点划分到一个集合，并为每个集合分配专属的服务器集群，从而将数据特性存在较大差异的独立站点隔离开来进行数据存储，避免了因独立站点间数据特性差异较大导致的数据分布不均衡的问题。此外，基于集合中独立站点的数量为同一集合中的各独立站点配置相应的服务节点，保证各服务集群中各个服务节点负载的独立站点数量的均衡分布。

另一方面，不同集合所对应的服务集群所配置的服务资源依据该集合中独立站点的数据确定，能够有针对性地配置服务集群的资源，从而实现了资源的合理分配，避免资源的浪费。本申请在保证各个服务集群各个服务节点负载的独立站点数量均衡分布的同时，也实现了数据的均匀分布，避免了资源的浪费。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本申请的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1A是本申请示出的一种独立站点分布式系统的场景示意图。

图1B是本申请根据一示例性实施例示出的一种独立站点分布式系统的示意图。

图1C是本申请根据一示例性实施例示出的一种独立站点分布式系统中服务集群与独立站点之间对应关系的示意图。

图2是本申请根据一示例性实施例示出的一种独立站点数据的管理方法的流程图。

图3是本申请示出的一种独立站点数据的管理装置所在计算机设备的一种硬件结构图。

图4本申请根据一示例性实施例示出的一种独立站点数据的管理装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先对本申请所涉及的分布式存储技术进行介绍。分布式存储是一种数据存储技术，顾名思义就是指将数据分散至多台独立的服务器上进行存储。与传统的集中式存储方式相比，不仅提高了存储系统的可靠性、可用性和存取效率，还易于扩展，能够满足大规模数据存储的需要。用于实现分布式存储的多台服务器组成服务集群，每一台服务器即为该服务集群的一个服务节点。一般来说，服务集群中的各个服务节点具有相同的配置，待存储的数据尽可能均匀负载在各个服务节点上。常见的分布存储方式有哈希分布，通过数据分片的方式将待存储的数据进行切分并遵循数据路由机制将切分后的数据尽可能均匀地分配到服务集群中的各台服务器中。

如图1A所示为一种独立站点分布式系统的示意图，包括一个服务集群120和多个独立站点，服务集群120中包括多个具有相同配置的服务节点，每个独立站点对应一个商家并用于承载所对应商家的各个产品所关联的数据。其中，独立站点101对应商家111，独立站点102对应商家112，独立站点103对应商家113。为各个独立站分配存储商家数据的服务节点时保证各个服务节点上负载的“独立站点”的数量均衡，例如独立站点101对应的商家111的数据分布在服务节点121-122，独立站点102对应的商家112的数据分布在服务节点123-124，独立站点103对应的商家113的数据分布在服务节点125-126，各个服务节点上负载的独立站数量均为1个。在这种情况下，假设独立站点102的经营状况优于独立站点101，则独立站点102产生的数据量多于独立站点101，服务节点123-124存储压力高于服务节点121-122，从而出现各个服务节点负载的数据分布不均衡的问题，造成资源浪费。

基于上述陈述可知，采用分布式存储技术为独立站点配置服务集群中服务节点考虑的是保证服务集群中各个服务节点负载的“独立站点的数量”保持均衡，在此基础上由于各个独立站点经营状况的不同则会出现服务集群中各个服务节点负载的数据不均衡的问题。

如图1B所示，为本申请针对上述问题根据一示例性实施例示出的一种独立站点分布式系统的示意图，包括至少一个独立站点100、至少一个服务集群120以及资源管理引擎150，服务集群120中包括至少一个服务节点121；独立站点100用于上报所承载的商家的各个产品所关联的数据；资源管理引擎150，用于根据独立站点100上报的数据将各个独立站点100划分到对应的集合，以及为每个集合配置相应的服务集群120，并基于所述集合中独立站点的数量配置与每个所述独立站点对应的服务节点121；其中，所配置的服务集群120的服务资源与集合中的独立站点100上报的数据相匹配；服务集群120中的服务节点121，用于存储所对应的独立站点100上承载的商家的各个产品所关联的数据。

独立站点不仅用于承载与商家的各个产品所关联的数据，还用于将该数据上报以提供给资源管理引擎。基于该数据将各个独立站点划分到不同的集合并为每个集合配置相应的服务集群，目的在于将数据特性存在较大差异的独立站点隔离开来进行存储，将数据特性相似的独立站点放在同一个集合中利用同一个服务集群进行数据存储。此外，为同一集合中的各个独立站点配置相应的服务集群中的服务节点时以该集合中独立站点的数量为依据，从而保证各服务集群中各个服务节点负载的独立站点数量的均衡。由此可知，对于每一个服务集群而言，各个服务节点负载的独立站点数量均衡的同时数据负载也均衡，从而避免了数据分布不均匀的情况，进而避免了资源浪费。

数据特性之间存在的差异体现了独立站点之间经营状况的差异，经营状况的差异可以体现在数据量和获取流量的大小。容易理解的是，经营状况不同对服务集群配置的服务资源的需求也有所不同。在配置服务资源时可以从服务集群吞吐量的大小、处理性能的高低、响应速度的快慢、稳定性的好坏等方面进行调整以满足不同的需求。举个例子，独立站点A售卖的商品种类繁多且获取的流量较多，独立站点B售卖的商品种类单一且获取的流量较少，那么独立站点所属集合对应的服务集群具有更高的处理性能、更快的响应速度、更高的稳定性。需要说明的是，每一个服务集群的配置(处理能力、响应速度、稳定性等)都是在满足对应的集合中各个独立站点的需求的基础上进行设置的，能够保证各个独立站点的正常使用。在本申请中各个服务集群所配置的服务资源与其所对应的集合中的独立站点上报的数据相匹配，实现了资源的合理分配，从而能够避免资源的浪费。可以通过调整服务器的硬件设备如CPU、硬盘、网络带宽等实现不同资源的配置。

如图1C所示，为本申请根据一示例性实施例示出的一种独立站点分布式系统中服务集群与独立站点之间对应关系的示意图，多个独立站点被划分为两个集合，独立站点101、独立站点102、独立站点103同属于集合1，独立站点103、独立站点104、独立站点105同属于集合2。其中，集合1对应服务集群120，集合2对应服务集群130。假设集合1中各个独立站点的经营状况优于集合2中各个独立站点的经营状况，则服务集群120中各个服务节点121的性能优于服务集群130中各个服务节点131的性能。

各个独立站点所上报的数据通常能够反映各个独立站点的经营状况，例如在线请求频率、数据更新频率，独立站点成交金额等。在线请求频率是指单位时间内独立站点发出的请求数量，请求包括对商品种类、库存、价格等的查询请求等，由此能够体现出该独立站点被访问的次数。请求数量越多则说明访问该独立站点的人数越多，该独立站点的经营状况越好。顾名思义，数据更新频率则是指单位时间内该商家对应的独立站点的数据更新次数，例如商品种类、库存、价格等的修改，订单量的增加或减少等。独立站点成交金额则为体现独立站点运营状况最直观的体现。此外，独立站点的经营状况还可以基于指定的业务标记来体现，指定的业务标记通过人工进行标注。在本申请一实施例中，独立站点上报的数据至少包括以下任一：在线请求频率、数据更新频率、独立站点成交金额或指定业务标记。其中指定业务标记可以是用于标识精品独立站点或重点商家的独立站点的标记。

可以基于独立站点上报的数据所满足的预设条件确定各个独立站点对应的集合，预设条件可以通过比较各个独立站点上报的数据数值的大小进行设置，例如根据独立站点成交金额的大小进行排序，将成交金额排在各个独立站点成交金额的前30％作为预设条件。容易理解的是，不同集合中的独立站点的经营状况存在差异，各个集合所对应的预设条件也不同，例如运营状况较好的集合对应的预设条件为独立站点成交金额排在各个独立站点成交金额的前30％，运营状况较好的集合对应的预设条件为独立站点成交金额排在各个独立站点成交金额的前50％-前80％。预设条件的合理设置是实现服务集群中各个服务节点数据负载均衡的重要因素，仍以独立站点成交金额排在各个独立站点成交金额的前X％为例，预设条件的合理设置则体现在X的合理取值。若X的取值不合理则属于同一集合的各个独立站点的经营状况仍存在较大差异，导致该集合对应的服务集群中的各个服务节点数据负载不均衡。

预设条件的合理设置通常需要用户基于各个独立站点上报的数据根据本领域技术人员的经验进行设置，根据独立站点上报的数据将各个独立站点划分到对应的集合包括：基于独立站点上报的数据所满足的预设条件确定各个独立站点对应的集合，经过申请人的大量实验研究发现，当预设条件至少包括以下之一时将使得每个服务节点的负载量更加均衡：

在线请求频率位于各个独立站点在线请求频率的前30％或前80％；数据更新频率位于各个独立站点数据更新频率的前30％或前80％；数据携带有指定业务标记，指定业务标记用于标识精品独立站点或重点商家的独立站点；独立站点的成交金额位于各个独立站点成交金额的前30％或前80％。

值得指出，30％和80％的取值为本申请基于各个独立站点的经营情况测试出的经验值，并不代表这是本领域技术人员可取的唯一值。假设独立站点的成交金额达到五千万时需要为其配置最优性能的服务资源才能满足独立站点的需求，那么当少部分的独立站点经营状况良好时，例如100个独立站点中有30个独立站点的成交金额达到五千万以上，这30个独立站点均需要最优性能的服务资源，则将前30％的独立站点划分到同一个集合；第二种情况为大部分的独立站点经营状况良好，例如100个独立站点中有80个独立站点的成交金额都达到五千万以上，这80个独立站点均需要最优性能的服务资源，则将前80％的独立站点划分到同一个集合。

考虑到独立站点的经营具有高自由度，各个独立站点的运营状况处于动态变化之中，例如独立站点M只售卖一款商品，在独立站点M经营的过程中该款商品从普通商品变为了爆款商品，使得独立站点的访问量和订单量均增多。在这种情况下，独立站点M访问量和订单量的增多对服务集群处理能力的要求更高，独立站点M所属集合的服务集群所配置的服务资源已不再满足需求，可能会出现卡顿、站点崩溃等现象。因此，考虑到独立站点经营状况的动态变化，各个独立站点所属的集合也需要进行相应的调整。

在本申请一实施例中，资源管理引擎还用于周期性监控独立站点上报的数据，确定是否需要更新独立站点所属的集合，如果需要更新，则更新独立站点所属的集合以及在新的服务集群中配置新的服务节点，并将所承载的商家的各个产品所关联的数据迁移到新的服务节点上。动态更新独立站点所属的集合一方面能够在独立站点的经营状况变好时为其提升服务资源的性能，从而避免出现卡顿、站点崩溃等故障，保证独立站点的正常使用，提高用户体验。另一方面能够在独立站点的经营状况变差时降低服务资源的性能，从而避免高性能资源的浪费。

可以基于独立站点上报的数据所满足的预设条件是否产生变化来确定独立站点所属的集合是否需要更新，预设条件的设置如前述所述，在此不再赘述。此外，独立站点所属集合更新后该独立站点的所有数据(包括历史数据)整体迁移至新的集合所对应的服务集群中各个服务节点上。监控周期可以基于经验进行合理设置。

另外，本申请还提供了一种独立站点数据的管理方法，适用于包括至少一个独立站点和至少一个服务集群的独立站点分布式系统，所述独立站点用于上报所承载的商家的各个产品所关联的数据，所述服务集群包括至少一个服务节点，所述服务集群中的服务节点用于存储所对应的独立站点上承载的商家的各个产品所关联的数据。如图2所示为本申请根据一示例性实施例示出的一种独立站点数据的管理方法的流程图，包括以下步骤：

步骤202，根据独立站点上报的数据将各个独立站点划分到对应的集合；

步骤204，为每个集合配置相应的服务集群，并基于集合中独立站点的数量配置与每个独立站点对应的服务节点；其中，所配置的服务集群的服务资源与集合中的独立站点上报的数据相匹配。

基于各个独立站点上报的数据将各个独立站点划分到相应的集合，是为了将数据特性存在较大差异的独立站点隔离开来进行存储，将数据特性相似的独立站点放在同一个集合中利用同一个服务集群进行数据存储。数据特性的差异体现了经营状况的差异，也就是说将经营状况存在较大差异的独立站点隔离开来进行存储，同时基于集合中独立站点的数量配置各个独立站点对应的服务节点，从而在保证服务集群中各个服务节点负载的“独立站点数量均衡”的同时避免了因独立站点经营状况的差异导致的数据分布不均衡的问题，进而避免了资源浪费。

基于集合中的独立站点上报的数据配置相匹配的服务资源意为，为经营状况较好的独立站点配置性能较高的服务资源，为经营状况较好的独立站点配置性能较低的服务资源，从而实现服务资源的合理分配，避免资源浪费。

各个独立站点所上报的数据通常能够反映各个独立站点的经营状况，例如在线请求频率、数据更新频率，独立站点成交金额等。与前述系统实施例相对应，在本申请一方法实施例中，独立站点上报的数据至少包括以下任一：在线请求频率、数据更新频率、独立站点成交金额或指定业务标记。可以基于独立站点上报的数据所满足的预设条件确定各个独立站点对应的集合，在本申请另一方法实施例中，根据独立站点上报的数据将各个独立站点划分到对应的集合包括：基于所述独立站点上报的数据所满足的预设条件确定各个独立站点对应的集合，所述预设条件至少包括以下之一：在线请求频率位于各个独立站点在线请求频率的前30％或前80％；数据更新频率位于各个独立站点数据更新频率的前30％或前80％；所述数据携带有指定业务标记，指定业务标记用于标识精品独立站点或重点商家的独立站点；独立站点的成交金额位于各个独立站点成交金额的前30％或前80％。

此外，考虑到独立站点经营状况的动态变化，在本申请又一方法实施例中，还包括：周期性监控独立站点上报的数据，确定是否需要更新独立站点所属的集合，如果需要更新，则更新独立站点所属的集合以及在新的服务集群中配置新的服务节点，并将所承载的商家的各个产品所关联的数据迁移到新的服务节点上。

由于方法实施例基本上与前述系统实施例相对应，所以各个方法实施例的实现过程和作用参见系统实施例对应部分的说明即可，在此不再赘述。

与前述方法的实施例相对应，本申请还提供了一种独立站点数据的管理装置及其所应用的终端的实施例。本申请独立站点数据的管理装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本申请实施例安全保护装置所在电子设备的一种硬件结构图，除了图3所示的处理器310、内存330、网络接口320、以及非易失性存储器340之外，实施例中装置331所在的电子设备，通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

如图4所示，图4是本申请根据一示例性实施例示出的一种独立站点数据的管理装置，适用于包括至少一个独立站点和至少一个服务集群的独立站点分布式系统，所述独立站点用于上报所承载的商家的各个产品所关联的数据，所述服务集群包括至少一个服务节点，所述服务集群中的服务节点用于存储所对应的独立站点上承载的商家的各个产品所关联的数据；所述装置包括：

分类模块410，用于根据独立站点上报的数据将各个独立站点划分到对应的集合；

配置模块420，用于为每个集合配置相应的服务集群，并基于集合中独立站点的数量配置与每个独立站点对应的服务节点；其中，所配置的服务集群的服务资源与集合中的独立站点上报的数据相匹配。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本说明书还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现前述任一方法实施例所述的方法。此外，本说明书还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于指令相关的硬件，来完成前述任一方法实施例所述的方法。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。