一种基于下刷速度调整业务速度的方法和装置

摘要

本发明提供一种基于下刷速度调整业务速度的方法、系统、设备和存储介质，方法包括：设置预警阈值，并将所述预警阈值写入内存；创建下刷线程将缓存池中的数据下刷到存储池，并每隔预设时间检测所述缓存池的当前水位是否超过所述预警阈值；响应于所述缓存池的当前水位超过所述预警阈值，根据所述缓存池的当前下刷速率申请写入权限；以及根据所述写入权限将客户端的数据写入所述缓存池。本发明当水位超过预警阈值时基于统计出的下刷速率为写入请求申请权限，只有当获取到权限才可执行业务的实际执行，从而有效预防缓存池被写满。

说明书

技术领域

本发明涉及分布式存储系统领域，更具体地，特别是指一种基于下刷速度调整业务速度的方法、系统、设备和存储介质。

背景技术

在当前大数据的时代，数据的收集、传输及存储面临诸多挑战；面对海量数据，要求高效的、一致性的存储，这已成为当前各类业务系统的迫切需求；作为各类存储系统中数据最终的存储介质，在存储器的容量性价比的方面HDD(Hard Disk Drive，机械硬盘)仍具有非常大的优势，但在面对上层业务系统对IOPS(Input/Output Per Seconds，每秒输入输出的量)越来越高的要求时已显得力不从心；在小IO的读写速度方面，SSD(Solid StateDisk/Drive，固态硬盘)/NVMe(Non Volatile Memory Express，非易失性存储器标准)等新型存储介质优势明显，但终因价格高导致性价比相对较低的原因而不能在商业系统中大批量使用。

如何基于当前硬件存储器的实际情况，来满足业务系统的实际需求是需要解决的实际问题，在实现存储系统时会做分层处理，即，使用少量SSD/NVMe作为缓存池，提升存储集群的IOPS，后端使用大量的HDD用作数据的持久化存储，存储系统通过数据下刷策略，将数据从缓冲池固化到底层存储池中；但因SSD/NVMe的IOPS远超HDD，所以业务在持续全速写时会出现缓存池满的情况，从而导致整个存储集群拒绝服务。

发明内容

有鉴于此，本发明实施例的目的在于提出一种基于下刷速度调整业务速度的方法、系统、计算机设备及计算机可读存储介质，本发明当水位超过预警阈值时基于统计出的下刷速率为写入请求申请权限，只有当获取到权限才可执行业务的实际执行，从而有效预防缓存池被写满；与未对基于下刷速率进行业务限速的系统相比，能在保证业务IOPS相对稳定的情况下有效避免了存储池被写满，保证了存储系统的稳定运行。

基于上述目的，本发明实施例的一方面提供了一种基于下刷速度调整业务速度的方法，包括如下步骤：设置预警阈值，并将所述预警阈值写入内存；创建下刷线程将缓存池中的数据下刷到存储池，并每隔预设时间检测所述缓存池的当前水位是否超过所述预警阈值；响应于所述缓存池的当前水位超过所述预警阈值，根据所述缓存池的当前下刷速率申请写入权限；以及根据所述写入权限将客户端的数据写入所述缓存池。

在一些实施方式中，所述根据所述缓存池的当前下刷速率申请写入权限包括：根据所述缓存池的当前下刷速率确定写入所述缓存池数据的速率，并根据写入所述缓存池数据的速率确定所述写入权限对应的速率。

在一些实施方式中，所述根据所述缓存池的当前下刷速率确定写入所述缓存池数据的速率包括：响应于所述缓存池的当前下刷速率大于第一阈值，将写入所述缓存池数据的速率设置为第一阈值对应的速率；以及响应于所述缓存池的当前下刷速率小于或等于第一阈值，将写入所述缓存池数据的速率设置为所述缓存池的当前下刷速率的一半。

在一些实施方式中，所述根据写入所述缓存池数据的速率确定所述写入权限对应的速率包括：将所述写入权限对应的速率设置成与所述写入所述缓存池数据的速率相等。

本发明实施例的另一方面，提供了一种基于下刷速度调整业务速度的系统，包括：设置模块，配置用于设置预警阈值，并将所述预警阈值写入内存；检测模块，配置用于创建下刷线程将缓存池中的数据下刷到存储池，并每隔预设时间检测所述缓存池的当前水位是否超过所述预警阈值；申请模块，配置用于响应于所述缓存池的当前水位超过所述预警阈值，根据所述缓存池的当前下刷速率申请写入权限；以及执行模块，配置用于根据所述写入权限将客户端的数据写入所述缓存池。

在一些实施方式中，所述申请模块配置用于：根据所述缓存池的当前下刷速率确定写入所述缓存池数据的速率，并根据写入所述缓存池数据的速率确定所述写入权限对应的速率。

在一些实施方式中，所述申请模块配置用于：响应于所述缓存池的当前下刷速率大于第一阈值，将写入所述缓存池数据的速率设置为第一阈值对应的速率；以及响应于所述缓存池的当前下刷速率小于或等于第一阈值，将写入所述缓存池数据的速率设置为所述缓存池的当前下刷速率的一半。

在一些实施方式中，所述申请模块配置用于：将所述写入权限对应的速率设置成与所述写入所述缓存池数据的速率相等。

本发明实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。

本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。

本发明具有以下有益技术效果：当水位超过预警阈值时基于统计出的下刷速率为写入请求申请权限，只有当获取到权限才可执行业务的实际执行，从而有效预防缓存池被写满；与未对基于下刷速率进行业务限速的系统相比，能在保证业务IOPS相对稳定的情况下有效避免了存储池被写满，保证了存储系统的稳定运行。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为本发明提供的基于下刷速度调整业务速度的方法的实施例的示意图；

图2为本发明提供的基于下刷速度调整业务速度的系统的实施例的示意图；

图3为本发明提供的基于下刷速度调整业务速度的计算机设备的实施例的硬件结构示意图；

图4为本发明提供的基于下刷速度调整业务速度的计算机存储介质的实施例的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

本发明实施例的第一个方面，提出了一种基于下刷速度调整业务速度的方法的实施例。图1示出的是本发明提供的基于下刷速度调整业务速度的方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：

S1、设置预警阈值，并将所述预警阈值写入内存；

S2、创建下刷线程将缓存池中的数据下刷到存储池，并每隔预设时间检测所述缓存池的当前水位是否超过所述预警阈值；

S3、响应于所述缓存池的当前水位超过所述预警阈值，根据所述缓存池的当前下刷速率申请写入权限；以及

S4、根据所述写入权限将客户端的数据写入所述缓存池。

在存储系统中通常会使用SSD进行缓存加速，而SSD中的数据最终会下刷到HDD中进行持久保存；但SSD与HDD在IOPS等硬件性能指标上差距巨大，会导致在进行业务持续的全速写入时缓存池被写满，进而引起整个存储集群拒绝服务；为避免仅仅因为缓存池写满但底层存储池未被写满，而导致整个集群不可用这种异常情况的出现，在必要的时候需要适当的引入业务限速机制，以损失部分性能的方式保证集群的高可用。

在存储系统中，周期性统计下刷速率，当缓存池水位超过阈值后对业务系统进行对应的业务限速，规避了缓存池被写满的风险，保证了存储系统的稳定性和可靠性。业务限速只有当缓存池水位相对较高时(超过可配置的预警阈值)才会启动，同时此时数据下刷的过程一直在进行中，如果能让业务写入的速度小于或等于下刷的速率，则缓存池一定不会被写满，从而保证集群的高可用。

设置预警阈值，并将所述预警阈值写入内存。根据缓存池的容量设置预警阈值Threshold，在系统启动时将开启限速的水位线预警阈值读入到内存。

创建下刷线程将缓存池中的数据下刷到存储池，并每隔预设时间检测所述缓存池的当前水位是否超过所述预警阈值。系统启动时会创建独立的下刷线程；系统启动后，会对下刷速率及水位信息进行周期性统计。

响应于所述缓存池的当前水位超过所述预警阈值，根据所述缓存池的当前下刷速率申请写入权限。根据所述写入权限将客户端的数据写入所述缓存池。系统接收到业务写入请求后，开始使用本地请求处理器处理；在请求正式被处理前，若检测到当前水位超过高水位阈值，则开始基于当前统计出的下刷速率数据申请写入权限，只有当申请到写入权限后才会执行数据写入；如果当前水位未超高水位阈值，则按照正常流程进行业务处理即可。也即是在缓存池中的对象数据下刷完成时，缓存池会将所述对象数据的空间释放出来，可以将该释放的空间的权限分配给客户端的数据，从而达到限制数据从客户端写入缓存池的速率。

在一些实施方式中，所述根据所述缓存池的当前下刷速率申请写入权限包括：根据所述缓存池的当前下刷速率确定写入所述缓存池数据的速率，并根据写入所述缓存池数据的速率确定所述写入权限对应的速率。

在一些实施方式中，所述根据所述缓存池的当前下刷速率确定写入所述缓存池数据的速率包括：响应于所述缓存池的当前下刷速率大于第一阈值，将写入所述缓存池数据的速率设置为第一阈值对应的速率；以及响应于所述缓存池的当前下刷速率小于或等于第一阈值，将写入所述缓存池数据的速率设置为所述缓存池的当前下刷速率的一半。例如，第一阈值对应的速率可以是数据从客户端写入缓存池的正常速率，当缓存池的当前下刷速率大于或等于第一阈值对应的速率时，为了不影响数据从客户端写入缓存池的速率，可以保持数据从客户端写入缓存池的速率为第一阈值对应的速率；当缓存池的当前下刷速率小于第一阈值对应的速率时，为了尽快降低缓存池当前的水位，可以将数据从客户端写入缓存池的速率设置为缓存池当前下刷速率的一半。

在一些实施方式中，所述根据写入所述缓存池数据的速率确定所述写入权限对应的速率包括：将所述写入权限对应的速率设置成与所述写入所述缓存池数据的速率相等。

在一些实施方式中，为了实现系统的高可用，在缓存池的水位降低到预警阈值以下后，停止对数据从客户端写入缓存池的速率的限制；并当缓存池的水位下一次上升到预警阈值后，再次开启对数据从客户端写入缓存池的速率的限制。

在一些实施方式中，为了避免频繁开启和关闭对数据从客户端写入缓存池的速率的限制，可以设置恢复阈值，所述恢复阈值低于预警阈值，当缓存池的水位降低到恢复阈值以下后，停止对数据从客户端写入缓存池的速率的限制，并当缓存池的水位下一次上升到预警阈值后，再次开启对数据从客户端写入缓存池的速率的限制。

本发明实施例当水位超过预警阈值时基于统计出的下刷速率为写入请求申请权限，只有当获取到权限才可执行业务的实际执行，从而有效预防缓存池被写满；与未对基于下刷速率进行业务限速的系统相比，能在保证业务IOPS相对稳定的情况下有效避免了存储池被写满，保证了存储系统的稳定运行。

需要特别指出的是，上述基于下刷速度调整业务速度的方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于基于下刷速度调整业务速度的方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在实施例之上。

基于上述目的，本发明实施例的第二个方面，提出了一种基于下刷速度调整业务速度的系统。如图2所示，系统200包括如下模块：设置模块，配置用于设置预警阈值，并将所述预警阈值写入内存；检测模块，配置用于创建下刷线程将缓存池中的数据下刷到存储池，并每隔预设时间检测所述缓存池的当前水位是否超过所述预警阈值；申请模块，配置用于响应于所述缓存池的当前水位超过所述预警阈值，根据所述缓存池的当前下刷速率申请写入权限；以及执行模块，配置用于根据所述写入权限将客户端的数据写入所述缓存池。

在一些实施方式中，所述申请模块配置用于：根据所述缓存池的当前下刷速率确定写入所述缓存池数据的速率，并根据写入所述缓存池数据的速率确定所述写入权限对应的速率。

在一些实施方式中，所述申请模块配置用于：响应于所述缓存池的当前下刷速率大于第一阈值，将写入所述缓存池数据的速率设置为第一阈值对应的速率；以及响应于所述缓存池的当前下刷速率小于或等于第一阈值，将写入所述缓存池数据的速率设置为所述缓存池的当前下刷速率的一半。

在一些实施方式中，所述申请模块配置用于：将所述写入权限对应的速率设置成与所述写入所述缓存池数据的速率相等。

本发明实施例当水位超过预警阈值时基于统计出的下刷速率为写入请求申请权限，只有当获取到权限才可执行业务的实际执行，从而有效预防缓存池被写满；与未对基于下刷速率进行业务限速的系统相比，能在保证业务IOPS相对稳定的情况下有效避免了存储池被写满，保证了存储系统的稳定运行。

基于上述目的，本发明实施例的第三个方面，提出了一种计算机设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行以实现如下步骤：S1、设置预警阈值，并将所述预警阈值写入内存；S2、创建下刷线程将缓存池中的数据下刷到存储池，并每隔预设时间检测所述缓存池的当前水位是否超过所述预警阈值；

S3、响应于所述缓存池的当前水位超过所述预警阈值，根据所述缓存池的当前下刷速率申请写入权限；以及S4、根据所述写入权限将客户端的数据写入所述缓存池。

在一些实施方式中，所述根据所述缓存池的当前下刷速率申请写入权限包括：根据所述缓存池的当前下刷速率确定写入所述缓存池数据的速率，并根据写入所述缓存池数据的速率确定所述写入权限对应的速率。

在一些实施方式中，所述根据所述缓存池的当前下刷速率确定写入所述缓存池数据的速率包括：响应于所述缓存池的当前下刷速率大于第一阈值，将写入所述缓存池数据的速率设置为第一阈值对应的速率；以及响应于所述缓存池的当前下刷速率小于或等于第一阈值，将写入所述缓存池数据的速率设置为所述缓存池的当前下刷速率的一半。

在一些实施方式中，所述根据写入所述缓存池数据的速率确定所述写入权限对应的速率包括：将所述写入权限对应的速率设置成与所述写入所述缓存池数据的速率相等。

本发明实施例当水位超过预警阈值时基于统计出的下刷速率为写入请求申请权限，只有当获取到权限才可执行业务的实际执行，从而有效预防缓存池被写满；与未对基于下刷速率进行业务限速的系统相比，能在保证业务IOPS相对稳定的情况下有效避免了存储池被写满，保证了存储系统的稳定运行。

如图3所示，为本发明提供的上述基于下刷速度调整业务速度的计算机设备的一个实施例的硬件结构示意图。

以如图3所示的装置为例，在该装置中包括一个处理器301以及一个存储器302。

处理器301和存储器302可以通过总线或者其他方式连接，图3中以通过总线连接为例。

存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的基于下刷速度调整业务速度的方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现基于下刷速度调整业务速度的方法。

存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基于下刷速度调整业务速度的方法的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个基于下刷速度调整业务速度的方法对应的计算机指令303存储在存储器302中，当被处理器301执行时，执行上述任意方法实施例中的基于下刷速度调整业务速度的方法。

基于下刷速度调整业务速度的方法包括如下步骤：设置预警阈值，并将所述预警阈值写入内存；创建下刷线程将缓存池中的数据下刷到存储池，并每隔预设时间检测所述缓存池的当前水位是否超过所述预警阈值；响应于所述缓存池的当前水位超过所述预警阈值，根据所述缓存池的当前下刷速率申请写入权限；以及根据所述写入权限将客户端的数据写入所述缓存池。

在一些实施方式中，所述根据所述缓存池的当前下刷速率申请写入权限包括：根据所述缓存池的当前下刷速率确定写入所述缓存池数据的速率，并根据写入所述缓存池数据的速率确定所述写入权限对应的速率。

在一些实施方式中，所述根据所述缓存池的当前下刷速率确定写入所述缓存池数据的速率包括：响应于所述缓存池的当前下刷速率大于第一阈值，将写入所述缓存池数据的速率设置为第一阈值对应的速率；以及响应于所述缓存池的当前下刷速率小于或等于第一阈值，将写入所述缓存池数据的速率设置为所述缓存池的当前下刷速率的一半。

在一些实施方式中，所述根据写入所述缓存池数据的速率确定所述写入权限对应的速率包括：将所述写入权限对应的速率设置成与所述写入所述缓存池数据的速率相等。

执行上述基于下刷速度调整业务速度的方法的计算机设备的任何一个实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时执行基于下刷速度调整业务速度的方法的计算机程序。

如图4所示，为本发明提供的上述基于下刷速度调整业务速度的计算机存储介质的一个实施例的示意图。以如图4所示的计算机存储介质为例，计算机可读存储介质401存储有被处理器执行时执行基于下刷速度调整业务速度的方法的计算机程序402。

基于下刷速度调整业务速度的方法包括如下步骤：设置预警阈值，并将所述预警阈值写入内存；创建下刷线程将缓存池中的数据下刷到存储池，并每隔预设时间检测所述缓存池的当前水位是否超过所述预警阈值；响应于所述缓存池的当前水位超过所述预警阈值，根据所述缓存池的当前下刷速率申请写入权限；以及根据所述写入权限将客户端的数据写入所述缓存池。

在一些实施方式中，所述根据所述缓存池的当前下刷速率申请写入权限包括：根据所述缓存池的当前下刷速率确定写入所述缓存池数据的速率，并根据写入所述缓存池数据的速率确定所述写入权限对应的速率。

在一些实施方式中，所述根据所述缓存池的当前下刷速率确定写入所述缓存池数据的速率包括：响应于所述缓存池的当前下刷速率大于第一阈值，将写入所述缓存池数据的速率设置为第一阈值对应的速率；以及响应于所述缓存池的当前下刷速率小于或等于第一阈值，将写入所述缓存池数据的速率设置为所述缓存池的当前下刷速率的一半。

在一些实施方式中，所述根据写入所述缓存池数据的速率确定所述写入权限对应的速率包括：将所述写入权限对应的速率设置成与所述写入所述缓存池数据的速率相等。

最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，基于下刷速度调整业务速度的方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。

上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。