一种冷访问回源调度系统及其处理方法

摘要

本发明提供一种冷访问回源调度系统及其处理方法，该冷访问回源调度系统，包括：Cache模块、边缘业务判断模块、冷热文件统计模块、重定向模块以及回源路径决策模块，其中：Cache模块用以对标签相同的存储块进行访问；边缘业务判断模块用以判断业务是否需要进行回源收敛处理；冷热文件统计模块用以对Cache模块的访问内容请求日志，统计内容的冷热度，决策出某个内容是属于冷访问还是热访问内容。该冷访问回源调度系统及其处理方法，对低缓存命中率的业务，进行回源带宽的收敛，减少访问内容需要的回源次数，减少CDN网内的内容传输流量，对冷访问内容进行区域的集中服务，提升内容的缓存共享，利用内容hash计算快速定位资源服务池。

说明书

技术领域

本发明涉及互联网技术领域，特别的为一种冷访问回源调度系统及其处理方法。

背景技术

随着互联网视频应用的蓬勃发展，视频内容来源种类越来越多，视频内容的受众更加的细分，除了热点内容之外，小受众的视频内容也是越来越多，这类视频单个内容产生的互联网流量微小，但视频的数量基数较大，特别是网民生产的内容，最终带来的流量也是很巨大的CDN对内容的分发主要是依靠内容就近缓存在网民的周边节点，利用CDN节点内缓存的能力，加速网民获取内容的速度，提升访问质量，同时也减轻内容源站的服务压力。

基于CDN的缓存原理，内容被访问频率越高，缓存命中率越高，CDN加速产生的业务和商业价值越大，随着互联网内容的多样化和受众的细分，很多的访问内容并不是热点访问内容，即反映在CDN中就是内容的命中率很低，会有大量的访问内容CDN需要回父层节点或内容源获取内容再发送给访问用户，这样的场景对CDN的缓存价值打了折扣，除了用户的访问质量会受到影响，还会产生大量的CDN网内的传输流量，也就是会增加CDN的父层节点带宽压力和成本，这类命中率低的业务，和传统一般的动态回源加速业务还不太一样，因为是视频类的内容，带来传输数据量级大很多一般针对命中率低的业务，CDN有一些辅助手段可以提升边缘节点对内容的命中率，比如预取内容，把访问的内容提前加载到CDN边缘节点，但网民的访问行为是不确定，只能对统计的一些历史的热点访问内容进行预取，而对所有新增内容的提前预取，短时间内容也需要消耗传输时间，从业务的角度看也不能在短期内把所有内容同时分发到CDN边缘节点。

随着低命中率的互联网业务，即需要较高回源比例的互联网业务越来越多，特别是视频和下载等传输数据量大的业务，这对CDN和业务运营方都带来了不小的技术和成本挑战，从业务方的角度看业务有价值需要得到CDN的加速保障业务的服务质量，从CDN服务商的角度看，这类业务相对高命中率的业务会带来更高的带宽成本和平台的性能压力。

发明内容

本发明提供的发明目的在于提供一种冷访问回源调度系统及其处理方法，该解决上述背景技术中的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种冷访问回源调度系统，包括：Cache模块、边缘业务判断模块、冷热文件统计模块、重定向模块以及回源路径决策模块，其中：

Cache模块用以对标签相同的存储块进行访问；

边缘业务判断模块用以判断业务是否需要进行回源收敛处理；

冷热文件统计模块用以对Cache模块的访问内容请求日志，统计内容的冷热度，决策出某个内容是属于冷访问还是热访问内容，并提供给其他模块作为信息的输入；

重定向模块用以对访问内容的传输路径进行调整；

回源路径决策模块用以确定URL访问内容的最佳节点。

进一步地，边缘业务判断模块用以判断业务是否需要进行回源收敛处理具体包括：

预设的配置：域名是否开启冷访问回源收敛功能，不同时段对功能的开启关闭；

冷热文件统计模块的来源数据：访问的内容是热文件，直接按照正常逻辑进行服务；

客户访问带来的信息：判断请求访问业务是否与功能适配，不适配的业务请求按正常的逻辑进行服务响应。

进一步地，所述边缘业务判断模块的输入端与回源路径决策模块的输出端连接，所述边缘业务判断模块的输入端与冷热文件统计模块的输出端连接。

进一步地，所述Cache模块的输出端与边缘业务判断模块的输出端连接，所述冷热文件统计模块的输入端与Cache模块的输出端连接。

进一步地，所述Cache模块的输入端与重定向模块的输出端连接。

本发明还提供一种冷访问回源调度处理方法，包括以下步骤：

S1、Cache模块收到客户端的请求，做一次快速功能开启判断，对不需要做冷访问回源收敛的请求快速忽略后续的处理，按常规功能逻辑处理，避免冷访问回源收敛功能影响服务性能，如果功能关闭，跳转到S7。

S2、对功能开启的请求，Cache模块模块向边缘业务判断模块请求进一步业务判断，决定是否对请求启用冷访问回源收敛功能，如果判断不执行冷访问回源功能，跳转到S7。

S3、边缘业务判断模块从冷热文件统计模块及回源路径决策模块获取判断需要的信息。

S4、边缘业务判断模块进行计算判断，给出结果，使用新的服务节点还是当前的服务节点来服务客户端请求。

S5、Cache模块模块，根据边缘业务判断模块的结果执行后续的动作。如果给出了新的服务节点IP,跳转到S6,请求重定向模块响应客户的请求，进行重定向，如果继续使用当前的服务节点，跳转到S7。

S6、重定向模块以内容重定向响应客户的请求，给出新的服务节点资源地址，跳转到S8。

S7、当前服务节点继续按常规功能逻辑处理响应客户的请求。

S8、冷热文件统计模块统计Cache模块的内容请求梳理。

S9、结束。

本发明提供了一种冷访问回源调度系统及其处理方法。具备以下有益效果：

(1)、该冷访问回源调度系统及其处理方法，对低缓存命中率的业务，进行回源带宽的收敛，减少访问内容需要的回源次数，减少CDN网内的内容传输流量。

(2)、该冷访问回源调度系统及其处理方法，对冷访问内容进行区域的集中服务，提升内容的缓存共享。

(3)、该冷访问回源调度系统及其处理方法，利用内容hash计算快速定位资源服务池。

(4)、该冷访问回源调度系统及其处理方法，利用节点带宽、质量和成本等信息建立质量和成本平衡的资源服务池以及内容回源路径。

附图说明

图1为本发明实施例的系统结构示意图；

图2为本发明实施例的方法流程示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明：

实施例1：参照图1-2：一种冷访问回源调度系统，包括：CDN其他系统、Cache模块、边缘业务判断模块、冷热文件统计模块、重定向模块以及回源路径决策模块，其中：Cache模块：Cache模块由相联存储器实现，相联存储器的每一个存储块都具有额外的存储信息，称为标签，当访问相联存储器时，将地址和每一个标签同时进行比较，从而对标签相同的存储块进行访问。

边缘业务判断模块，此模块存在的目的，是因为并不是所有的业务都需要做回源收敛处理，因为业务的命中率有时也会随着业务自身的情况变化，比如平时产生的内容命中率较高，但某一时间段命中率变得比较低。同时有些新的业务调度到CDN的前期产生的访问命中率可能是比较低的，需要一个内容缓存到CDN的过程，之后命中率会提升，同时有些业务的部分访问是不能适配本系统的回源收敛功能的，还是需要走正常的一般CDN缓存和回源逻辑，否则会产生服务影响，业务判断是否启用冷访问回源收敛功能的信息有几个来源，如下：一个是预设的配置，比如域名是否开启冷访问回源收敛功能，或不同时段对功能的开启关闭等，其次是冷热文件统计模块的来源数据，如是访问的内容是热文件，直接按照正常逻辑进行服务，最后一个信息是客户访问带来的信息，比如IP来源、HTTP请求中的头部(比如X-Forwarded-For)和URL等信息，可以判断请求访问业务是否与功能适配，不适配的业务请求还是会按正常的逻辑进行服务响应，一般的判断策略例子如下：

a)某APP端的访问，HTTP请求中UA的信息在一个白名单中，可以启用冷访问回源收敛功能，或某个域名的请求不开启功能，或HTTP请求头中或URL中带有某些的信息在黑名单中不开启功能。

b)某访问请求的内容是一个冷访问文件内容，可以做回源收敛功能。

c)如请求在第一个节点未命中，且内容存在区域的缓存池。

一般的结果计算过程，如下：

a)做简单的hash计算，把内容分配到hash环中对应的节点资源池。

b)通过多种信息和策略组合，判断节点资源池是否有新的服务节点代替当前服务节点。

冷热文件统计模块，针对Cache模块的访问内容请求日志，统计内容的冷热度，决策出某个内容是属于冷访问还是热访问内容，信息会提供给其他模块(如边缘业务判断模块)作为信息的输入。

重定向模块，回源收敛的调度控制，需要通过对访问内容的传输路径进行调整，方法主要是通过重定向模块的能力，对访问路径进行调度切换，基于HTTP服务的业务，一般是具有302功能的重定向模块，在边缘Cache节点上运行的重定向模块，可以在用户访问到边缘Cache节点时进行调度调整用户的最终访问CDN服务节点，在父层Cache节点上运行的重定向模块，可以对边缘CDN节点回源路径进行调度调整，一份内容多次在CDN网内传输的情况，降低在CDN网内的服务带宽。

回源路径决策模块，此模块通过CDN其他的运营系统获取各服务节点的带宽、成本、质量等信息数据，根据业务URL内容分别构建边缘节点和父层节点各自的hash环缓存资源池(比如内集中在某个区域的机房节点存储，同时此节点的互联互通质量较好切成本也较合适)，确定URL访问内容的最佳节点，被选中的边缘节点和父层节点构建内容的回源路径是在CDN内产生回源带宽最小和质量相对好的路径，通过URL的内容进行映射到hash环中的节点资源池中进行内容的集中缓存，使冷文件内容走相同访问路径，重复利用访问路径中已缓存内容，从而减少内容的不同路径多次和重复传输的情况，达到减少带宽的目的，正常的数据流：如果L1不命中，会到L2节点请求资源：client——>L1——>L2——>源站。

L1 hash环数据流：如果L1不命中，会根据内容的hash策略，到对应的L1环上的hash节点取资源。

client——>L1——>L1 hash节点——>L2——>源站。

L2 hash环数据流：如果L1不命中，会根据内容的hash策略，到对应的L2环上的hash节点取资源。

client——>L1——>L2 hash节点——>源站。

具体的，边缘业务判断模块的输入端与回源路径决策模块的输出端连接，边缘业务判断模块的输入端与冷热文件统计模块的输出端连接。

具体的，Cache模块的输出端与边缘业务判断模块的输出端连接，冷热文件统计模块的输入端与Cache模块的输出端连接。

具体的，Cache模块的输入端与重定向模块的输出端连接。

此外，基于上述实施例系统，其处理方法包括以下步骤：

步骤一、Cache模块收到客户端的请求，做一次快速功能开启判断，对不需要做冷访问回源收敛的请求快速忽略后续的处理，按常规功能逻辑处理，避免冷访问回源收敛功能影响服务性能，如果功能关闭，跳转到步骤七，使得客户端进行常规功能常规功能逻辑处理响应客户的请求。

步骤二、对功能开启的请求，Cache模块模块向边缘业务判断模块请求进一步业务判断，决定是否对请求启用冷访问回源收敛功能，如果判断不执行冷访问回源功能，跳转到步骤七，使得客户端进行常规功能常规功能逻辑处理响应客户的请求。

步骤三、边缘业务判断模块从冷热文件统计模块及回源路径决策模块获取判断需要的信息，业务判断是否启用冷访问回源收敛功能的信息有几个来源，如下：一个是预设的配置，比如域名是否开启冷访问回源收敛功能，或不同时段对功能的开启关闭等，其次是冷热文件统计模块的来源数据，如是访问的内容是热文件，直接按照正常逻辑进行服务，最后一个信息是客户访问带来的信息，比如IP来源、HTTP请求中的头部(比如X-Forwarded-For)和URL等信息，可以判断请求访问业务是否与功能适配，不适配的业务请求还是会按正常的逻辑进行服务响应。

步骤四、边缘业务判断模块进行计算判断，给出结果，使用新的服务节点还是当前的服务节点来服务客户端请求，已方便选择合适的服务节点来对客户端的请求进行服务，方便使用。

步骤五、Cache模块模块，根据边缘业务判断模块的结果执行后续的动作，如果给出了新的服务节点IP，跳转到步骤六,请求重定向模块响应客户的请求，进行重定向，通过步骤六的重定向模块以内容重定向响应客户的请求，给出新的服务节点资源地址，已方便对新的服务节点进行使用，如果继续使用当前的服务节点，跳转到步骤七，通过步骤七的当前服务节点继续按常规功能逻辑处理响应客户的请求。

步骤六、重定向模块以内容重定向响应客户的请求，给出新的服务节点资源地址，跳转到步骤八，通过步骤八的冷热文件统计模块统计Cache模块的内容请求梳理，已方便对内容进行详细的了解梳理，方便使用。

步骤七、当前服务节点继续按常规功能逻辑处理响应客户的请求，已方便服务节点对客户的请求进行服务，方便使用。

步骤八、冷热文件统计模块统计Cache模块的内容请求梳理，通过冷热文件统计模块可以全面的对Cache模块的内容进行了解梳理，便于使用。

步骤九、处理结束。

本发明中，在使用上可以对低缓存命中率的业务，进行回源带宽的收敛，减少访问内容需要的回源次数，减少CDN网内的内容传输流量，对冷访问内容进行区域的集中服务，提升内容的缓存共享，利用内容hash计算快速定位资源服务池，利用节点带宽、质量和成本等信息建立质量和成本平衡的资源服务池以及内容回源路径。

以上的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。