文件归档实现方法和装置以及文件访问方法和装置

摘要

本发明实施例提供一种文件归档实现方法和装置以及文件访问方法和装置。该文件归档实现方法包括：迁移归档控制节点基于迁移策略，将主存储业务节点中的待迁移文件迁移至磁带库设备的LTFS中，迁移归档控制节点和主存储业务节点组成分布式文件存储系统；迁移归档控制节点接收LTFS生成的文件目录，其中文件目录在完成文件迁移时生成；迁移归档控制节点将所述LTFS配置为NFS，并将所述LTFS所包含的文件对应的共享路径添加到所述文件目录中，作为共享文件目录；迁移归档控制节点将所述共享文件目录映射至主存储业务节点。本方案实现了文件的跨介质迁移和归档，降低了对主存储业务节点的磁盘空间的占用，实现了海量文件的长期离线保存。

说明书

技术领域

本发明实施例涉及信息管理技术领域，尤其涉及一种文件归档实现方法和装置以及文件访问方法和装置。

背景技术

云存储和大数据背景下，非结构化数据呈现爆炸式增长趋势。针对海量文件，除了满足存储容量、性能和扩展性之外，还需考虑文件的周期性访问和文件分布规律，有效实现文件迁移或文件归档，以优化主存储架构，降低非活跃文件对宝贵主存资源的占用。

在信息管理领域，文件迁移以及文件归档是一种常见的数据结构优化和数据长期保存的方法，已经沿用多年。现有的文件归档方法，一般是通过迁移归档软件或集成于备份软件的迁移归档模块扫描文件结构和访问频率，按时间策略，访问频度策略等实现文件的动态流转，从而达到文件归档的目的。

上述文件归档方法的缺陷在于：主要针对较小的文件环境，如几TB，几十TB，并不是适用于海量文件存储环境，主要存在两方面制约：

第一、海量文件存储环境数据量巨大，数据量膨胀至几百TB甚至几PB时，现有的文件归档方法需要扫描和生成索引的文件数量过于庞大，性能开销太大，加之业务系统没有足够的时间窗口容忍此类操作，因此不具备可实施性和可操作性；

第二、现有的文件归档一般都是针对独立的主机环境，基于本地文件系统实现，其结构存在封闭性。

现有的基于分布式文件存储系统的文件归档方法，一般是通过将多个磁盘的存储层区分高低性能，监控文件的访问频率和文件使用周期，并将非活跃文件从一个磁盘的存储层迁移到设定磁盘中，从而达到文件归档的目的。

上述基于分布式文件存储系统的文件归档方法的缺陷在于：无法跨越磁盘，实现从磁盘到磁带库设备的跨越，因此无法实现文件离线和长期保存。

发明内容

本发明实施例提供一种文件归档实现方法和装置以及文件访问方法和装置，以实现海量文件的从磁盘到磁带库设备的归档。

第一方面，本发明实施例提供了一种文件归档实现方法，包括：

迁移归档控制节点基于迁移策略，将主存储业务节点中的待迁移文件迁移至磁带库设备的LTFS(线性磁带文件系统)中，其中，所述主存储业务节点中存储有待迁移的文件的描述信息，所述迁移归档控制节点和所述主存储业务节点组成分布式文件存储系统；

所述迁移归档控制节点接收所述LTFS生成的文件目录，其中所述文件目录在完成文件迁移时生成；

所述迁移归档控制节点将所述LTFS配置为NFS(Network File System，网络文件系统)，并将所述LTFS所包含的文件对应的共享路径添加到所述文件目录中，作为共享文件目录；

所述迁移归档控制节点将所述共享文件目录映射至所述主存储业务节点。

第二方面，本发明实施例提供了一种文件归档实现装置，包括：

迁移模块，用于基于迁移策略，将主存储业务节点中的待迁移文件迁移至磁带库设备的LTFS中，其中，所述主存储业务节点中存储有待迁移的文件的描述信息；

接收模块，用于接收所述LTFS生成的文件目录，其中所述文件目录在完成文件迁移时生成；

配置模块，用于将所述LTFS配置为NFS，并将所述LTFS所包含的文件对应的共享路径添加到所述文件目录中，作为共享文件目录；

映射模块，用于将所述共享文件目录映射至所述主存储业务节点。

第三方面，本发明实施例提供了一种文件访问方法，包括：

主存储业务节点接收客户端发起的文件访问请求；

所述主存储业务节点在共享文件目录中查找与所述文件访问请求对应的文件；

如果查找成功，所述主存储业务节点将与所述文件访问请求对应的文件的共享路径返回客户端，以使所述客户端根据所述共享路径，访问与迁移归档控制节点连接的磁带库设备的LTFS中的文件；

其中，所述共享文件目录采用本发明任意实施例提供的文件归档实现方法形成。

第四方面，本发明实施例提供了一种文件访问装置，包括：

文件访问请求接收模块，用于接收客户端发起的文件访问请求；

第一查找模块，用于在共享文件目录中查找与所述文件访问请求对应的文件；

文件访问模块，用于如果查找成功，将与所述文件访问请求对应的文件的共享路径返回客户端，以使所述客户端根据所述共享路径，访问与迁移归档控制节点连接的磁带库设备的LTFS中的文件；

其中，所述共享文件目录采用本发明任意实施例提供的文件归档实现装置形成。

本发明实施例提供的文件归档实现方法和装置，基于分布式文件存储系统，能够实现海量文件的存储，并且在通过分布式文件存储系统中的迁移归档控制节点确定该分布式文件存储系统中的主存储业务节点中的待迁移文件之后，通过迁移归档控制节点的文件迁移操作，能够将待迁移文件从主存储业务节点的磁盘中迁移到磁带库设备的LTFS中，实现文件的跨介质迁移和归档，从而能够降低对主存储业务节点的磁盘空间的占用，并实现海量文件的长期离线保存；并通过迁移归档控制节点的共享配置操作，使得通过主存储业务节点中的共享文件目录即可得到对应的共享路径。

本发明实施例提供的文件访问方法和装置，在通过分布式文件存储系统中的迁移归档控制节点将该分布式文件存储系统中的主存储业务节点中的待迁移文件迁移到磁带库设备的LTFS，并且在通过迁移归档控制节点执行共享配置操作，使主存储业务节点中存储有迁移至LTFS中的文件的共享目录之后，通过主存储业务节点在共享文件目录中查找与客户端发起的文件访问请求对应的文件，并且当查找成功时，将该文件对应的共享路径返回客户端，从而使客户端根据所述共享路径即可访问存储在磁带库设备中的文件，无需客户端执行文件扫描和索引整理工作，实现了文件的跨介质访问。

附图说明

为了更清楚地说明本发明，下面将对本发明中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1a为本发明实施例一提供的一种文件归档实现方法的流程图；

图1b为图1a提供的文件归档实现方法所适用的文件归档系统的结构示意图；

图1c为本发明实施例一提供的文件归档实现方法中的一种迁移归档控制节点将主存储业务节点中的待迁移文件迁移至磁带库设备的LTFS的方法流程图；

图2为本发明实施例二提供的一种文件归档实现装置的结构示意图；

图3为本发明实施例三提供的一种文件访问方法的流程图；

图4为本发明实施例四提供的一种文件访问方法的流程图；

图5为本发明实施例五提供的一种文件访问装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案作进一步详细描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

实施例一

图1a为本发明实施例一提供的文件归档实现方法的流程图，下面结合图1b介绍本发明实施例所提供的文件归档实现方法，该方法可以由文件归档实现装置来执行，该装置可配置于图1b所示的分布式文件存储系统中，典型的如该分布式文件存储系统的迁移归档控制节点中。

为清楚起见，下面结合图1b对本实施例提供的文件归档实现方法所涉及的网元和文件系统进行简单介绍。

本实施例提供的文件归档实现方法所涉及的网元设备包括：迁移归档控制节点、主存储业务节点和磁带库设备。

上述网元设备为逻辑概念，其中迁移归档控制节点和主存储业务节点可以物理上独立设置，也可以集成与一台物理主机中。磁带库设备独立于迁移归档控制节点和主存储业务节点设置。

其中，由迁移归档控制节点绑定磁带库设备，一般是由一个迁移归档控制节点绑定一个磁带库设备。

本实施例提供的文件归档实现方法所涉及的文件系统，包括：分布式文件存储系统、磁带库设备的LTFS(线性磁带文件系统)和NFS(网络文件系统)。

其中，迁移归档控制节点和主存储业务节点组成分布式文件存储系统，其中，主存储业务节点中存储的文件一般是存储在所述主存储业务节点的磁盘中。

分布式文件存储系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。换言之，主存储业务节点中存储文件资源，而主存储业务节点与迁移归档控制节点不一定集成于一台物理主机中，而是通过网络实现主存储业务节点与迁移归档控制节点的连接。

一个分布式文件存储系统中可以包括多个主存储业务节点和至少一个迁移归档控制节点，例如，在一个N节点的分布式文件存储系统中，可以包括N-1个主存储业务节点，将第N个节点作为迁移归档控制节点。针对大型的磁带库设备，根据性能需要，可以配置多个迁移归档控制节点，绑定不同的磁带库设备，从而可以实现并行化的文件迁移和归档。

磁带库设备内置的LTFS机制在所述磁带库设备中形成LTFS。LTFS被公认为是一项会让磁带应用复苏的技术，通过文件目录，让用户可以搜索磁带库设备上的文件，搜索磁带库设备的流程和磁盘存储一样，LTFS使得文件的长期归档成为可能。

NFS允许一个系统在网络上与他人共享目录和文件。通过使用NFS，客户端可以像访问本地文件一样访问远端系统上的文件。

基于上述网元设备和上述文件系统实现的文件归档实现方法，包括：

步骤110、迁移归档控制节点基于迁移策略，将主存储业务节点中的待迁移文件迁移至磁带库设备的LTFS中，其中，所述主存储业务节点中存储有待迁移的文件的描述信息，所述迁移归档控制节点和所述主存储业务节点组成分布式文件存储系统；

本步骤具体是由迁移归档控制节点基于迁移策略，确定主存储业务节点中的待迁移文件，并执行跨介质迁移操作，也即将待迁移文件从主存储业务节点的磁盘中迁移到磁带库设备中。

通常，迁移策略一般会选择某些特定文件对主存储业务节点的磁盘资源的占用，所述特定文件可以为非活跃的文件。

其中，迁移归档控制节点连接磁带库设备，所述迁移归档控制节点在逻辑上表现为机械臂和驱动器。

其中，在文件迁移之前，待迁移文件的描述信息和文件本身都存储于主存储业务节点中，在文件迁移之后，主存储业务节点中删除了待迁移文件，保留了该文件的描述信息，而该文件本身则存储于磁带库设备中。所述文件的描述信息为文件的元数据，可以包括文件大小和文件属性等信息。

需要说明的是，客户端可以基于所述文件的描述信息，发起文件访问请求。

步骤120、所述迁移归档控制节点接收所述LTFS生成的文件目录，其中所述文件目录在完成文件迁移时生成；

本步骤具体是在完成文件迁移时，LTFS生成文件目录，由所述迁移归档控制节点接收所述LTFS发送的文件目录。

步骤130、所述迁移归档控制节点将所述LTFS配置为网络文件系统NFS，并将所述LTFS所包含的文件对应的共享路径添加到所述文件目录中，作为共享文件目录；

本步骤具体是由所述迁移归档控制节点执行共享配置，以为磁带库设备的LTFS和主存储业务节点之间的文件共享做准备。

所述共享文件目录存储于所述迁移归档控制节点中，既包括所述LTFS所包含的文件形成的目录，又包括所述LTFS所包含的文件对应的共享路径。其中共享路径指向所述LTFS，也即，客户端在获取到所述共享路径之后，基于所述共享路径，可以访问存储于磁带库设备中的文件。

步骤140、所述迁移归档控制节点将所述共享文件目录映射至所述主存储业务节点。

本步骤具体是通过迁移归档控制节点执行共享文件目录的映射操作，使得所述主存储业务节点可以查看到所述LTFS以及所述LTFS中的文件目录，并且由于所述共享文件目录中包括所述LTFS所包含的文件对应的共享路径，使得客户端在通过主存储业务节点获取到所述共享路径之后，基于所述共享路径，可以访问存储于磁带库设备中的文件。

本实施例的技术方案，基于分布式文件存储系统，能够实现海量文件的存储，并且在通过分布式文件存储系统中的迁移归档控制节点确定该分布式文件存储系统中的主存储业务节点中的待迁移文件之后，通过迁移归档控制节点的文件迁移操作，能够将待迁移文件从主存储业务节点的磁盘中迁移到磁带库设备的LTFS中，实现文件的跨介质迁移和归档，从而能够降低对主存储业务节点的磁盘空间的占用，并实现海量文件的长期离线保存；并通过迁移归档控制节点的共享配置操作，使得通过主存储业务节点中的共享文件目录即可得到对应的共享路径。

请参阅图1c，作为迁移归档控制节点将主存储业务节点中的待迁移文件迁移至磁带库设备的LTFS的一种具体的实施方式，可以包括：

步骤111、所述迁移归档控制节点与所述LTFS建立FC(Fibre Channel，光纤通道)连接或SAS(Serial Attached SCSI，串行连接小型计算机系统接口)连接；

其中，SCSI(Small Computer System Interface，小型计算机系统接口)是一种智能的通用接口标准。

步骤112、基于所述FC连接或SAS连接，所述迁移归档控制节点将所述主存储业务节点中的待迁移文件迁移至所述LTFS中。

在本实施例中，所述迁移策略包括下述至少一项：

如果主存储业务节点中的文件的大小大于第一门限值，则将所述文件作为待迁移文件；

如果主存储业务节点中的文件的使用频度大于第二门限值，则将所述文件作为待迁移文件。

通常，主存储业务节点的磁盘空间有限。所述迁移策略，通过将文件大于设定大小的文件确定为待迁移文件，可以减小较大的文件对主存储业务节点的磁盘空间的占用；通过将使用频度较低的文件确定为待迁移文件，可以减小非活跃文件对主存储业务节点的磁盘空间的占用。

实施例二

请参阅图2，为本发明实施例二提供的一种文件归档实现装置的结构示意图，该装置可以配置于如图1b所示的分布式文件存储系统的迁移归档控制节点中。

该装置包括：迁移模块210、接收模块220、配置模块230和映射模块240。

其中，迁移模块210用于基于迁移策略，将主存储业务节点中的待迁移文件迁移至磁带库设备的线性磁带文件系统LTFS中，其中，所述主存储业务节点中存储有待迁移的文件的描述信息；接收模块220用于接收所述LTFS生成的文件目录，其中所述文件目录在完成文件迁移时生成；配置模块230用于将所述LTFS配置为网络文件系统NFS，并将所述LTFS所包含的文件对应的共享路径添加到所述文件目录中，作为共享文件目录；映射模块240用于将所述共享文件目录映射至所述主存储业务节点。

本实施例的技术方案，基于分布式文件存储系统，能够实现海量文件的存储，并且在通过分布式文件存储系统中的迁移归档控制节点确定该分布式文件存储系统中的主存储业务节点中的待迁移文件之后，通过迁移归档控制节点的文件迁移操作，能够将待迁移文件从主存储业务节点的磁盘中迁移到磁带库设备的LTFS中，实现文件的跨介质迁移和归档，从而能够降低对主存储业务节点的磁盘空间的占用，并实现海量文件的长期离线保存；并通过迁移归档控制节点的共享配置操作，使得通过主存储业务节点中的共享文件目录即可得到对应的共享路径。

在上述方案中，迁移模块210可以包括：连接单元和迁移单元。

其中，连接单元用于与所述LTFS建立光纤通道FC连接或串行连接小型计算机系统接口SAS连接；迁移单元，用于基于所述FC连接或SAS连接，将所述主存储业务节点中的待迁移文件迁移至所述LTFS中。

在上述方案中，所述迁移策略包括下述至少一项：

如果主存储业务节点中的文件的大小大于第一门限值，则将所述文件作为待迁移文件；

如果主存储业务节点中的文件的使用频度大于第二门限值，则将所述文件作为待迁移文件。

本发明实施例提供的文件归档实现装置可执行本发明任意实施例所提供的文件归档实现方法，具备执行方法相应的功能模块和有益效果。

实施例三

请参阅图3，为本发明实施例三提供的一种文件访问方法的流程图。本发明实施例的方法可以由硬件和/或软件实现的文件访问装置来执行，该实现装置典型的是配置于能够提供分布式文件存储服务的服务器中。该方法包括：

步骤310、主存储业务节点接收客户端发起的文件访问请求；

本步骤具体可以通过在客户端与主存储业务节点之间建立LAN(Local AreaNetwork，局域网)，客户端基于所述LAN发起文件访问请求，主存储业务节点基于所述LAN接收所述文件访问请求。

步骤320、所述主存储业务节点在共享文件目录中查找与所述文件访问请求对应的文件；

步骤330、如果查找成功，所述主存储业务节点将与所述文件访问请求对应的文件的共享路径返回客户端，以使所述客户端根据所述共享路径，访问与迁移归档控制节点连接的磁带库设备的LTFS中的文件；

其中，所述共享文件目录采用本发明任意实施例提供的文件归档实现方法形成。

需要说明的是，如果查找失败，则表明与所述文件访问请求对应的文件没有存储在磁带库设备的LTFS中。

本实施例的技术方案，在通过分布式文件存储系统中的迁移归档控制节点将该分布式文件存储系统中的主存储业务节点中的待迁移文件迁移到磁带库设备的LTFS，并且在通过迁移归档控制节点执行共享配置操作，使主存储业务节点中存储有迁移至LTFS中的文件的共享目录之后，通过主存储业务节点在共享文件目录中查找与客户端发起的文件访问请求对应的文件，并且当查找成功时，将该文件对应的共享路径返回客户端，从而使客户端根据所述共享路径即可访问存储在磁带库设备中的文件，无需客户端执行文件扫描和索引整理工作，实现了文件的跨介质访问。

实施例四

请参阅图4，为本发明实施例四提供的一种文件访问方法的流程图。该方法包括：

步骤410、主存储业务节点接收客户端发起的文件访问请求；

步骤411、所述主存储业务节点在本地文件目录中查找与所述文件访问请求对应的文件；

需要说明的是，所述主存储业务节点管理两个文件系统，一个为磁带库设备的LTFS，另一个为该节点自身的文件系统，也即本步骤中的本地文件系统。其中，所述主存储业务节点对所述LTFS的管理具体表现为：一方面，待迁移文件从所述主存储业务节点中迁出后，虽然文件主体从所述主存储业务节点中删除，但是被删除的原文件的描述信息保留在所述主存储业务节点；另一方面，所述主存储业务节点中存储有所述LTFS所包含的文件对应的共享文件目录，其中，所述共享文件目录采用本发明任意实施例提供的文件归档实现方法形成。

步骤412、如果在本地文件目录中查找失败，则触发所述主存储业务节点在共享文件目录中查找与所述文件访问请求对应的文件的操作。

如果在本地文件目录中查找失败，则表明与所述文件访问请求对应的文件没有存储在本地文件系统中，由于分布式文件存储系统中配置有基于迁移策略的文件迁移归档机制，此时，通过触发所述主存储业务节点在共享文件目录中查找与所述文件访问请求对应的文件，可以提高文件访问的成功率。

需要说明的是，如果查找成功，所述主存储业务节点将与所述文件访问请求对应的本地文件路径返回客户端，以使所述客户端根据所述本地文件路径访问存储于所述主存储业务节点中的文件。

步骤420、所述主存储业务节点在共享文件目录中查找与所述文件访问请求对应的文件；

步骤430、如果查找成功，所述主存储业务节点将与所述文件访问请求对应的文件的共享路径返回客户端，以使所述客户端根据所述共享路径，访问与迁移归档控制节点连接的磁带库设备的LTFS中的文件；

本实施例的技术方案，在通过分布式文件存储系统中的迁移归档控制节点将该分布式文件存储系统中的主存储业务节点中的待迁移文件迁移到磁带库设备的LTFS，并且在通过迁移归档控制节点执行共享配置操作，使主存储业务节点中存储有迁移至LTFS中的文件的共享目录之后，在获取到客户端发起的文件访问请求时，首先在主存储业务节点的本地文件目录中查找与所述文件访问请求对应的文件，并且在本地文件目录中查找失败时，触发所述主存储业务节点在共享文件目录中查找与所述文件访问请求对应的文件的操作，并且当在共享文件目录中查找成功时，将该文件对应的共享路径返回客户端，从而使客户端根据所述共享路径即可访问存储在磁带库设备中的文件，无需客户端执行文件扫描和索引整理工作，实现了文件的跨介质访问，同时提高了文件访问的成功率。

需要说明的是，本实施例以现在主存储业务节点的本地文件系统中查找与所述文件访问请求对应的文件，在查找失败时，进一步在共享文件目录中查找与所述文件访问请求对应的文件为例进行说明。此外，还可以首先在共享文件目录中查找，如果查找失败，则进一步在主存储业务节点的本地文件目录中查询，也可以在共享文件目录和所述本地文件目录中并行查询，本实施例对查找顺序不进行限制。

实施例五

请参阅图5，为本发明实施例五提供的一种文件访问装置的结构示意图，该装置包括：文件访问请求接收模块510、第一查找模块520和文件访问模块530。

其中，文件访问请求接收模块510用于接收客户端发起的文件访问请求；第一查找模块520用于在共享文件目录中查找与所述文件访问请求对应的文件；文件访问模块530用于如果查找成功，将与所述文件访问请求对应的文件的共享路径返回客户端，以使所述客户端根据所述共享路径，访问与迁移归档控制节点连接的磁带库设备的线性磁带文件系统LTFS中的文件；

其中，所述共享文件目录采用本发明任意实施例提供的文件归档实现装置形成。

本实施例的技术方案，在通过分布式文件存储系统中的迁移归档控制节点将该分布式文件存储系统中的主存储业务节点中的待迁移文件迁移到磁带库设备的LTFS，并且在通过迁移归档控制节点执行共享配置操作，使主存储业务节点中存储有迁移至LTFS中的文件的共享目录之后，通过主存储业务节点在共享文件目录中查找与客户端发起的文件访问请求对应的文件，并且当查找成功时，将该文件对应的共享路径返回客户端，从而使客户端根据所述共享路径即可访问存储在磁带库设备中的文件，无需客户端执行文件扫描和索引整理工作，实现了文件的跨介质访问。

在上述方案中，所述装置还可以包括：第二查找模块和触发模块。

其中，第二查找模块用于在接收客户端发起的文件访问请求之后，在本地文件目录中查找与所述文件访问请求对应的文件；触发模块用于如果在本地文件目录中查找失败，则触发在共享文件目录中查找与所述文件访问请求对应的文件的操作。

本发明实施例提供的文件访问装置可执行本发明任意实施例所提供的文件访问方法，具备执行方法相应的功能模块和有益效果。

最后应说明的是：以上各实施例仅用于说明本发明的技术方案，而非对其进行限制；实施例中优选的实施方式，并非对其进行限制，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。