基于网络磁盘阵列的海量信息存储系统

摘要

随着计算机和网络技术的发展,社会信息化程度的提高,许多面向海量数据的大型应用纷纷涌现.如何有效地存储和管理这些海量信息,以便从其数字资源中获得高质高效的服务,对存储系统的研究提出了严峻的挑战.网络存储技术对于解决海量存储系统中存储设备的分散性、I/O的并行性、协议的高效性提供了一种很好的手段.存储设备与网络结合的不同方式可以形成不同的拓扑结构,不同的拓扑结构对系统性能的影响又不尽相同,因此,确定海量存储系统中存储设备接入网络的方式以及存储设备与服务器的连接方式,是构造大容量、高带宽、可扩展、易管理的海量存储系统值得研究的重要课题.集中式存储能够集中管理和控制数据,降低管理开销并提高管理质量,但系统的性能和可扩展性受到限制.分布式存储能提高系统的性能,尤其是可扩展性,但维护和管理分布式存储系统的费用非常高.以DAS(Direct Attached Storage)体系结构为基础,若将系统中的多个存储节点直接接入网络,由文件服务器对系统进行集中管理,数据则分布地存放在多个存储节点上,则能充分结合两者的优点,构造一种文件集中管理、数据分布存储的海量存储系统(Centralized file Management and Distributed data Storage Mass Storage System,CMDS-MSS).这种海量存储系统的存储节点可以通过网络通道直接和网络用户进行数据交互,实现命令与数据分流,消除系统中的服务器瓶颈.系统中每增加一个存储节点就会增加一个网络通道,利用并行传输机制可以实现各存储节点利用网络通道的并行传输,达到扩容与增速同步的目的.在系统中采用虚拟SCSI命令,可以实现流水命令响应与并行数据I/O.海量存储系统因各种异构存储结点的增加,存储和管理会越来越复杂.存储虚拟化技术可以将各种异构的存储资源统一成对用户透明的单一逻辑视图,而且用户可以按自己的需求对其进行分割或组合.存储虚拟化按其在存储系统体系结构中的实现位置,可以分为基于主机、基于存储设备和基于存储网络的虚拟化.基于主机的方案是将虚拟抽象层放在应用服务器之上,既可以在应用层实现,也可以在设备层实现.CMDS-MSS是在服务器的文件系统之下、设备驱动程序之上采用虚拟技术实现存储空间的单一逻辑视图的一种方案,它既保持了对现有应用和体系结构的兼容性,同时又可充分利用文件系统的块缓冲区来提高系统的性能.由于单一逻辑视图以存储空间的逻辑表示取代物理设备,因而CMDS-MSS可以支持异构接口的存储子系统.

目录

文摘

英文文摘

独创性声明及学位论文版权使用授权书

1概述

1.1存储系统面临的形势

1.2网络技术对存储系统体系结构的影响

1.3海量存储系统

1.4海量存储系统的存储管理

1.5本文研究的主要内容

2CMDS海量存储系统的体系结构

2.1 CMDS-MSS的体系结构

2.2文件组织

2.3 CMDS-MSS的控制软件

2.4 CMDS-MSS中的并行传输机制

2.5 CMDS-MSS的主要特点

2.6 CMDS-MSS的性能测试

2.7本章小结

3虚拟存储池

3.1存储虚拟化

3.2 Linux下的I/O子系统分析

3.3虚拟存储池的研究与实现

3.4系统性能

3.5本章小结

4网络磁盘阵列

4.1网络磁盘阵列的体系结构

4.2网络磁盘阵列的工作原理

4.3流水生产者/消费者调度策略

4.4基于任务排队的动态调度算法

4.5对用户透明的存储系统的研究

4.6网络接口模块的分析及其优化

4.7提高网络磁盘阵列性能的其它方法

4.8本章小结

5网络EIDE磁盘阵列

5.1 EIDE磁盘阵列的体系结构

5.2嵌入式系统及其开发平台

5.3 EIDE磁盘阵列控制软件的实现

5.4 EIDE磁盘阵列中的自适应UDMA模式研究

5.5基于EIDE的聚散技术研究

5.6提高磁盘阵列性能的其它方法

5.7本章小结

全文总结

致 谢

参考文献

附录1：攻读学位期间发表学术论文目录