基于Infiniband体系架构的集群计算机互联系统的研究

摘要

随着超级计算机的发展，尤其是集群计算机的发展，如何提高集群计算机互联网络的传输效率，从而提高集群计算机的效率，成为亟待解决的问题。Infiniband技术的出现很大程度上解决了这个问题。由于采用光纤互联，并提供了专用的通信协议，使得通信速率最大可达30Gb/s，从而极大地缓解了节点的计算速度快，而网络通信速度慢这一矛盾。 Iniband体系架构的主要特点如下：实现了远程直接内存访问(RDMA)，从而实现了零拷贝，进一步降低了CPU占用率，提高了通信效率；实现了链路级的流量控制，有效降低了丢包率：提供了多种通信服务，包括可靠连接，可靠数据报，不可靠连接和不可靠数据报，由于篇幅有限，本文只介绍了可靠连接服务；提供了虚通道机制以复用通信信道，提高了带宽的利用率。 本文的研究成果主要有以下几项：本文首先对Infiniband协议做了深入的剖析。其次，对基于Infiniband的集群计算机系统进行了性能评测，性能评测的指标包括通信延迟、吞吐量和CPU负载。最后，本文提出了一种改进的RDMA实现，使得RDMA不仅能应用于大报文的传输，也能应用于小报文和控制报文的传输。从而使得传输小报文和控制报文的时延平均降低了24％

目录

文摘

英文文摘

声明

第一章绪论

1.1 课题来源

1.2 课题研究的目的和意义

1.3 论文的主要研究内容

第二章Infiniband体系架构(IBA)概述

2.1 IBA拓扑结构

2.2 IBA通信

2.3 IBA通信过程

2.4 IBA部件

2.4.1连接线路和中继器

2.4.2信道适配器(CA)

2.4.3交换机

2.4.4路由器

2.5 IBA特性

2.5.1 QP(Query Pairs)

2.5.2服务类型

2.5.3键(Keys)

2.5.4虚拟内存寻址

2.5.5保护域

2.5.6分区

2.5.7虚通道

2.5.8服务等级

2.5.9静态比特流控制

2.5.1多播

2.5.11动词

2.6 信道和内存语义

2.6.1发送操作

2.6.2 RDMA读操作

2.6.3 RDMA写操作

2.6.4原子操作

2.6.5内存绑定操作

2.6.6接收操作

2.7 IBA层次结构

2.7.1物理层

2.7.2链路层

2.7.3网络层

2.7.4传输层

2.7.5上层协议

2.8 结论

第三章物理层接口

3.1 概述

3.2 物理层提供的服务

3.3 物理层接收逻辑和链路层接收逻辑之间的接口

3.3.1 PHY_LINK

3.3.2 L_INIT_TRAIN

3.3.3 RCV_STREAM

3.4 物理层传送逻辑和链路层传送逻辑之间的接口

3.4.1 XMIT_STREAM

3.4.2 XMIT_READY

第四章链路层

4.1 链路状态

4.2 包接收器状态

4.3 数据包检查

4.4 链路包检查

4.5 虚通道机制

4.5.1虚通道标识符

4.5.2虚通道标号

4.5.3特殊的虚通道

4.5.4数据虚通道的数据缓冲和流量控制

4.5.5服务等级

4.5.6子网内的虚通道映射

4.5.7初始化和配置

4.5.8仲裁和优先级调度

4.6 本地路由报头

4.6.1 Virtual Lane(VL)

4.6.2 Link Version (LVer)

4.6.3 Service Level(SL)

4.6.4 Reserve 2 bits

4.6.5 Link Next Header(LNH)

4.6.6 Destination Local Identifier(DLID)

4.6.7 Reserved 5 bits

4.6.8 Packet Length (PktLen)

4.6.9 Source Local Identifier (SLID)

4.7 流量控制

4.7.1简介

4.7.2流量控制包

第五章网络层

5.1 包的路由

5.2 全局路由报头

5.2.1 IP Version(IPVer)

5.2.2 Traffic Class(TClass)

5.2.3 Flow Label(FlowLabel)

5.2.4 PayLoad Length(PayLen)

5.2.5 Next Header(NxtHdr)

5.2.6 Hop Limit(HopLmt)

5.2.7 Source Global Identifier(SGID)

5.2.8 Destination Global Identifier(DGID)

第六章传输层

6.1 概述

6.2 基本传输报头

6.2.1 Operation Code(OpCode)

6.2.2 Solicited Event(SE)

6.2.3 MigReq(M)

6.2.4 Pad Count(PadCnt)

6.2.5 Transport Header Version(TVer)

6.2.6 Partition Key(P_KEY)

6.2.7 Destination QP(DestQP)

6.2.8 Reserved 8 bits

6.2.9 AckReq(A)

6.2.10Reserved 7 bits

6.2.11 Packet Sequence Number(PSN)

6.3 扩展传输报头

6.3.1 RDMA扩展传输报头(RETH)

6.3.2原子操作扩展传输报头(AtomicETH)

6.3.3确认扩展传输报头(AETH)

6.3.4原子确认扩展传输报头(AtomicAckETH)

6.3.5立即数扩展传输报头(AtomicAckETH)

6.3.6无效扩展传输报头(IETH)

6.4 传输函数

6.4.1 SEND操作

6.4.2 RESYNC操作

6.4.3 RDMA WRITE操作

6.4.4 RDMA READ操作

6.4.5 Atomic操作

6.5 事务执行的次序

6.6 可靠服务

6.6.1包序号(PSN)

6.6.2可靠服务中的包序号模型

6.6.3 ACK/NAK协办议

6.6.4请求方：生成请求包

6.6.5响应方：接收请求包

6.6.6响应方：生成响应

6.6.7请求方：接收响应

6.6.8可靠连接

6.6.9端到端(报文级)流量控制

第七章传输层软件接口

7.1 概述

7.2 HCA资源的管理

7.2.1打开HCA

7.2.2修改HCA属性

7.2.3关闭HCA

7.3 寻址

7.3.1源寻址

7.3.2目标寻址

7.4 保护域

7.4.1分配保护域

7.4.2撤销保护域

7.5 QP

7.5.1创建QP

7.5.2 QP属性

7.5.3修改QP属性

7.5.4释放QP属性

7.5.5特殊QP

7.6 完成队列

7.6.1创建完成队列

7.6.2完成队列属性

7.6.3完成队列属性的修改

7.6.4销毁完成队列

7.7 共享接收队列

7.7.1共享接收队列的优势

7.7.2 SRQ的创建

7.7.3 SRQ的修改

7.7.4 SRQ的销毁

7.8 QP状态

7.8.1重置状态

7.8.2初始化状态

7.8.3准备接收(RTR)

7.8.4准备发送(RTS)

7.8.5发送队列资源耗尽(SQD)

7.8.6发送队列错误(SQEr)

7.8.7 Error状态

第八章性能分析

8.1 概述

8.2 实验平台

8.3 延迟评测分析

8.4 吞吐量评测分析

8.5 CPU负载评测分析

第九章一种改进的远程内存直接访问(RDMA)的实现

9.1 概述

9.2 两种方法比较

9.2.1 Send/Receive方法

9.2.2 RDMA方法

9.3 详细设计

9.3.1 RDMA信道的基本结构

9.3.2对单一连接进行检测

9.3.3 RDMA信道的流量控制

9.4 性能评测

9.4.1实验目的

9.4.2实验平台

9.4.3实验数据

9.5 结论

第十章结论与展望

6.1结论

6.2展望

参考文献

作者在攻读硕士学位期间公开发表的论文

作者在攻读硕士学位期间所作的项目

致 谢