InfiniBand网络架构下分布式机器学习系统MXNet的性能优化研究与实现

目录

声明

第一章 绪论

1.1 研究背景及意义

1.2 相关研究

1.2.1 分布式机器学习系统MXNet

1.2.2 RDMA优化分布式事务处理系统

1.2.3 RDMA优化分布式键值存储系统

1.3 研究内容与论文组织结构

1.3.1 研究内容

1.3.2 论文组织结构

第二章 InfiniBand分析及其传输语义性能测试与评估

2.1 InfiniBand网络架构

2.2 InfiniBand通信机制

2.2.1 InfiniBand队列

2.2.2 InfiniBand传输语义

2.2.3 InfiniBand通信模式

2.3 InfiniBand 传输语义性能测试与评估

2.3.1 InfiniBand传输语义性能测试

2.3.2 InfiniBand传输语义评估

2.3.3 MXNet的传输语义选择

2.4 本章小结

第三章 InfiniBand网络架构下MXNet两种优化传输策略的设计与实现

3.1 MXNet网络通信分析

3.1.1 MXNet参数服务器架构

3.1.2 MXNet通信模块分析

3.2 MXNet两种优化传输策略的设计与实现

3.2.1 SEND/RECEIVE+RDMAREAD策略

3.2.2 SEND/RECEIVE+RDMA WRITE策略

3.3 实验评估与分析

3.3.1 实验环境及负载

3.3.2 实验结果与分析

3.4 本章小结

第四章 高效的MXNet消息内存管理

4.1 RDMA内存注册时间开销

4.1.1 RDMA内存注册过程

4.1.2 RDMA内存注册测试与分析

4.2 高效的消息内存管理机制设计与实现

4.2.1 大小消息内存分开管理

4.2.2 实验确定消息内存阈值

4.2.3 小消息内存池的设计与实现

4.3 本章小结

第五章 总结与展望

5.1 工作总结

5.2 研究展望

致谢

参考文献

作者在学期间取得的学术成果