高阶互连网络中路由器交换结构及互连拓扑结构研究

摘要

当前高性能计算机正在迈向EFLOPS时代，高性能互连网络是高性能计算机中的重要基础设施，面临更多的设计挑战。随着芯片设计工艺技术的进步，尤其是串行传输技术的快速发展，高性能互连网络向高阶网络方向发展，单个交换芯片中集成的端口越来越多。高阶网络在减小网络直径，降低网络延迟，提高网络性能和可靠性，减小网络构建成本等方面较传统的低阶网络具有显著优势。
　　高阶网络的核心是高阶路由器。当路由器中集成更多网络端口时，利用有限的片上设计资源，实现高吞吐率、可扩展、逻辑设计和物理设计规整的交换结构是高阶路由器设计中面临的主要困难。本文给出了两种高吞吐率交换结构实现方法。第一种为基于非对称交叉开关的交换结构。在非对称交叉开关中，当输入端口数远小于输出端口数时，输入端口间发生竞争冲突的概率大为减小，从而可以获得很高的吞吐率。文中对非对称交叉开关的有效吞吐率进行了详细的理论分析和模拟验证，给出了基于非对称交叉开关交换网络的结构化实现方案。第二种为基于二分交叉开关的交换结构。在交叉开关中，当输入端口的输入概率降低时，相应地端口间发生竞争冲突的概率也会降低，从而可以获得较高的相对吞吐率，当交叉开关的端口输入概率降低至其饱和吞吐率以下时，可以获得100％的相对吞吐率。文中给出了一种低资源消耗的二分交叉开关交换结构实现方案ADPC，该交换结构可以获得100％的吞吐率，且较YARC结构显著节省资源。
　　高阶路由器为设计更为高效的互连网络拓扑结构提供了更多的可能性。文中对当前的高阶网络拓扑结构进行了深入分析，在K-AryN-Cube网络结构的基础上，给出了一种K-Ary N-Bridge高阶网络拓扑结构。相比K-Ary N-Cube结构，K-Ary N-Bridge结构中同一维度上的K个结点不是通过Torus方式连接，而是通过一个K阶的路由器连接，因而可以充分利用高阶路由器端口数多的特性，显著减小网络直径，提高网络性能，且具备良好的结构可扩展性。

目录

声明

摘要

1 绪论

1．1 课题研究背景

1．2 本文研究意义、内容和主要贡献

1．2．1 研究意义

1．2．2 研究内容和主要贡献

1．3 论文组织结构

2 高性能计算机与系统互连网络

2．1 高性能计算机系统结构与系统互连网络

2．2 迈向EFlops的高性能计算机

2．3 高性能计算机中的互连网络

2．3．1 片上互连网络

2．3．2 SMP结点互连网络

2．3．3 系统互连网络

2．4 高性能系统互连网络

2．4．1 直接互连网络与间接互连网络

2．4．2 高速互连链路

2．4．3 网络协议栈

2．4．4 网络拓扑结构

2．5 路由器交换结构

2．5．1 基准路由器结构

2．5．2 路由器基本交换结构

2．6 高阶互连网络

2．6．1 网络向高阶方向发展

2．6．2 高阶互连网络设计挑战

2．7 YARC路由器

2．7．1 YARC交换结构

2．7．2 YARC交换结构特性

2．8 本章小结

3 高吞吐率高阶交换结构设计方法

3．1 高吞吐率高阶交换结构

3．1．1 PCIQ交换结构

3．1．2 HC交换结构

3．1．3 Network-within-Network交换结构

3．2 基于非对称交叉开关的高阶交换结构设计

3．2．1 非对称交叉开关

3．2．2 吞吐率分析

3．2．3 64端口路由器实现

3．2．4 性能测试与分析

3．3 基于二分交叉开关的高阶交换结构设计

3．3．1 交叉开关吞吐率拐点

3．3．2 交叉开关饱和态及饱和吞吐率

3．3．3 二分交叉开关及其吞吐率

3．3．4 基于二分交叉开关的交换结构设计

3．4 本章小结

4 结构化高阶路由器设计

4．1 HAC交换结构的瓦片化设计

4．1．1 8×64交叉开关分解

4．1．2 交换结构瓦片化

4．2 ADPC瓦片化交换结构设计

4．2．1 HAC化设计

4．2．2 输出端口复用

4．2．3 SubSwitch的二分交叉开关分解

4．2．4 阵列化分布与输出端口重组

4．2．5 ADPC vs YARC

4．3 本章小结

5 K-Ary N-Bridge高阶网络拓扑结构

5．1 Flattened Butterfly网络结构

5．1．1 Flattened Butterfly网络基本特性

5．1．2 Flattened Butterfly网络可扩展性分析

5．2 Fat Tree网络结构

5．2．1 胖树网络结构

5．2．2 胖树网络可扩展性分析

5．3 k-Ary n-Cube网络结构

5．3．1 k-Ary n-Cube网络基本特性

5．3．2 高维k-Ary n-Cube网络

5．4 K-Ary N-Bridge网络结构

5．4．1 k-Ary n-Bridge网络

5．4．2 K-Ary n-Bridge网络特性

5．4．3 对比分析

5．5 本章小结

6 结束语

6．1 研究工作总结

6．2 未来研究方向

参考文献

攻读博士期间发表的论文

致谢