分享高性能计算集群网络连接管理方案

高性能计算集群（HPC）

网络连接方案

概述

本方案基于用户（东方地球物理公司物探研究院）的应用需求，针对计算机高性能计算集群（HPC）系统，为各种不同的服务器配置选项提出了适合于HPC应用的网络连接模式。

目前高性能计算集群系统可选配的服务器分为两大类：

·刀片机箱式服务器

·机架式服务器

在将这两类服务器用于HPC应用时，为了最大限度地发挥服务器的高性能、不使运算节点之间的网络互连成为瓶颈，必须针对它们的硬件设计特性分别为它们配置专门的网络交换机并使用特定的网络连接拓扑。BNT公司的刀片交换机和机架式交换机就是这两类服务器集群网络连接的最佳选择。

注：BNT公司（Blade Network Technologies Ltd.）是各刀片服务器厂商（如IBM、HP、NEC、Fujitsi等）最紧密的合作伙伴之一，长期为它们供应刀片服务器的高性能交换机模块，是业界最大的刀片交换机厂商；同时也是最早开发并向市场供应刀片式和机架式万兆以太网（10 GbE）交换机的厂商。

高性能计算集群是否能发挥出所有计算节点真正的性能，其中一个非常关键的因素就是对于节点之间的互连网络的设计：使用什么样的交换机以及用怎样的拓扑，把各个节点连接在一起。

本方案中提供了两种网络连接的模式，分别对应刀片式服务器集群的网络连接和机架式服务器集群的网络连接。这两种方案的设计原则是：

·全线速、低延迟、无阻塞的网络架构——实现HPC的基本保证

·低功耗、节能——符合新一代数据中心的发展要求

·易于部署、易于管理、易于维护

BNT公司提供的这两种方案在处理节点间的网络互连时，充分发挥了BNT的刀片式和机架式交换机与各厂商的刀片机箱和机架天然配套的优势（BNT是它们的配套供应商），避免了采用昂贵的机柜式核心交换机来做节点之间的网络户连，这样就做到了在保证网络连接性能不低于甚至还高于核心交换机的前提下，大大降低了集群的网络连接成本。

一．刀片服务器集群的网络连接

这一方案的设计思路是：为每个刀片机箱配置两个带有万兆上联的BNT刀片式交换模块；然后每5个刀片服务器机箱通过各自的万兆上联汇聚到一台BNT的全万兆交换机，共两组10个刀片服务器机箱；再将两台全万兆交换机通过Trunking互联，从而实现所有节点之间的高效互连。

整个集群的连接拓扑示意图如下：

图中，刀片服务器上的BNT交换模块通过机箱的内部通道与机箱内所有刀片服务器上各自的两个千兆端口连接，无需外部网线连接；交换模块上配有3个万兆（SFP+）插槽，将其中两个万兆端口Trunking上连到BNT全万兆交换机，可实现服务器节点之间的“无阻塞（Non-Blocking）”连接。该交换模块功能参数的设置和管理，可以完全通过刀片机箱的控制管理软件来进行操作。

这一连接方案除了具有前面所说的全线速、低延迟、无阻塞、低功耗、节能等特点外，还有一个最大的特点就是极大地改善了服务器集群网络缆线的部署、管理和维护，能减少85%以上的网络缆线，而且绝大部分的缆线部署在机架内部就可完成。

二．机架服务器集群的网络连接

这一方案的设计思路是：将136个节点部署在4个机架中，每个机架中配置两台BNT的RackSwitch机架式千兆（万兆上连）交换机；另外再配置两台BNT全万兆交换机，通过“节点->千兆交换机->万兆交换机”的级连模式，实现所有节点之间的高效互连。

连接拓扑示意图如下：

图中，每台机架服务器上的两个千兆端口分别连接到各自机架中的两个千兆交换机上；每两个机架中的4台千兆交换机都通过各自的捆绑在一起的4个万兆上连端口连接到一台BNT 全万兆交换机；再把4个机架共两台全万兆交换机通过6个万兆端口捆绑的Trunking互相连接。

这一连接方案与集中式的核心交换式网络连接相比，也大大地改善了服务器集群网络缆线的

部署、管理和维护，绝大部分的缆线部署在各个机架内部就可完成。这一方案的实际机架连接示意图如下：

三．BNT方案的优势

BNT的10GbE万兆交换机和1-10GbE千兆交换机是BNT公司的最新产品，在设计上完全实现了全线速、无阻塞、低延时（经第三方机构测试，其延时是目前市场上万兆交换机产品中最低的），最适合HPC应用。

BNT提供的网络连接方案除了具有前面所说的全线速、低延迟、无阻塞、低功耗、节能等特点外，还有一个最大的特点就是极大地改善了服务器集群网络缆线的部署、管理和维护。在传统的大型集群系统的配置中，网络线缆的部署、管理（特别是维护、维修）工作，是一件极其繁杂（甚至往往是令人生畏）的任务。而BNT的集群系统网络连接方案则为用户免除了这些烦恼：与集中式的核心交换式网络连接相比，BNT的网络连接方案能减少85%以上的网络缆线，而且绝大部分的缆线部署在机架内部就可完成。

另外，与集中式的核心交换式网络连接相比，BNT的网络连接方案在保证高性能的前提下，以一种“模块化”的方式实现网络架构：各个机架或刀片机箱在网络连接上自成体系。这使得HPC集群具有了很大的灵活性和可扩展性。当用户的计算集群需要调整计算节点时，任何调整、更换对于网络连接的影响都只限制在一个机架内；计算集群需要扩容时，可以机箱（或机架）为单位配置服务器节点，配置完成后再将机箱（机架）连入集群。

对于BNT的这两款千兆和万兆交换机，特别值得一提的是，它们除了在第三方权威测试机构的测试中获得了令人非常满意的结果以外，它们还是业界唯一连续获得“Going Green”绿色奖项的绿色、环保节能的交换机产品。

关于万兆上连BNT刀片交换模块和BNT全万兆交换机的详细技术参数，请见《附录》。

附录-1 BNT刀片交换模块（1/10 GbEM）技术参数

附录-2 BNT千兆交换机RackSwitch G8000技术参数

附录-3 BNT全万兆交换机RackSwitch G8124技术参数