基于Rocks的高性能集群平台搭建与应用

型的节点。一台计算机所扮演的节点类型要由集群的实际需求和计算机的配置决定。在小型集群系统中，用户节点、控制节点、管理节点、存储节点和安装节点往往就是同一台计算机。

（２）网络规划：对于大规模集群，为提高其工作效率和安全因素，常常将计算网络和控制网络分开，计算部分用千兆网络甚至速度更高的网络如Ｍｙｒｉｎｅｔ、ｉｎｆｉｎｉＢａｎｄ网络等，控制部分用百兆网络。对于不同的网络，采用不同的网段来划分。

（３）节点操作系统的自动安装、管理及恢复。

（４）节点状态监控，主要包括用户作业管理、ＣＰＵ负载情况，以及内存等资源的管理。

安装一个集群系统，现在一般有三种方法：

（１）手动方法，它需要一个有经验的系统管理员安装前端节点的操作系统，完成后下载指定的集群软件并把它安装在前端节点；手动配置ＤＨＣＰ和ＰＸＥＳＥＲＶＩＣＥ，给每一个计算节点指定一个唯一的名字和ＩＰ地址；然后再把手动配好的软件包放到计算节点上。

（２）附加方法。它和手动方法一样需要一个系统管理员安装好前端节点；然后下载集群管理工具，把它安装在前端节点上；最后通过它来安装计算节点。这样降低了手动配置的复杂性，像现在著名的ＯＳＣＡＲ和Ｗａｒｅｗｕｌｆ都是采用这种方法。

（３）整合方法。它把ＯＳ、集群指定的服务、集群建立的工具都整合在一起，所有服务和工具的安装、配置在前端节点安装时一次完成，不需要下载额外的软件包，代表有Ｓｃｙｌｄ和Ｒｏｃｋｓ，只不过Ｓｃｙｌｄ采用特定的内核，而Ｒｏｃｋｓ采用ＲｅｄＨａｔ。

通常，集群的管理工作占据了管理员大部分时间，所以前两种方法安装比较繁琐、配置信息较多，不太易于一般用户掌握。而第三种方法，也就是本文介绍的Ｒｏｃｋｓ，建立一个集群不需用户的太多干预，所有的集群软件一次安装，并且系统自动配置。

３Ｒｏｃｋｓ特点

针对每个节点安装不同的软件，Ｒｏｃｋｓ采用了定制发行，也就是用户可以根据自己的需要对不同类型节点定制所需的软件包。每个节点的定义来自ＲｅｄＨａｔＫｉｃｋｓｔａｒｔｆｉｌｅ，这个文件由ＲｏｃｋｓＫｉｃｋｓｔａｒｔＧｒａｐｈ产生。一个Ｋｉｃｋ—ｓｔａｒｔｆｉｌｅ是一个文本描述，描述在某一种节点类型上的软件及软件配置。而ＲｏｃｋｓＫｉｃｋｓｔａｒｔＧｒａｐｈ是用来定义Ｋｉｃｋｓｔａｒｔｆｉｌｅ的基ＸＭＩ。的树型结构。通过使用这个Ｇｒａｐｈ，Ｒｏｃｋｓ能有效地定义节点的类型而不需要复制相同的软件。它还可以抽象不同的硬件，让Ｋｉｃｋｓｔａｒｔ能够自动监测装载正确的硬件模块，如ＳＣＩＳ、ＩＤＥ、高速网卡等。Ｒｏｃｋｓ还使用ＳＱＬ数据库存储配置信息，并可以对一些具体服务配置信息产生数据库报告，比如ＤＨＣＰ配置文件、／ｅｒｅ／ｈｏｓｔｓ、和ＰＢＳ节点信息。

Ｒｏｃｋｓ基于ＲｅｄＨａｔＩＡｎｕｘ，支持所有ＲｅｄＨａｔＬｉｎｕｘ所支持的硬件，如ｘ８６、ｘ８６—６４和ＩＡ一６４；处理器有ＡＭＤＡｔｈｌｏｎ、ＡＭＤＯｐｔｅｒｏｎａｎｄＥＭ６４Ｔ、Ｉｔａｎｉｕｍ；网络有Ｅｔｈｅｒ一ｎｅｔ、Ｍｙｒｉｎｅｔ、Ｉｎｆｉｎｉｂａｎｄ。

４安装集群

Ｒｏｃｋｓ把集群的节点分为两类：前端节点和计算节点。前端节点可以是管理节点、用户节点、监控节点、安装节点，许多服务（ＮＦＳ、ＮＩＳ、ＤＨＣＰ、ＮＴＰ、ＭｙＳＱＬ、ＨＴＴＰ…）都在这台机器上。前端节点要求磁盘空间至少２０ＧＢ，内存５１２ＭＢ或１ＧＢ，两个网卡；计算节点磁盘空间至少２０ＧＢ，内存５１２ＭＢ，一个网卡。整个结构如图ｌ所示。

图１Ｒｏｃｋｓ系统结构

我们的前端机是ＩＢＭＸ３２２５服务器，１ＧＢ内存，２００ＧＢ硬盘，三个网卡。我们准备把前端机作为用户节点、监控节点、管理节点、安装节点，所以我们下载Ｒｏｃｋｓ（ｈｔ—ｔｐ：／／洲．ｒｏｃｋｓｃｌｕｓｔｅｒｓ．ｏｒｇ）的安装包，包括Ｋｅｒｎｅｌ／Ｂｏｏｔ

Ｉｂｌｌ（操作系统内核）、ＳｅｒｖｉｃｅＰａｃｋＲｏｌｌ、ＯＳＲｏｌｌＤｉｓｋ１和ＯＳＲｏｌｌＤｉｓｋ２（操作系统版本相当于ＲｅｄＨａｔＬｉｎｕｘＡＳ４）；在Ｒｏｃｋｓ中有一个包叫ＣｏｒｅＲｏｌｌ，它包含ａｒｅａ５１（系统安全相关的服务和工具）、ｇａｎｇｌｉａ（集群监控软件）、ｇｒｉｄ（ｇｌｏｂｕｓ４．２）、Ｊａｖａ（ＳｕｎＪａｖａＳＤＫ）、ＨＰＣ（集群峰值测试）、ｓＧＥ（Ｓｕｎ的作业调度软件）和ｗｅｂＳｅｒｖｅｒＲｏｌｌｓ（必需的）、对于作业调度，我们还可以选择安装Ｔｏｒｑｕｅ。

安装步骤如下：

（１）从光盘启动服务器，插入Ｋｅｒｎｅｌ／ＢｏｏｔＲｏｌｌ光盘，出现选择安装前段节点还是计算节点；

（２）选择前端节点后，插入我们所需要安装的其他Ｒｏｌｌ光盘，依次选定，包括ＯＳＲｏｌｌ，ＳｅｒｖｉｃｅＰａｃｋＲｏｌｌ、ＣｏｒｅＩｂｌｌ．ＰＢＳＲｏｌｌ；

（３）然后，填写集群相关信息，包括集群名称、主机名等；

（４）填写集群内部访问地址和外部访问地址、网关、ＤＮＳ等；

（５）Ｒｏｏｔ密码设定，磁盘分区；

（６）安装系统开始。

安装计算节点：

（１）在前端节点终端上输入ｉｎｓｅｒｔ－ｅｔｈｅｒｓ，出现如图２所示的界面。

图２计箅节点的安装界面

（２）选择Ｃｏｍｐｕｔｅ，然后从网络启动计算节点服务器，

这时前端节点通过ＤＨＣＰ请求能够检测到该服务器，出现

如图３的界面。

图３服务器检测成功界面

（３）计算节点会从前端节点获取安装文件，自行安装。

Ｒｏｃｋｓ最大的优点在于把你所需要的软件在系统安装时都一次安装好，不需要安装者更多地配置。Ｉｎｓｅｒｔ－ｅｔｈｅｒｓ命令管理通过获得ＤＨＣＰ请求的主机的系统信息，它将这个主机的主机名和它的ＭＡＣ地址绑定并增加到数据库中。计算节点安装的时候，有许多文件是直接通过网络向前端节点获取的，而不是从光盘拷贝。这是Ｒｏｃｋｓ在设计上区别于其它集群软件的一大特点，设计思想是在主节点上更改了某些配置后，会通过Ｋｉｃｋｓｔａｒｔ机制通知子节点，子节点会以新的配置来自动重新安装相关的软件，甚至是整个操作系统。Ｒｏｃｋｓ支持不同架构的计算节点，我们的集群中还有架构ｘ８６—６４的机器。我们可以通过在／ｈｏｍｅ／ｉｎｓｔａｌｌ目录下运行ｒｏｃｋｓ－ｄｉｓｔ－ａｒｃｈ＝ｘ８６—６４ｄｉｓｔ生成新的Ｒｏｌｌ，然后再安装。

５Ｒｏｃｋｓ集群的配置和管理

Ｒｏｃｋ关于集群的配置都是自动的，不需要用户的干预。我们知道，在集群中需要配置ＮＩＳ，即提供了通用数据库访问设施，可以实现向你的网络上的所有主机分发信息，它和ｐｏｒｔｍａｐ以及其它相关服务一起使用，被用来为属于ＮＩＳ域内的计算机问分发关于用户名、Ｅｌ令以及其它保密信息的映射表。按照今天的标准来看，ＮＩＳ不太安全。它没有主机验证机制，在网络上明文传输所有的信息，包括口令散列。结果是默认的ＮＩＳ配置就有其固有的不安全性。在Ｒｏｃｋｓ中提供了一种类似于ＮＩＳ的安全服务，叫“４１１ｓｅｃｕｒｅｉｎｆｏｒｍａｔｉｏｎｓｅｒｖｉｃｅ”，简称４１１Ｉｓ］。它的名字来源于电话系统中信息服务号码——４１１。Ｒｏｃｋｓ使用４１１来安全地分发密码文件、用户和用户组。它使用公共密码加密算法保护文件内容，它操作在文件级，而不像ＮＩＳ一样依靠ＲＰＣ。它通过Ｈｔｔｐ（ＷｅｂＳｅｒｖｉｃｅ）来分发文件，这样可以安全地、低延迟地在文件发生变化时把它分发到所有计算节点。它类似一个分发数据库，但又不同于Ｎ１Ｓ那样集中查找。Ｒｏｃｋｓ不提供即时的分发，分发时间的延迟区取决于集群的大小。

在Ｒｏｃｋｓ中，应用程序的共享是通过前段节点的目录／ｅｘｐｏｎ／ａｐｐｓ来实现的，在这个目录下的程序，所有计算节点都可以访问，实现了网络文件共享。

Ｒｏｃｋｓ采用了Ｔｏｒｑｕｅ作业调度系统，用来管理和控制批处理作业。另外，他使用了内部调度模块Ｍａｕｉ。它能根据事先定义的集群调度策略决定等待队列中的任务在什么时问和哪些节点上运行，在满足不同用户需求和最大化整个集群利用率之问达到动态平衡，并且提供了高级预定、复杂调度策略、平均调度和各种管理、诊断集群的工具。它们两者的结合大大提高了作业调度的性能。在前端节点安装好以后，这两种软件就已经安装配置好，并且定义了队列。

在Ｒｏｃｋｓ中，对集群的监控是通过Ｇａｎｇｌｉａ来实现的。Ｇａｎｇｌｉａ是一个分布式的监控工具，用来实现集群上的节点资源监控。利用它提供的Ｗｅｂ界面可以看到每个节点的使用信息如ＣＰＵ、内存等状态。图４是我们利用Ｒｏｃｋｓ安装后的监控界面。

图４Ｒｏｃｋｓ的监控界面

在并行环境上，Ｒｏｃｋｓ集成了ＭＰＩＣＨ。ＭＰＩＣＨ是一个与ＭＰＩ规范同步发展的版本，也是目前使用最广泛的免费ＭＰＩ系统，它支持几乎所有Ｌｉｎｕｘ／ＵＮＩＸ以及Ｗｉｎｄｏｗｓ系统，是大多数集群系统上的主要并行环境。

６Ｒｏｃｋｓ集群的测试

我们通过Ｒｏｃｋｓ建立的这套集群采用八个计算节点、一个系统管理节点。计算节点为刀片服务器（每台配置两个３．０ＧＨｚ的ＸｅｏｎＥＭ６４Ｔ处理器和２ＧＢ内存）；管理节点为独立的机架式服务器（配置两个３．０ＧＨｚ的ＸｅｏｎＥＭ６４Ｔ处理器），节点之间通过千兆以太网连接。

Ｇａｕｓｓｉａｎ０３是做半经验计算和从头计算使用最广泛的量化软件，可用来预测汽相和液相条件下分子和化学反应的许多性质，包括分子的能量和结构、过渡态的能量和结构等。它的计算可以使用快速多极方法（ＦＭＭ）和稀疏矩阵技术来实现线性化，并且算法能够实现并行计算，从而提高计算结果的运行速度。Ｇａｕｓｓｉａｎ０３主要采用两种并行方式：一种是主要采用基于ＯｐｅｎＭＰ的并行方式，可以运行在基于共享内存方式或者基于ＮＵＭＡ体系结构的高性能计算机上，利用多线程的方式实现高速并行；第二种就是对于目前流行的集群系统引入了Ｌｉｎｄａ并行库来实现多机的并行作业。ＴＣＰ＿Ｌｊｎｄａ是专门为Ｇａｕｓｓｉａｎ０３设计的，是实现其分布式并行的必需程序。Ｇａｕｓｓｉａｎ０３软件可以在执行任务的时候选择Ｌｉｎｄａ并行方式或ＯｐｅｎＭＰ方式。下面就是在该集群上使用Ｇａｕｓｓｉａｎ０３来实现的并行计算。这个作业运行的脚本具体内容如下：

＃！／ｂｉｎ／ｓｈ

ｃａｔＳＰＢＳ＿ＮＯＤＥＦＩＩ．Ｅ＞／ｈｏｍｅ／＊／ｍｙｎｏｄｅｓ

９０３１／ｈｏｍｅ／＊／９０３／ｔｅｓｔｓ／ｃｏｍ／ｔｅｓｔ００３．ｃｏｍ

（下转第１４３页）