500万亿次建设方案

500万亿次高性能计算机及机房建设方案

根据湖南省电力防灾减灾中心高性能计算机及机房系统建设需求，对系统涉及的硬件设备配置和机房环境需求进行了初步规划。

一、系统架构

整体系统方案采用x86集群架构，分为计算系统、存储系统、网络系统、登陆管理系统、集群系统软件等组成部分（暂未考虑机房机柜系统）。

计算系统

计算节点包含刀片式计算节点和SMP胖节点两类，总计算峰值达到506.27万亿次每秒，其中刀片节点计算峰值499.2万亿次每秒，SMP胖节点7.07万亿次每秒。

刀片计算节点采用曙光TC4600E高密度计算刀片，配置520个曙光CX50-G20双路计算刀片节点，每节点配置2颗Intel E5-2680v3十二核2.5GHz处理器，理论总双精度浮点计算能力499.2万亿次/秒（Tflops）；

SMP胖节点配置4台曙光I980-G10八路高端服务器，每节点配置8个Intel E7-8850v2十二核2.3GHz处理器，1TB内存。

理论峰值计算方法：

双路刀片计算节点：

CPU：处理器主频2.5GHz×单位时钟周期浮点操作数16×处理器核心数12×单节点处理器数2×节点数520=499.20Tflops

SMP胖节点：

CPU：处理器主频2.3GHz×单位时钟周期浮点操作数8×处理器核心数12×单节点处理器数8×节点数4=7.07Tflops

存储系统

配置1套支持分级存储的曙光Parastor200分布式并行存储系统，作为集群全局共享存储，并提供“10K SAS在线存储”+“7.2K NLSAS近线存储”两级存储，系统裸容量2.3PB（10K SAS 0.58PB，7.2K SAS 1.72PB），实际可用容量1.8 PB（有效空间利用率80%），系统聚合带宽≥30GB/s；

ParaStor200分布式存储系统提供自动透明的数据分级存储功能，采用高速SAS 和低速SAS磁盘相结合，既能保障存储系统容量，又能提高存储系统访问性能，具有极高性价比。

本套Parastor200采用8+2:2的纠删码式数据保护方式，即可以容忍2块硬盘同时失效而不至于数据丢失；整套存储系统又可以容忍2台数据控制器失效而不至于数据丢失。在这种配置下，存储系统空间利用率可达到80%。

网络系统

计算、存储网络采用目前业界最先进56Gb/s FDR InfiniBand 高速网络，计算和存储网络融合设计；计算、存储系统InfiniBand 线速交换，配置1台648端口核心层模块化InfiniBand 交换机，全部采用光纤线缆，布线简单、可靠性高、易管理、易扩展；支持升级为100Gb EDR InfiniBand ；

管理监控网络采用千兆交换、万兆汇聚方案；还额外提供硬件独立的IPMI 远程管理网络，提高远程管理的可靠性；

配置防火墙、运维堡垒机、负载均衡等设备提供网络安全和稳定保障。

管理登陆系统

配置服务节点8台，其中管理节点2台（冗余互备，分担系统服务，万兆直接接入管理网络，避免系统服务出现网络瓶颈），登陆节点6台（提供硬件负载均衡设备，用户登陆负载均衡+高可用）；

集群系统软件

本方案提供完备的集群系统软件，包括：

CentOS Linux 6.x/7.x 64位操作系统；

完备的高性能计算开发运行环境、工具集；

曙光Gridview 集群管理监控调度系统。整合包括对集群节点、并行存储系统、机房基础设施的统一监控管理；提供功能强大的作业调度系统功能；

全套系统硬件设备实际运行峰值功耗不超过254 kW ，设备装机空间不低于480U 。

登陆节点管理节点刀片计算节点52018台SAS

二级近线存储节点12数值预报高性能计算平台系统拓扑图

二、机房需求

高性能计算机相比普通网络服务器，设备密度高、功耗大，对机房基础设施提出了更高的挑战。

本套高性能计算机规模非常大，功耗密度极高，建议采用机柜排级或冷池极的方案。即：利用交叉放置在设备机柜中间的行间空调实现水平送风，以一个机柜排为单位进行整体散热，可以实现冷热气流有效分离，具有较高的散热效率，机柜PUE值在1.8左右，或以两个机柜排为一个单位，行间空调交叉放置在机柜排中，机柜头对头放置，中间冷风区进行密封，形成一个封闭的冷风通道，大大提高散热效率，PUE值在2以下。

根据高性能计算中心机房的IT设备负载情况，规划占用42U标准设备机柜不少于21个，其中计算机柜至少13个，其他设备机柜（存储、网络、管理登陆节点等）至少8个。每个计算刀片机柜放置4台曙光计算刀片中心，功耗为16KW，重量约为550kg。每个其他设备机柜平均功耗约6~8KW，重量约为600kg。

全套系统硬件设备实际运行峰值功耗不超过254 kW。建议配置空调总的显冷量不低于270KW。以机柜排级方案为例，机柜摆放每机柜排单独设置一个机柜作为列头配电机柜，负责向本机柜排供电；每机柜排设置3个行间空调机柜，对本机柜排内的设备机柜进行散热；每机柜排增加一个除尘除湿机柜，保持机柜内环境的清洁与温湿度。

三、系统优势及特色

1、先进性和成熟性

本系统中，我们使用的刀片集群架构，为目前高性能计算发展的先进和主流趋势。本系统配置的最新一代Intel Xeon E5-2600 V3（Haswell架构）处理器，为目前性能最高的X86处理器。使用的100Gb EDR Infiniband网络，也为目前最先进、性能最高的网络技术。同时，系统中使用的并行文件系统、先进的作业调度系统均代表着高性能计算机系统的发展方向。

方案使用的刀片系统，是专门针对HPC应用定制开发的一套先进、稳定、性价比高的计算设备，在上海台风所、北京气象局、浙江气象局、福建气象局、中国环境监测总站等众多的数值预报业务单位具有成功应用案例，产品成熟稳定，适合数值模式等应用大规模并行计算。

方案使用的高端八路服务器，是最新推出的具有媲美小型机RAS级别的高端服务器，并在SPECjbb测试中以214,961 max jOPS，23,058 critical-jOPS的成绩刷新全球记录。

方案使用的并行存储系统，具有容量大、性能高、扩展性好、分级存储、针对HPC应用专门优化等众多优异特性，是大型计算机系统共享存储的理想选择。

方案使用的水冷机柜系统，是针对大型数据中心设计的一套专业、高效、易用的基础设施解决方案，体现了绿色、环保、节能的需求。

2、高可靠、高可用

整个系统具有防止单点故障的保障方案，保障整个业务系统的稳定运行，主要从以下几个方面保障整个系统的高可靠、高可用。

（1）系统的中所有服务器、存储设备等均配置冗余电源、冗余风扇。

（2）配置2套管理网交换机，保障系统可轻松拆成互备的2套系统，也可保障出现故障时的迅速修复。

（3）存储系统采用基于纠删码技术的并行存储系统，使用8+2:1冗余，具有更高可靠性。

（4）系统中的每个节点的系统镜像均会在共享存储中予以保留，出现故障可迅速恢复。

（5）系统支持checkpointRestart 功能，可将计算的中间过程进行保留，并从中间过程重新恢复计算。

（6）系统具有快速部署恢复工具，以及高效管理监控系统，可及时发现故障并恢复故障。

（7）系统功能节点均采用冗余设计，并且进行了高可用规划，保障系统的高可用。

3、安全可靠性

整体系统的软、硬件环境成熟稳定，具有较多的成功案例和实践经验，可以快速投入业务运行；

系统运行监控管理工具完善，方便用户对系统运行进行详细的监控。

并行存储系统支持故障自愈功能，系统还配置专门的备份存储系统，能够有效的保护用户数据的安全、可靠。

系统配有专门的网络安全设备，包括防火墙、VPN、运维操作审计系统、防病毒和网络安全软件等，能够高级别的保护用户数据和控制网络访问的安全，为本套系统提供全方位的安全保障。

4、开放性和灵活性

系统使用开放的x86集群架构，操作系统使用开源的Linux，多数软件为开源代码软件，整个系统的软件、硬件具有较高的开放性，支持各种开源协议，能够方便灵活的与外部系统、模型和仪器等进行对接和数据交互，便于用户进行业务模块开发和扩展。

5、与数值预报应用相匹配

用户应用软件众多，用户量大，对计算需求较高，系统共配置超过500TFLOPS的计算能力，同时，为了保证大气数值模式软件的扩展性，系统配置了高规格处理器，在相同峰值性能下，可获得更高应用性能。由于数值预报应用节点间网络需求高，配置了高带宽，低延时的EDR Infiniband网，单向通信带宽达到100Gbps，延时小于0.6us。同时，海量计算时的IO并发读写量巨大，对存储的容量和性能需求惊人，系

统配置了并行存储系统，能够实现所有存储的统一地址和并发读写。作业调度软件支持复杂的作业调度策略，轻松支持各类数值预报类用户应用。

6、易使用需求

系统配置了图形化的作业调度系统、图形化的并行存储管理系统以及数值预报业务化系统，降低用户使用难度。

7、可扩展性需求

x86集群的架构可以保证计算系统具有良好的扩展性。同时，并行存储的架构也实现对存储系统的扩展，网络端口也预留了足够的端口，可以轻松满足用于未来用户对本套系统的计算能力、存储系统的扩容和升级。

8、易管理维护需求

配置高效管理系统，支持监控、告警、管理、报表等多项功能，解决管理员的后顾之忧，同时，对管理员的培训和对系统的运维支持，也能有效提高系统的管理水平。对于存储系统，也配置了专门的Web管理节点，方便系统运维人员进行监控、管理。

9、节能环保需求

配置了刀片系统和高效制冷节能系统，支持空载节点的自动待机，能够有效降低能耗，帮助用户节省运维成本。专门配置了高性能服务器节能软件，可以对整个集群的性能、功耗、节能情况做统一的监控和管理。在不影响集群运算性能的前提下，有效地降低集群系统能耗成本。

四、收益分析

本项目系统建设完成后，将为我单位开展电网安全运行相关的高分辨率、高精细度数值预报、预警业务提供强大的计算能力和海量的数据存储容量。具体体现在以下方面：

1、中尺度区域数值预报的范围可以从目前的湖南省扩展到整个华中、华南、西南、华中等区域，关键地区的数值模式水平分辨率可以提高的1公里，垂直层次从28层提高到51层，提供在国内处于领先水平的的高分辨率数值预报产品。

2、数值预报的时效可以从目前的24小时增加到96小时，预报的时间分辨率从3小时提升到1小时，提供更精细的各类预报产品。

3、预报产品的种类大大丰富，从目前常规的温度、压力、湿度、风场、降水等，增加雷击、覆冰、雨量、能见度等数十种定制化、专业化的预报产品。

4、从目前的单一确定性预报，升级到开展多模式集合预报，数值预报的准确率将得到大大提升，产品种类进一步丰富。集合预报对计算能力的需求是无穷的，目前的系统根本无法满足开展集合预报的需求。

5、提高数据同化的能力：实现将各种自动观测站、气象卫星、天气雷达等观测资料同化，提高数值模式初始场的准确率，从而大大提高数值预报的准确率。

6、提高历史数据的存储年限：本次升级后，数值预报核心历史数据的存储年限可以达到5年，非核心历史数据的存储年限可以达到3年。