云计算解决方案

方案简介

随着互联网技术的发展，越来越多的应用面向云计算。云计算是网络计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。云计算的核心思想，是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池为用户按需服务。云计算是IT服务提供方式的一种改变，它在对数据中心呈几何倍数增长的情况下，有望显著提高效率和灵活性。许多云计算部署依赖于计算机集群，包括计算、网络互联、存储等，如图1-3。图1-4为具体一个云计算应用的拓扑部署。

图1-3

图 1-4

上述图1-4，描述了一个云计算应用，其主要业务应用在经分系统中支持Oracle Rac，和分布式话单分析等，其中配置的集群服务器节点共有32台刀片服务器，每个结点内置40Gb InfiniBand QDR HCA 卡网卡，连接到MIS5030 IB交换机中。多台业务应用服务器连接到核心GE万兆交换机中。以

太网与IB网的连接通过MBX 5020 完成。MBX 5020有4个IB口，每个IB 可连接3个GE口，从而实现了计算结点与以太网服务器的通讯。

VSA 服务器：VSA为存储加速软件，配置了2个服务器，每个服务器内置一块HCA（IB）卡和两块HBA（FC）卡，以及一块512GB SSD固态盘。VSA服务器作为网关设备，实现了IB到FC的转换。

HCA卡：40Gb InfiniBand QDR HCA 网卡。

HBA卡：8Gb FC卡。

SSD固态盘：采用CFD-SATAE电子盘产品，持续读写能力达200MB/s，用于加载VSA软件做缓存用。

VSA连接着FC交换机与后端的FC存储。

上述拓扑图中，实现了IB、Ethernet、FC网络的整合互通，应用在不同的云计算需求网络部署中。

在当今企业中80%的数据都是非结构化数据，这些数据每年都按指数增长60%。大数据将挑战企业的存储架构、数据中心的基础设施等，也会引发数据仓库、数据挖掘、商业智能、云计算等应用的连锁反应。未来企业会将更多的TB级数据集用于商务智能和商务分析。到2020年，全球数据使用量预计将暴增44倍，达到35.2ZB（1ZB=10亿TB）。

如何去分析这些数据，挖掘其内在价值，就需要分布式计算来支撑海量数据的分析工作。

早先那种多线程，多任务分解的日志分析设计，是分布式计算的一个单机版缩略，如何将这种单机的工作进行分拆，变成协同工作的集群，就是分布式计算框架设计所涉及的。

分布式计算运用在多场景，大数据量的分布式处理，是云计算服务中其业务内容必须用到的。

InfiniBand是针对对带宽延迟要求比较高的领域设计的一种网络，现阶段主流带宽是40Gb/s，网络中端到端延迟可以控制在us级别，InfiniBand 网络采用集中管理，支持网络划分，QOS等功能，扩展方便，可达数千个节点，经验证，适用于MPI， ORACLE RAC，HADOOP等的应用。

1.2 节点系统

云计算核心是计算能力的集中和规模性突破，云计算中心对外提供的计算类型决定了云计算中心的硬件基础架构。从云端客户需求看，云计算中心通常需要规模化的提供以下几种类型的计算能力： 大型服务器

一是高性能的、稳定可靠的高端计算，主要处理紧耦合计算任务，这类计算不仅包括对外的数据库、商务智能数据挖掘等关键服务，也包括自身账户、计费等核心系统，通常由8路以上的大服务器提供。

上述图1-4，描述了这种情况的一个云计算应用的拓扑；

高密度服务器

二是面向众多普通应用的通用型计算，用于提供低成本计算解决方案，这种计算对硬件要求较低，一般采用高密度、低成本的超密度集成服务器，以有效降低数据中心运营商的运营成本和终端用户的使用成本；

高性能计算HPC

三是面向科学计算、生物工程等业务，提供百万亿、千万亿次计算能力的高性能计算，其硬件基础是高性能集群。

1.3 网络系统

网络互联技术是云计算中的关键因素，需要满足5个关键因素对网络的需求：

?高带宽/低延迟

?整合型以太网

?支持多种类作业任务

?扩展性和可管理性

?绿色/低能耗

对于支持云计算的网络架构，解决方案应该是开放的，支持各厂商产品；采用“逐步扩展”式的布置，避免一次性淘汰更换。

采用的网络互联设备有：

?40G IB网络设备：用来支撑高性能的服务器架构，包括IB交换机和IB网卡

?网关设备：支持多种协议的网络连接与融合

?10G以太网设备：支持以太网高速互联的交换机和万兆网卡

?光纤设备：支持光通道传输的光模块与光纤交换机

?通用的百兆千兆网传输设备：包括线缆与网卡、模块

1.4 存储系统

不论是商业计算、普通应用，或是科学计算，在硬件架构层，影响云计算能力的除了计算能力以外，最重要的一个环节就是存储。云计算采用数据统一集中存储的模式，存储的数据规模通常可以达到TB乃至PB 级别，计算平台处理的海量并发必然会带来海量的并发读写。由于数据量非常大，读写并发高，普通存储设备不可能满足数据处理中对性能、稳定性和可用性方面的要求。并且传统的存储和文件系统在设计时并没有考虑到大规模需求以及全球内容分发。存储多达数十亿的文件会占用千兆字节的空间，要确保这些文件能够在多个数据中心之间快速、高效的共享，传统解决方案的部署复杂、很难管理、不易扩展，且费用高昂。

DataDirect Networks 采用 Web Object Scaler (WOS)，有效改善了上述问题。WOS是最尖端的基于云的文件存储技术，从根本上简化并改进了从多个分布于不同地域的网站存储、分发和访问文件的方式。只需通过一个易于使用的管理界面，便能创建轻松、无限扩展的全球存储云。WOS存储技术具备管理方便、低延迟、可自动创建备份和执行灾难恢复程序，安全性、可靠性高，易于扩展等特点。

云存储应用案例：

高速的交易结算系统– CDR(呼叫数据记录) 和互联网带宽使用记录均为小文件，每秒可到达数百万个，而现有的存储技术若未能实现基础结构的扩展，就无法满足如此快速的交易需求。即使使用现有的存储技术，高峰时期也容易造成数据的丢失。WOS 每秒可轻松处理海量交易。

视频监控–智能型 IP 摄像头直接与NVR (网络视频) 对话，反过来，NVR可将录像转移到iSCSI 阵列等存储设备上。使用 WOS，从此就无需再使用 NVR，因此摄像头录制的视频便可直接转移到WOS 存储云上。这样不仅能够降低成本和复杂性，并且由于 WOS固有的多功能性，用户可同时从多个监控中心访问录像档案。WOS还自带故障转移和灾难恢复功能，而这一点对敏感数据很重要。 Internet/Web2.0–管理用户生成内容的网站必须能够应付持久性数据不断扩大的存储需求，以及管理数以百万计文件的挑战。多功能的WOS能够存储数以十亿计的文件，且不会对用户端造成任何影响，是能够满足高速扩展需求的理想的解决方案。

银行–支票影像应用平台能够创建数以百万计的小文件，而这些小文件会对传统的基于NFS 的文件造成严重损坏。一个WOS 云便能在同一个命名空间内轻松存储数十亿支票影像，并自动将这些影像分发至多个数据中心，保护数据的同时还能提高访问速度。

文档及文件存档– WOS 云是理想的存储库，适用于超过80%的非结构性数据，这些数据需要保持在线状态但只是偶尔对其进行访问。将不常使用的数据迁移到 WOS，能够释放 1 层空间，延长使用寿命并降低持有成本。即使存档数据不断扩大，您也可随时根据需要快速、顺畅地添加 WOS 节点。 政府– WOS 云可为用户提供海量规模和优异性能，适用于大型视频、成像和存档项目，同时还可实现政府机构和关联机构之间自动、快速的信息共享，用于应急响应系统、快速联动系统。

1.5 应用软件

搭建云计算平台，需要软件技术的支持，这些软件包括：

应用软件：

提供云计算平台服务的应用软件，如网络加速、任务调度、高性能计算软件、安全、存储、系统优化等软件。

虚拟化软件

虚拟化技术主要分为以下几个大类：

?平台虚拟化（Platform Virtualization），针对计算机和操作系统的虚拟化。

?资源虚拟化（Resource Virtualization），针对特定的系统资源的虚拟化，比如内存、存储、

网络资源等。

?应用程序虚拟化（Application Virtualization），包括仿真、模拟、解释技术等。

网络、集群管理软件

网络、集群管理软件可帮助搭建和管理“云系统”。集群计算系统是云计算系统的核心。

集群管理软件通过提供监控、告警、报表、控制、统筹管理机制等功能，提高了集群运作性能，保证了集群整体安全，方便了用户使用和管理。

分布式计算软件

分布式软件充分利用分布式资源，通过将计算过程分解，由多台服务器并行处理，计算结果综合起来得到最终结果的方式，使计算量巨大的处理可以再在更短时间内完成。分布式软件通过综合调度、并行处理的方式，使分布式系统资源充分利用，各节点协同工作，以低成本达到类似一台大型机的运算效果。