数据中心建设架构设计

数据中心架构建设计方案建议书

1、数据中心网络功能区分区说明

功能区说明

图1：数据中心网络拓扑图

数据中心网络通过防火墙和交换机等网络安全设备分隔为个功能区：互联网区、应用服务器区、核心数据区、存储数据区、管理区和测试区。可通过在防火墙上设置策略来灵活控制各功能区之间的访问。各功能区拓扑结构应保持基本一致，并可根据需要新增功能区。

在安全级别的设定上，互联网区最低，应用区次之，测试区等，核心数据区和存储数据区最高。

数据中心网络采用冗余设计，实现网络设备、线路的冗余备份以保证较高的可靠性。

互联网区网络

外联区位于第一道防火墙之外，是数据中心网络的Internet接口，提供与Internet高速、可靠的连接，保证客户通过Internet访问支付中心。

根据中国南电信、北联通的网络分割现状，数据中心同时申请中国电信、中国联通各1条Internet线路。实现自动为来访用户选择最优的网络线路，保证优质的网络访问服务。当1条线路出现故障时，所有访问自动切换到另1条线路，即实现线路的冗余备份。

但随着移动互联网的迅猛发展，将来一定会有中国移动接入的需求，互联区网络为未来增加中国移动（铁通）链路接入提供了硬件准备，无需增加硬件便可以接入更多互联网接入链路。

外联区网络设备主要有：2台高性能链路负载均衡设备F5 LC1600，此交换机不断能够支持链路负载,通过DNS智能选择最佳线路给接入用户,同时确保其中一条链路发生故障后,另外一条链路能够迅速接管。互联网区使用交换机可以利用现有二层交换机，也可以通过VLAN方式从核心交换机上借用端口。

交换机具有端口镜像功能，并且每台交换机至少保留4个未使用端口，以便未来网络入侵检测器、网络流量分析仪等设备等接入。

建议未来在此处部署应用防火墙产品，以防止黑客在应用层上对应用系统的攻击。

应用服务器区网络

应用服务器区位于防火墙内，主要用于放置WEB服务器、应用服务器等。所有应用服务器和web服务器可以通过F5 BigIP1600实现服务器负载均衡。

外网防火墙均应采用千兆高性能防火墙。防火墙采用模块式设计，具有端口扩展能力，以满足未来扩展功能区的需要。

在此区部署服务器负载均衡交换机，实现服务器的负载均衡。也可以采用F5虚拟化版本，即无需硬件，只需要使用软件就可以象一台虚拟服务器一样，运行在vmware ESXi上。

数据库区

数据库区在物理上和应用服务器在一个位置,但可以通过防火墙的通过逻辑隔离,将应用服务器和数据库服务器分离。

实际上应用服务器和数据库服务器都是通过VMware服务器虚拟化上创建的虚拟服务器，但可以通过交换机策略将两者逻辑分开。

测试区

测试区主要用于软件和硬件上线前的功能和性能测试，本区主要要求网络能够和运行系统能够有效隔离，保证网络不收到测试系统影响。

测试区也是通过防火墙和VMware逻辑隔离。

存储数据区

存储数据区因为不需要外网直接访问，因此可以通过网络和地址的规划完全与IP网络分离。

在本区部署两台IP存储阵列，一台是高性能的SAS硬盘 FAS2240-2，配置24块 15K 600G硬盘，总容量，经过Raid后还有大约的实际存储容量。此硬盘可以分为两部分使用，一部分用于虚拟化软件共享存储，用于存放各类虚拟机的数据和用户数据库数据，大约分配。另外一部分用于存储应用软件的存储的用户数据，此类数据主要存放活跃数据，大约6T。

另外一台存储使用高容量SATA存储，配置24块3000G硬盘，总共72T存储容量，经过Raid后，实际存储容量为48T。

在此处配置一台F5文件虚拟化管理系统ARX500，用于调度存储阵列内的文件调度。当目前存储容量不足之后，可以随时增加存储容量，这时的存储可以采用更为便宜的基于Windows storage的存储系统。

办公管理区

办公区通过VPN与数据中心互联，保证管理人员能够在办公室对数据中心的有效管理

2、服务器虚拟化设计方案

、方案拓扑设计

系统设计描述

在整个架构中，我们搭建了两个网络：一个是作为生产网络（根据实际应用可以划分多个VLAN），另外一个作为虚拟中心管理网络和虚拟机动态迁移VMotion网络。另外根据实际的网络环境，结合实际生产环境中的要求，将网卡分别设置在不同的网段上。

使用新购置服务器作为ESX虚拟服务器，另外可以利用旧的1台服务器作为VMware Virtual Center管理中心。将数据库服务器和应用服务器部署在三台ESX虚拟服务器上，利用VMWare VMotion功能，使得数据库服务器在ESX 虚拟服务器硬件环境出现问题的情况下，能够自动的迁移到另一台ESX虚拟服务器上运行，不会因为硬件环境出现的问题而导致应用服务停止运作，保证了业务连续性。再利用VMWare VCB技术，定时针对应用系统做备份，当应用系统出现损坏的情况下，可以在最短的时间内，恢复到健康的应用系统生产环境。

使用VMware High Availability功能在整个虚拟化 IT 环境中提供，而没有传统群集解决方案的成本或复杂性。VMware HA 可为在虚拟机中运行的任何应用程序提供经济高效的高可用性解决方案，而不需要考虑其应用操作系统设置或应用系统基础硬件配置。VMware HA 不需要专门的备用硬件和附加软件支持。

同时，VMWare系统提供VMWare HA、VMWare VMotion、VMWare DRS的系统资源高可用与自动资源调节能力，可自动平衡应用间对CPU、内存的资源分配，保证应用系统维持在最佳运行状态。VMWare高可用特性，可彻底保证用户关键性应用系统不间断运行。若实施VMWare高可用架构，要求虚拟化应用系统必须接入SAN存储区域以作数据存储共享设置。

利用原有两台服务器，一台作为VMware VirtualCenter服务器，管理整个虚拟化数据中心系统。

在存储方面，采用万兆以太网接入的IPSAN存储，具有保障企业级业务持续性的多种特性，包括热插拔冗余硬件、热备份硬盘、多路经故障切换、快照、克隆、本地/远程镜像和非破坏性固件升级等。

3、F5链路负载均衡

问题的提出

通常用户系统结构设计图如下：

链路单点故障

在系统原有系统结构中，采用单条链路接入，一个或多个DNS服务器，这些服务器对于同一个域名均解析为同一个地址。

在该种网络结构之中，无论主机系统、网络系统的规划有多么完美, 完全的排除了应用瓶颈和单点故障, 都还存在一个非常明显的单点故障, 就是国际网络接入部分的方案不够完整, 一旦国际网络接入部分出现中断就直接意味着所有应用的中断。

Internet用户访问快慢差异

随着国内最大的Internet接入提供商Chinanet被拆分为北方China Netcom 和南方China Telecom之后，两方资源的互访受到了很大程度的影响。其出现的根本原因为南北网络的互通互联接点拥塞，造成用户丢包、延迟较大，从而导致访问缓慢，甚至对于一些应用根本无法访问。

以下是一张在真实环境下的实测数据表：

表中可以看出，对于同一个站点，一个用户分别从两条线路进行访问，得出的访问速度差异是非常大的。最大的差值在广东电信分别访问站点的两条线路，其速度差异接近20倍。

有效解决链路单点故障及为南北不同用户提供相同服务质量的需求与日俱增。

对于一个运行关键业务的网站来说，为用户供24*7不间段的业务，并保持用户的访问速度和访问的成功率非常重要。

F5提供的最佳解决方案

使用F5公司的LinkControl多链路设计结构图：

网络出口结构建议

我们建议采用一对F5 Link controller设备接在两个出口链路处，实现由内向外和由外向内的出入站流量负载均衡。由外向内的inbound访问的智能性，通过Link controller提供的智能DNS解析功能，实现对两条链路的负载均衡。Link controller可以通过实时监控两条链路的负载状况及其健康状况，也可以根据当前链路的负载情况，用户所处的位置ip地址或用户的特殊要求

进行相应域名解析，指引用户从最快的、最好的、最近的路径访问到企业的站点。这里我们建议采用静态负载（Topology）和动态负载（RTT）相结合的方式，使得方案更能满足客户是实际需求，当用户是来自国内的用户，在F5设备的Class中能查到它是来自哪家运营商的地址，这时F5的设备将采用静态的算法给用户端一条最快的链路，如果用户不是来自国内，是来自国外的用户，F5设备将采用动态算法（RTT），去探测用户的LDNS，然后算出来一个最佳路径并提供给用户，这样从用户端，不论是来自国内还是来自国外的用户都能得到一条最佳的路径来访问用户企业网站。

用户在进行由内向外的outbound访问时，由F5 Link controller提供智能的链路选择，实现对两条链路的负载均衡。F5 LC可以通过实时监控两条链路的负载状况及其健康状况来保证链路的高可用性，同时可以根据当前链路的负载情况，用户想要访问的IP地址等信息进行链路选择，指引用户从最快的、最好的、最近的路径访问INTERNET，另外考虑到带宽等，我们可以在F5 LC 上通过添加策略来实现指定用户走指定链路，只有当此链路出问题时会自动切换到其他好的链路上。

方案特点：

1、从整体结构上来看，对入站链路选择进行了优化，解

决了服务器互访慢的问题，使得web服务提高了响应速度，由于

链路的优化从而改善了这些服务的的响应速度，国内用户和国外

用户通过F5设备的均衡最终能得到一个相对最佳的链路，保证了

内部服务从外网访问能通过一条最快的链路，大大提升了网络响

应速度

2、采用F5的LC，同时也解决了出站时的链路优化和当其

中某个链路中断时，自动切换到其他的链路上去的功能，另外

在BIGIP上设置不同网段的链路选择，如：可以将一段地址网

络只走某一条链路，其他的地址走另外的链路，当此链路中断

时， BIGIP把所有流量切换到好的链路上。

3、另外F5 LC还同时具备服务器负载均衡的能力，可以解

决企业原有的服务器性能不足的问题。

技术实现原理

出站连接

为了向企业用户访问互联网资源时提供高可性，LC使用default gateway pool和SNAT（安全网络地址转换）将流量动态导向最佳链路。Default gateway pool包含了多个网关，F5 LC将根据负载均衡算法选择一个最优网关，将当前数据发送到该网关，从而发送到对应ISP。SNAT提供了一个安全机制，可将不能路由内部地址转换为可路由的地址，并将流量导向合适的上游网关路由器。利用LC的智能流量管理功能，可替代防火墙的NAT功能，并保证流量可以通过与WAN或互联网的最佳连接往返发送。另外LC可以利用rules功能实现类似策略路由的功能，LC可以根据数据源地址或目的地址来选择路径，从而实现outbound流量的最优链路选择，避免针对某些链路的站点收费问题。

入站连接

为了保证用户可以在24*7并且提高用户的访问速度，LC可以通过智能DNS 解析功能，动态选择最佳链路，将外部用户导向驻留在站点中的资源。

LC上可以配置多个VLAN，分别绑定多个ISP 服务商的公网地址,解析来自互联网用户的地址解析请求。后台服务器则由LC 做成集群和虚拟化成针对ISP A的虚拟服务器Virtual Server 1 和ISP B的虚拟服务器Virtual Server 2 ，这样对于每个用户到来的请求, LC都会分别检测后台服务器的状态并选择最佳的链路提供服务,达到用户的就近性访问及服务器的负载均衡。LC在回应客户的DNS解析请求时, 可以采用15种动态或者静态的决策方法中的任何一种方法并检测链路的实际状态将复合客户要求的最佳状态的链路的服务器公网地址返回给客户端, 从而达到多链路动态负载均衡的效果。

技术实现原理讲解

链路的健康检查

如何有效地确定链路以及提供对外服务的服务器、应用、内容的状态，是提高系统可靠性的关键。BIGIP link controller利用其独到的、高效的“健

多种服务器状态监测手段

?服务器 (Node) - Ping

(ICMP)

?服务 (Port) - Connect

康检测”手段，识别服务器、应用、内容的状态。它们包括L2~L3的icmp检查，L4的tcp/udp port检查，L7的ECV检查和用户可以任意定制的EAV检查等多种方法。

扩展内容查证(ECV: Extended Content Verification)

ECV是一种非常复杂的服务检查，主要用于确认应用程序能否对请求返回对应的数据。如果一个应用对该服务检查作出响应并返回对应的数据，则BIGIP控制器将该服务器标识为工作良好。如果服务器不能返回相应的数据，则将该服务器标识为宕机。宕机一旦修复，BIGIP就会自动查证应用已能对客户请求作出正确响应并恢复向该服务器传送。该功能使BIGIP可以将保护延伸到后端应用如Web内容及数据库。BIGIP的ECV功能允许您向Web服务器、防火墙、缓存服务器、代理服务器和其它透明设备发送查询，然后检查返回的响应。这将有助于确认您为客户提供的内容正是其所需要的。

依据链路健康状态和流量来均衡处理DNS 解析

在确定了ISP接入链路的连通状态后， linkcontroller 可以根据ISP

链路的实际流量，链路品质等因素来进行智能的DNS解析处理，如果出现某ISP链路中断的情况，在确认后及时的改变DNS解析的内容，将中断链路的IP 地址从DNS解析列表中删除，保证解析出的地址都一定是可以访问得到的可用地址。

系统切换时间

在采用DNS实现链路切换时，系统的切换时间主要取决于每个域名的TTL 时间设置。在LinkControlLocalDNS得到域名解析纪录后，将在本地在TTL

设定时间内将该域名解析对应纪录进行Cache，在Cache期间所有到该LocalDNS上进行域名解析的用户均将获得该纪录。在TTL时间timeout之后，如果有用户到LocalDNS上请求解析，则此LocalDNS将重新发起一次请求到LinkController上获得相应纪录。

因此，当单条线路出现故障时，LinkController将在系统定义的检查间隔（该时间可自行定义）内检查到线路的故障，并只解析正常的线路侧地址。但此时在LocalDNS上可能还有未过时的Cache纪录。在TTL时间timeout之后，该LocalDNS重新发起请求的时候就将从LinkController上获得正确的解析，从而引导用户通过正常的线路进行访问。系统检测间隔加上TTL时间之和则为系统切换的最长时间。通常，系统检测间隔设置为60秒，而TTL时间设置为600秒，所以系统切换的整体时间为11分钟。

LinkController替代现有的DNS服务器

LinkController在实现双链路时的Inbound流量时，要求将DNS的最终解析权交由LinkControllerp完成，建议将站点的所有域名解析均放置到LinkController上进行解析，优点是可以充分利用LinkController的动态用户引导和强大的图形化管理界面。

注册多一个NS记录

LinkController取代现在DNS服务器后，需在上一级DNS服务器中添加一个新的NS记录，即指向新增加链路中的LinkController的IP地址。这样，对应一个域名，将产生两个不同ISP的NS记录。

4、F5服务器负载均衡

针对系统中不同的服务器以及不同的应用特点，要选择不同的负载均衡算法以及其它策略来实现智能的流量分配。

服务器负载均衡包括两个方面，其一是将用户访问流量均衡分配到各台服务器，使服务器资源得到充分利用，提高服务器群整体的性能；其二是对服务器节点的健康检查，保证流量被负载均衡到正常工作的服务器。

对于本系统中用到的服务器集群，BIGIP可以运用多种静态或动态的负载均衡算法，来实现智能分配负载，确保客户最大限度发挥其服务器投资价值。同时，BIGIP可以利用EAV/ECV（扩展应用查证/扩展内容查证）等精确的检测方法监视服务器的可用性和性能，将用户的请求导向到集群中最符合要求的服务器，当某台服务器故障时，能从集群中被隔离出来，直到故障服务器恢复后自动加入服务器集群，不影响用胡的正常访问，从而实现服务器的负载均衡及冗余特性。同时，BIGIP可利用其会话保持功能cookie insert方式配合特别的会话同步机制在服务器故障时进行智能的流量分配和处理，保证用户访问的持续性和完整性。

对于系统中用到的Cache服务器，BIGIP1500同样可以提供多种静态和动态的负载均衡算法和精确的健康检测方法来实现智能的流量分配，保证系统的高可用性。

对于Oracle数据库，BIGIP1600提供专门针对Oracle数据库的EAV（扩展应用查证）健康检测方法，在这种方式下BIGIP3400模拟最终用户发起对Oracle数据库的访问，检测服务提供的内容的实际可用性，从而判断设备及应用运行情况，确保关键业务资源作出正确响应。

5、F5文件虚拟化系统

F5 ARX智能文件存储管理介绍

F5 ARX智能文件虚拟化通过执行两个功能，突破文件存储基础架构的限制:

? 通过文件虚拟化分离从数据物理位置对数据的逻辑访问，不会中断业务，并可以简化访问、移动和管理文件数据的方式。

? 能够实施功能强大且易于使用的智能数据管理策略，自动完成很多存储管理任务，例如，存储分层、动态容量平衡和无中断的数据迁移等。此外，ARX通过消除厂商锁定，允许企业自由选择最能满足他们的业务和IT需求的文件存储技术，可以消除基础架构变更的很多固有障碍。

通过文件虚拟化简化文件访问

ARX的核心是文件虚拟化技术。文件虚拟化可以创建物理存储环境的一个逻辑摘要。这种表示层也被称为全局命名空间，可以实现对物理文件系统的简单逻辑访问，并隐藏来自客户端的存储变更。因而，企业可以随时移动自己的数据，而不会对用户或应用产生中断。ARX并不是向存储环境中引入一个新的文件系统，而是用作一个代理来联合底层存储层中已经部署的文件系统。它使用行业标准的文件访问协议(CIFS和NFS)与客户端访问文件和提供这些文件的存储服务器进行通信。

编辑本段通过自动管理策略简化数据管理

原来需要手动完成的操作可以自动执行，用户和应用对此几乎毫不察觉，且不会对用户和应用造成中断。扩大现有存储投资的价值，并在三个主要方面增强业务工作流: 自动完成存储分层、无中断的数据迁移以及动态容量平衡。

自动完成存储分层

F5的存储分层功能在文件级运行，各企业能够根据特定标准(年龄、类型等)移动文件或项目而不是整个文件系统。这样不会留下存根或指针，从而可以消除风险和复杂的备份和恢复程序。实时策略实施功能可以自动将文件放置在合适的设备上。

动态容量平衡

实时容量平衡策略能够允许企业从现有的文件存储设备中创建更大规模的“虚拟文件服务器”，汇聚这些物理设备的资源(容量、吞吐量和处理能力)，并优化应用性能。

无中断的数据迁移

管理人员可以使用功能强大的策略完成多种数据迁移任务—从移动整个文件系统到各个文件。在异构存储设备间完成对于面向NFS和CIFS数据的数据迁移，也可以计划错开高峰流量时间或备份窗口，从而消除过去与数据迁移相关的故障或业务中断。

6、NETAPP统一存储架构

NETAPP N系列一体化网络存储系统，其产品定位涵盖面非常广，从较低端的N系列200直至高端的N系列6000系列，从大型的数据中心到企业部门及远程办公室。N系列系列产品是市场上唯一能够将块数据和文件数据（NAS、FCoE、FC SAN和IP SAN）合而为一的虚拟化存储解决方案。可以满足不同行业用户对Microsoft SQL/Exchange、Oracle、SAP、VMware等应用的数据存储

和管理需求。可以简单的定义N系列一体化网络存储系统是一款”all in one” 的磁盘存储产品。它提供了各种接口类型（IP和FC SAN），具有丰富的软件功能，软件覆盖了磁盘存储领域几乎所有现在的重要领域。如快照、灾备、法规

遵从存储、备份、数据生命周期存储等等。

NETAPP 在业界以NAS和IP SAN(iSCSI)着称，同时为那些对性能和可用

性要求苛刻的环境提供了全面、成熟的光纤通道 (FC) SAN 解决方案。通过将

高性能存储与独特的数据管理软件相结合，NETAPP 可以提高关键数据的可用性，简化复杂数据管理环境，提高效率并且降低存储成本。

NETAPP N系列一体化网络存储系统通过同一个硬件平台以满足NAS，iSCSI

和FC SAN等不同类型的存储需求，如果是其他厂商的产品，他们要实现SAN

和NAS 2种存储架构一定会采用2套独立的系统，一套SAN存储系统，和一套NAS网关控制器，将一部分的SAN存储空间转换为NAS存储系统，这种架构增

加了系统的复杂度，SAN和NAS的存储空间也不能实现统一的管理，降低了存

储空间的利用率。

NETAPP网络存储系统的最大的一个特点就是唯一一家真真意义上的统一

架构存储，使用单一一个存储系统控制器，就可以同时实现NAS网络存储、SAN

存储、以及iSCSI网络存储，不需要再添加任何的附加的网关和附加的管理服

务器，结构简便可靠。同时无论是基于文件的NAS网络存储服务还是基于裸数

据块的SAN以及IP SAN网络存储服务，NETAPP的产品都可以提供通过第三方

测试机构和现实生产环境所证明的业界最优异的性能。这就从根本上改变了用

户选择网络存储架构的模式，用户不必再为选择何种网络存储架构去权衡利弊，可以按照实际的应用系统需求为应用系统配置最适合的网络存储架构。NETAPP

的所有的存储系统都使用相同的结构，相同的基于NETAPP专有的存储控制操作系统Data ONTAP，具有简便相同的应用界面和操作界面。用户可以根据应用环境需求自主方便的选择不同的网络存储架构，在降低用户存储设备总拥有成本的基础上，最大限度地保护用户的投资。

从上面的分析也可以看到，NETAPP的产品，在SAN和NAS的实现上既有集中，也有独立，集中主要是共享一些先进的技术所带来的优势，独立主要是实现各自的协议和接口，两种架构无所谓谁是谁的基础，或一种架构是从另外一种架构发展而来。总之，NETAPP所提供的SAN、IP SAN和NAS不管从功能还是从性能上来说，都具有明显的优势。

7、产品清单

服务器主机

服务器均衡交换机

链路负载负载交换机

千兆 SATA存储阵列

万兆 SAS存储阵列