服务器虚拟化方案

XX 服务器
虚拟化方案
第- 1 -页

第一章概述 1.1 项目背景 XX征信有限公司成立于北京，管理中心坐落于六朝古都南京，是国内早期从事非银行类信贷信息管理的公司之一。专门提供个人征信、企业评级、商家诚信认证等服务, 被中国市场学会信用工作委员会授予副理事长单位，同时，聘请XX征信有限公司总经理 XX先生为中国市场学会信用工作委员会副理事长。 XX征信在征信系统设计开发、区域信用体系建设、征信管理咨询等方面有着丰富的实践经验。在借鉴了国内外成熟的征信系统和完善的管理机制后，通过自主研发，建立了适应我国经济体制的非金融机构借贷信息共享平台，简称CMS平台。 CMS平台尽最大可能确保了信息主体记录的准确性、完整性、及时性和跨领域的一致性。此外，公司会实时更新录入者的具体信用情况，会员用户可以及时通过CMS平台查询主体信用信息，降低风险、寻找合作项目。。 1.2 项目目标本着先进、实用的原则，XX利用虚拟化，将现有 IT 基础架构转变成基于VMware vSphere，从而让 IT 系统能够通过服务级别自动化提高控制力。降低资金成本和运营成本并最大限度提高 IT 效益，同时保留选择任何应用程序、操作系统或硬件的自由。 ? 通过将现有应用系统移植到虚拟化环境，保证系统的稳定性和可靠性，提高业务系统的处理性能，提高 IT 业务效率。 ? ? ? 通过服务器整合、自动化和高可用性来优化现有 IT 基础架构。利用业务连续性和灾难恢复来减少停机并提高可靠性。利用我们的绿色 IT 解决方案，通过减少运行的服务器数量和动态关闭未使用的服务器来提高能效。
第- 2 -页

?
让信息科人员将精力转移到打造具有变革意义的业务解决方案上，而不是放在对硬件和软件的例行维护上。
?
更充分地利用现有 IT 资产，使数据中心的资金开销最多降低，大幅降低电力、散热和占地空间需求，并使资源成本降低。
?
为下一步实现云数据中心提供基础和先决条件。
第二章虚拟化方案设计 2.1 系统部署方案 XX 征信虚拟化环境预期包含应用和数据库等多套应用,本次项目的主要实施目标是虚拟化环境建设，并将部分现在正在使用中的应用在虚拟化环境中进行部署和使用。在 3 台服务器上安装虚拟化系统，组建 HA,之后将使用中的核心数据库系统迁移到虚拟化平台上.之后可以根据实际使用情况酌情将其他应用系统迁移到虚拟化服务器上。 2.2 网络拓扑图
第- 3 -页

2.3 软件版本虚拟化环境涉及 VMware 软件及版本如下：产品名称 VMware vSphere 5.5 Enterprise Plus VMware vCenter Mgmt Server 5.5 Standard 虚拟化环境部署软件及版本如下：服务器名称软件类型操作系统 vCenter Server 虚拟化管理服务器虚拟化管理数据库 vSphere Client 应用服务器 2.4 硬件环境虚拟化环境使用 ESXi 主机配置如下：型号硬件处理器内存服务器（共 3 台）网络内置硬盘 HBA 卡配置 4XE7-4820,8C 128GB 千兆以太网 X 6 3x600G SAS 硬盘 2 块单口 8Gb HBA 卡操作系统虚拟化管理客户端操作系统软件名称及版本 Windows Server 2008 Enterprise R2 64 Bit vCenter Server 5.5 Microsoft SQL Server 2008 Windows Server 2008 Enterprise R2 64 Bit vSphere Client 5.5 Windows Server 2003 Enterprise R2 64 Bit 数量 6 1
第- 4 -页

第三章高可用性的 VMWARE 虚拟化方案设计总体来说，国内各行业的企业级客户目前运行在 X86 架构服务器上的操作系统平台主要有：Windows、Linux 等，为了更好的为客户提供一个确实可行而又稳定可靠的虚拟化整合平台，经过我们在国内各行业的企业级客户进行了大量的测试和生产系统实施工作。根据众多国内行业客户的实际生产使用以及测试的情况，以及从 VMware 虚拟化产品的实际情况分析，我们建议：采用 VMware 的 vsphere5 作为我们虚拟化架构的基础架构，该平台可做为以后统一的 X86 架构服务器的虚拟化整合平台， Vmware 虚拟化主件 ESX server 5 安装在 3 台物理服务器实体上，从而利用服务器强大的处理能力，生成多个虚拟机，而每一个虚拟机，从功能、性能和操作方式上，等同于传统的单台物理服务器，在每个虚拟机上，再安装配置 Windows、 Linux 等操作系统，进而再安装应用软件，这样以前的每个物理服务器就变身成为虚拟化服务器上的虚拟机，从而大大提高资源利用率，降低成本，增强了系统和应用的可用性，提高系统的灵活性和快速响应，完美的实现了服务器虚拟架构的整合。在具体实现中，为了实现数据的集中存储、集中备份以及充分利用 VMware 虚拟架构方案中，虚拟机与硬件平台无关的特性，方便将虚拟机在不同服务器硬件平台上的迁移，同时配置冗余的光纤交换机，组成标准的 SAN 集中存储架构，由 VMware 虚拟化服务器创建出来的虚拟机的封装文件都存放在浪潮存储阵列上。通过共享的 SAN 存储架构，可以最大化的发挥虚拟架构的优势，如在 vmware vspere 虚拟化方案下，可进行在线地迁移正在运行的虚拟机（VMware VMotion），高可用性（HA），容错（FT）。而且为以后的容灾提供扩展性和打下基础。
第- 5 -页

为了集中管理和监控虚拟机、实现自动化以及简化资源调配，建议每个数据中心都配置相应的服务器安装 Window 系统，用于安装 vmware 的统一管理软件— —VCenter 管理中心，对所有用于虚拟化整合的物理服务器及其上的虚拟机进行统一的管理。下面就针对具体的虚拟化方案进行介绍。 VMware 虚拟化集群架构设计方案本方案的主体部分既是安装了 VMware ESX Server 5 软件的服务器，在 3 台浪潮 PC server 物理服务器上，安装 ESX Server 5 软件，通过 VCenter 标准版管理中心进行统一管理，将多台物理服务器建立虚拟化高可用集群，即 VMware HA， VMware vSphere HA 高可用，防止出现非计划停机，并迅速从断电及硬件故障中恢复。VMware HA 通过在主机出现故障时重新启动虚拟机来为虚拟机提供基本级别的保护。对关键业务，我们可以采用 VMware vSphere FT 容错技术，可提供更高级别的可用性，允许用户对任何虚拟机进行保护以防止主机发生数据、事务或连接丢失等故障，VMware 容错可提供更高级别的可用性，允许用户对任何虚拟机进行保护以防止主机发生数据、事务或连接丢失等故障。容错使用 ESX/ESXi 主机平台上的 VMware vLockstep 技术以提供连续可用性。通过确保主虚拟机和辅助虚拟机的状态在虚拟机的指令执行的任何时间点均相同来完成此过程。 vLockstep 通过使主虚拟机和辅助虚拟机执行相同顺序的 x86 指令来完成此过程。主虚拟机捕获所有输入和事件-- 从处理器到虚拟 I/O 设备-- 并在辅助虚拟机上进行重放。辅助虚拟机执行与主虚拟机同一系列的指令，而仅可看到单个虚拟机映像（主虚拟机）在执行工作负载。如果运行主虚拟机的主机或运行辅助虚拟机的主机发生故障，则会发生透明故障切换，
第- 6 -页

仍在无缝工作的主机将借此变为主虚拟机的主机。使用透明故障切换，不会有数据损失，并且可以维护网络连接。在发生透明故障切换之后，将自动重新生成新的辅助虚拟机，并将重新建立冗余。整个过程是透明且全自动的，并且即使vCenter Server 不可用，也会发生。 ? ? 平台管理要能提供高可用解决方案，如HA、 FT容错功能，确保虚拟机的可用性。应用程序的安全性包括： ? 尽量压缩Hypervisor本身的代码，容量降低到50MB以下，以降低 Hypervisor本身受攻击的可能性； ? 提供Hypervisor级的病毒防范接口，允许第三方厂商进行开发接口，从底层直接进行病毒的防范和截杀。下图示例了VMsafe API的方式提供第三方安全接口的示例； ? 提供动态安全防火墙，确保系统在虚拟化平台上迁移时，安全策略能够动态迁移，确保系统安全的灵活性。 ? NIC/HBA卡的Teaming也是服务器虚拟化的最基本需求，就是通过多网卡和多 HBA卡，保证网络和存储访问的冗余性，一旦任何网卡或者HBA卡故障，都不会引起虚拟机的服务中断； ? 当然，虚拟平台的备份和恢复也是需要考虑的，要能兼容传统的备份和容灾方案，包括VERITAS、Legato、IBM、HP、CA、Commvault等的备份方案等。虚拟化架构的硬件支持方案方案中，我使用用户原有的HP PC server服务器，建议用户在实践建设虚拟化架构时，将服务器进行内存满配，每台支持VMware虚拟化架构的硬件服务器有至少3块千兆网卡。参考如下：
第- 7 -页

1. CPU 为保证 VMware 虚拟化功能的最优运行，选择的所有服务器必须支持 CPU 虚拟化技术，以保证虚拟机能运行 64 位操作系统，鉴于客户现有的 CPU 数量我们可用每个服务器用双路双核来保证现有业务的需求。 2. 物理网卡配置 ESX 是多个虚拟机的宿主，它提供虚拟交换机与虚拟 Port 给虚拟机使用，并把 ESX 物理机上的所有物理网卡转换成共享的数据通道，提供透明故障恢复，NIC Teaming 级别的负载均衡，换言之， ESX 上所有的虚拟机都依赖此通道对外通信，并且 vSphere 中的 HA 功能也需要独立的网络链路，所以在此推荐每台服务器至少 3 个 1000M 网口，以便提供足够的带宽和透明故障恢复机制给虚拟机和 ESX。保证业务的流量带宽和故障冗余。 3. 虚拟机布署 VMware ESX 的虚拟页面共享机制，可以让 ESX 内多个虚拟机使用同一份内存副本，可大大提高内存的利用率，根据这个功能，故建议将 Windows 与 Linux 虚拟机尽量分别布署在相同 ESX 上。 4. 网络建议 ESX 的 HA 功能也需要网络链路，为了保证这些功能的正常运行，建议将 ESX 管理网络与生产网络隔离，避免相互干扰。虚拟架构主体部分 VMware ESX Server 配置说明本方案的主体部分既是多台安装了 VMware ESX Server 软件的 HP PC server x86 服务器（对 HP 小型机、Sun 小机及 Unix 系统， VMware 不支持）。 ESX Server 是 VMware vSphere 的基础组成部分，是动态、自我优化的 IT
第- 8 -页

基础结构的基础。VMware ESX Server 是一个强健、经过生产验证的虚拟层，它直接安装在物理服务器的裸机上，将物理服务器上的处理器、内存、存储器和网络资源抽象到多个虚拟机中。通过跨大量虚拟机共享硬件资源提高了硬件利用率并大大降低了资金和运营成本。通过高级资源管理、高可用性和安全功能提高了服务级别 -- 对于资源密集型的应用程序也不例外。
集中存储实现虚拟服务器的文件共享方案中，我们建议采用集中存储方式，这样可以将每个虚拟机的文件系统创建在共享的集中存储阵列上，VMware VMFS 虚拟机文件系统，是一种高性能的群集文件系统，允许多个 ESX Server 安装同时访问同一虚拟机存储。支持通过 VMware vCenter Server、VMware VMotion? 技术、VMware DRS 和 VMware HA 提供的基于虚拟化的分布式基础结构服务。由于 VMware 的虚拟架构系统中的虚拟机实际上是被封装成了一个档案文件和若干相关环境配置文件，通过将这些文件放在存储阵列上的 VMFS 文件系统中，可以让不同服务器上的虚拟机都可以访问到该文件，从而消除了单点故障。
第- 9 -页

虚拟化云平台设计方案的详细说明虚拟化作为一个新型的技术，其对整体应用的体系架构设计改变是很大的，单从虚拟架构角度来看，可以大致分为基础架构服务层、应用程序服务层和虚拟应用程序层。但从管理运维的角度来看，又可以分为基础架构管理层、虚拟资源管理层和自动化服务管理层。下面分别予以解释。基础架构服务层基础架构服务层是整个虚拟架构的重要支撑，主要是将物理的资源，包括计算资源、存储资源和网络资源进行虚拟化，提供一些虚拟化的基本单元，为整个架构的虚拟化做好铺垫，一般称为：vCompute、vStorage 和 vNetwork。这部分的要点如下： ? 对于vCompute，主要包括： ? 计算资源的分配粒度，包括内存和CPU的分配方式。能够进行分配的粒度越细，往往效率越高，所以，内存可以分配细化到MB，CPU分配可以细化到MHz。 ? 计算资源的动态调度，包括DRS和DPM。 DRS （Distributed Resource Scheduler）
第- 10 -页

就是分布式资源调度，虚拟机能够在不同的物理服务器之间根据负载的均衡进行自动调度，这是资源（CPU和内存）动态调度的重要指标。DPM(Distributed Power Manager)是电源的动态管理模块，也是最近虚拟化领域的重要技术。DPM可以让服务器在负载较低的时候进行进一步的动态整合，从而大量节能。 ? Hypervisor是服务器虚拟化的基石，目前，瘦Hypervisor已经成为虚拟化行业的重要趋势，通过Hypervisor的瘦化，可以降低虚拟化本身的超载，降低虚拟化本身的资源消耗，从而提升整个虚拟化系统的性能。 ? 对于vStorage，主要包括： ? 虚拟化平台中集群文件系统是构建虚拟化高可用的重要基础技术，通过虚拟化集群文件系统，可以确保进行虚拟环境交叉访问时，保证数据的完整性和可靠性。 ? 卷的动态成长可以实现磁盘卷的在线扩展，为服务器虚拟化提供强大的存储虚拟支持能力，满足存储卷的按需扩展。 ? Storage VMotion可以实现存储迁移时应用不需要停机，这是存储虚拟化和服务器虚拟化结合的范例，成为服务器虚拟化的标准配置功能。 ? vStorage精简配置（Thin Provisioning）的具体实现见下图，最大的好处是提高存储的利用率，降低存储的成本超过50％。 ? 对于vNetwork，主要包括：
? 虚拟网卡是为了满足同一服务器上多个虚拟机而建立的，是服务器虚拟化的重要基石，今天市场上的虚拟化软件都可以提供这个能力。 ? 虚拟交换机可以在虚拟机和物理机之间提供第 2 层连接性，其功能包括： ? ? 虚拟局域网分段（有助于简化网络）、流量隔离以及改进的可管理性内置的网卡绑定（有助于提高可用性）以及物理网络资源的负载平衡
第- 11 -页

?
流速限制，有助于增强对物理网络流量的控制
? 分布式交换机主要是进一步简化虚拟化环境中的网络管理而实现的，可在数据中心级别提供集中和聚合的虚拟网络，从而简化并增强虚拟机网络。虚拟化整合环境中的网络实现由于虚拟架构中，运行在虚拟化服务器上的多个虚拟机可以共享同一个服务器上的冗余网络硬件资源，这样就大大减少了整体环境中对网络硬件接口的数量要求，降低了机房内网络连接的复杂性，提供了更好的安全性和可靠性，但为了进一步确保每个虚拟机都能有可靠的网络访问安全，建议可以考虑采用 VLAN 技术，将不同应用类型的虚拟机，划分在不同的 VLAN 上，这样既可以达成网络安全隔离的目的，又实现了对网络流量的更好的控制，而 VMware 的 ESX 服务器可以通过在自身内部的虚拟交换机上的端口组上设置 VLAN 标签，即可实现 VLAN 的设置。如下图所示：
第- 12 -页

SAN 集中存储实现虚拟服务器的文件共享方案中，我们采用 Netapp 6040 存储器 SAN 集中存储方式，这样可以将每个虚拟机的文件系统创建在共享的 SAN 集中存储阵列上， VMware VMFS 虚拟机文件系统，是一种高性能的群集文件系统，允许多个 ESX Server 安装同时访问同一虚拟机存储。支持通过 VMware VCenter、 VMware VMotion? 技术、 VMware HA 提供的基于虚拟化的分布式基础结构服务。由于 VMware 的虚拟架构系统中的虚拟机实际上是被封装成了一个档案文件和若干相关环境配置文件，通过将这些文件放在 SAN 存储阵列上的 VMFS 文件系统中，可以让不同服务器上的虚拟机都可以访问到该文件，从而消除了单点故障。
第- 13 -页

虚拟环境的高可用性及集中管理为了对服务器虚拟架构进行有效的管理和监控，方案中建议配置独立的 Windows 2003 （或更高）服务器来做为 Vmware 中的 VCenter 服务器， VCenter 服务器为 IT 环境提供了集中化管理、操作自动化、资源优化和高可用性。基于虚拟化的分布式服务为数据中心提供了前所未有的响应能力、可维护性、效率和可靠性级别。
第- 14 -页

以下 VCenter 附属产品提供了资源优化和高可用性特征。 ? 使用 VMotion? 迁移运行中的虚拟机和执行无中断的 IT 环境维护。
? 使用 VMware HA 实现经济高效、独立于硬件和操作系统的应用程序可用性。
第- 15 -页

VCenter 提供了管理任意规模的虚拟 IT 环境所需的最高级别的简便性、效率、安全性和可靠性。
第- 16 -页

方案优势业务连续性和最小化停机时间无论是计划停机时间还是非计划停机时间，都会带来相当大的成本。但是，用于确保更高级别可用性的传统解决方案都需要较大开销，并且难以实施和管理。VMware 软件可为重要应用程序提供更高级别的可用性，并且操作更简单，成本更低。使用vSphere，用户可以轻松提高为所有应用程序提供的基准级别，并且以更低成本和更简单的操作来实现更高级别的可用性。使用vSphere，您可以： ? 独立于硬件、操作系统和应用程序提供更高可用性。 ? 消除常见维护操作的计划停机时间。 ? 在发生故障时提供自动重新启动。 VMware vSphere VMotion动态迁移可以减少计划的停机时间，无需服务中断即可将运行中的虚拟机动态移动到其他物理服务器，用户可以显著减少计划的停机时间。管理员可以快速而完整地执行透明的维护操作，无需强制调度不方便的维护时间段。 VMware vSphere HA 高可用防止出现非计划停机，并迅速从断电中恢复。
VMware HA 通过在主机出现故障时重新启动虚拟机来为虚拟机提供基本级别的保护。 Mware vSphere FT(容错) 可提供更高级别的可用性，允许用户对任何虚拟机进行保护以防止主机发生数据、事务或连接丢失等故障减少计划的停机时间计划的停机时间通常占数据中心停机时间的80% 以上。硬件维护、服务器迁移和固件更新均需要将物理服务器停机。为最小化此停机时间的影响，会强制用户延迟维护，直到出现不便且难以调度的停机时间段。通过vSphere，用户可以显著减少计划的停机时间。由于vSphere 环境中的工作负载无需停机或服务中断就可
第- 17 -页

以动态移动到其他物理服务器，所以服务器维护无需应用程序和服务停机就可以执行。通过 VMware vSphere 虚拟化架构，用户可以执行以下任务 ? 消除常见维护操作的停机时间。 ? 消除计划的维护时间段。 ? 随时执行维护，无需中断用户和服务。因为VMotion?环境中的工作负载无需服务中断即可动态移动到其他物理服务器或其他基础存储器，所以，通过vSphere 中的VMotion功能，用户可以显著减少计划的停机时间。管理员可以快速而完整地执行透明的维护操作，无需强制调度不方便的维护时间段。防止非计划停机时间在ESX/ESXi 主机为应用程序的运行提供稳定平台时，用户还必须保护自身，避免出现硬件或应用程序故障所导致的非计划停机时间。 vSphere 将重要功能构建到数据中心基础结构中，这有助于避免出现非计划停机时间。这些vSphere 功能是虚拟基础结构的一部分，因此，对操作系统以及虚拟机中运行的应用程序而言是透明的。这些功能可以进行配置，而且可供物理系统上的所有虚拟机使用，从而降低成本并降低实现高可用性的复杂程度。 vSphere 中内置的关键容错功能： ? 共享存储器。通过在共享存储器（如光纤通道、iSCSI SAN 或 NAS）上存储虚拟机文件来消除单一故障点。可以使用 SAN 镜像和复制功能将虚拟磁盘的更新副本保留在灾难恢复站点。 ? 网络接口绑定。允许单个网卡发生故障。 ? 存储多路径。允许存储路径发生故障。除了这些功能外，VMware HA 和容错功能分别通过提供中断快速恢复和连续可用性来最小化或消除非计划停机时间。
第- 18 -页

VMware HA 提供快速中断恢复 VMware HA 利用配置为群集的多台ESX/ESXi 主机，为虚拟机中运行的应用程序提供快速中断恢复和具有成本效益的高可用性。 VMware HA 通过以下两种方式保护应用程序可用性： ? 通过在群集内的其他主机上自动重新启动虚拟机，防止服务器故障。 ? 通过持续监控虚拟机并在检测到故障时对其进行重新设置，防止应用程序故障。与其他群集解决方案不同，VMware HA 提供基础架构并使用该基础架构保护所有工作负载： ? 不需要在应用程序或虚拟机内安装任何特殊软件。所有工作负载均受 VMware HA 保护。配置 VMware HA之后，不需要执行操作即可保护新虚拟机。它们会自动受到保护。与传统的故障切换解决方案相比，VMware HA 具有多个优势 ? 最小化设置 VMware HA 群集之后，群集内的所有虚拟机无需额外配置即可获得故障切换支持。 ? 减少了硬件成本和设置虚拟机可充当应用程序的移动容器，可在主机之间移动。管理员会避免在多台计算机上进行重复配置。使用 VMware HA 时，必须拥有足够的资源来对要通过VMware HA 保护的主机数进行故障切换。但是，vCenter Server 系统会自动管理资源并配置群集。 ? 提高了应用程序的可用性虚拟机内运行的任何应用程序的可用性变得更高。虚拟机可以从硬件故障中恢复，提高了在引导周期内启动的所有应用程序的可用性，而且没有额外的计算需求，即使该应用程序本身不是群集应用程序也一样。通过监控和响应 VMwareTools 检测信号并重置未响应的虚拟机，
第- 19 -页

还可防止客户机操作系统崩溃。 VMware 容错提供连续可用性 VMware 容错可提供更高级别的可用性，允许用户对任何虚拟机进行保护以防止主机发生数据、事务或连接丢失等故障。容错使用ESX/ESXi 主机平台上的VMware vLockstep 技术以提供连续可用性。通过确保主虚拟机和辅助虚拟机的状态在虚拟机的指令执行的任何时间点均相同来完成此过程。 vLockstep 通过使主虚拟机和辅助虚拟机执行相同顺序的x86 指令来完成此过程。主虚拟机捕获所有输入和事件-- 从处理器到虚拟I/O 设备-- 并在辅助虚拟机上进行重放。辅助虚拟机执行与主虚拟机同一系列的指令，而仅可看到单个虚拟机映像（主虚拟机）在执行工作负载。如果运行主虚拟机的主机或运行辅助虚拟机的主机发生故障，则会发生透明故障切换，仍在无缝工作的主机将借此变为主虚拟机的主机。使用透明故障切换，不会有数据损失，并且可以维护网络连接。在发生透明故障切换之后，将自动重新生成新的辅助虚拟机，并将重新建立冗余。整个过程是透明且全自动的，并且即使vCenterServer 不可用，也会发生。
第- 20 -页