存储资源池系统及软件规划配置方案-云计算-数据中心

存储资源池系统及软件规划配置方案

1存储资源池配置规划思路

1.1存储资源设计原则

正确的存储设计对组织实现其业务目标有着积极的影响，可以为性能良好的虚拟数据中心奠定基础。它可以保护数据免受恶意或者意外破坏的影响，同时防止未经授权的用户访问数据。存储设计必须经过合理优化，以满足应用、服务、管理员和用户的多样性需求。根据工程经验和技术发展趋势，在规划存储资源时，将遵循如下指导原则与最佳实践：

（1）构建模块化存储解决方案，该方案可以随时间推移不断扩展，以满足组织的需求，用户无需替换现有的存储基础架构。在模块化存储解决方案中，应同时考虑容量和性能。

（2）每个存储层具有不同的性能、容量和可用性特征，只要不是每个应用都需要昂贵、高性能、高度可用的存储，设计不同的存储层将十分经济高效。

（3）配置存储多路径功能，配置主机、交换机和存储阵列级别的冗余以便提高可用性、可扩展性和性能。

（4）允许集群中的所有主机访问相同的数据存储。

（5）对于光纤通道、iSCSI存储，可对存储进行相应设计，以降低延迟并提高可用性。对于每秒要处理大量事务的工作负载来说，将工作负载分配到不同位置尤其重要（如数据采集或事务

日志记录系统）。通过减少存储路径中跃点数量降低延迟。

（6）单个数据存储的容量取决于将访问数据存储的每个虚拟机所需的空间，乘以在延迟可接受的情况下可以访问数据存储的虚拟机数量。考虑配置存储DRS，使数据存储使用量保持在80%的均衡水平。保留10%到20%的额外容量，用于容纳快照、交换文件和日志文件。

（7）根据可用性要求选择一个RAID级别，对大多数虚拟机工作负载而言，如果阵列具有足够的电池供电缓存，RAID级别对性能不会产生影响。

3.2存储资源配置方案

（1）存储架构选择

目前存储架构主要分为分布式存储与集中式存储两大类。

分布式存储：基于X86服务器本地硬盘以集群方式对外提供存储服务，能够通过扩展集群服务器规模从而提高系统存储容量、计算和性能的能力，如常规的Ceph、GFS、HDFS或软件定义技术的SDS存储。

集中式存储：用一台或几台大型存储设备集中存储数据供上层服务器使用，如传统的磁盘阵列。

相比而言，分布式存储具有高扩展性、设备成本低、占用机房空间和FC端口少的优点，但数据存储分散，维护复杂，适合大容量、非核心业务及WEB类数据存储；集中式存储具有高可靠和稳定性，技术成熟，维护管理难度小但扩展性相对较差，需要额外

配置光纤交换机，适合核心业务及数据库类存储。

鉴于本项目数据存储容量不高同时考虑后期维护的复杂度以及运维人员的技术熟练程度，建议数据中心区的业务系统主存储（包括应用类数据、数据库、虚机文件等）采用集中式存储；DMZ区的WEB类应用采用本地存储。

（2）存储容量

1）估算模型

计算过程：容量需求=当前总容量需求/Raid效率/存储利用率。

①Raid效率：磁盘阵列在经过做RAID、增加热备盘后有很

大损耗，一般考虑损耗率25%。

②存储利用率：通常存储容量不会100%满额使用，达到一定利用率时需要考虑扩容，根据工程经验，建议存储利用率上限取值80%。

2）云中心实际需求

云数据中心需要存储的数据主要包括业务数据和虚拟机文件两大部分，根据前述需求分析，具体计算如下：

①业务类数据

根据前述估算，业务类数据总存储容量需求为680TB，考虑Raid5效率75%，存储利用率90%，实际需要配置的存储裸容量为642.3/75%/90%=1007.5TB。

②虚拟机文件

虚拟机在服务器中实际以文件的形式存在，即创建虚拟机时，虚拟化软件会专门为该虚拟机创建一组文件，保存虚拟机相关信息。每虚拟机分配40G存储容量考虑，存储利用率90%，实际需要配置的存储裸容量为:950*40/1024/90%=41.3TB。

综上，私有云平台既有节点实际需配置的存储有效容量680+950*40/1024=717.1TB，裸容量为1007.5+41.9=1048.6TB，同时考虑避免单点故障，配置两套磁盘阵列。

3）备份需求

既有节点实现约25%业务的数据按需数据备份的能力，发生关键数据丢失时，可以通过备份恢复数据。按照保留3份测算，结合平均重删率70%以及空间利用率85%，备份容量需求为1048.6*0.25*3*（1-70%）/85%=278TB。

4）容灾节点存储需求

容灾节点可以实现对主节点约30%的核心业务容灾。

容灾实际需配置的存储有效容量717.1*30%=215.2TB，裸容量为1048.6*30%=314.6TB，同时考虑避免单点故障，配置两套磁盘阵列。

存储作为基础架构核心部分，主要负责统一管理数据的存放，保证所有数据的高可靠性、统一可用性、冗余性等。

存储设计指导原则如下：

（1）按照数据重要性级别进行分类，区分块级、应用级的需求。

（2）按需区分性能和容量，将投资回报率有效提高。

（3）存储系统包含多协议融合、分布式技术，可以按需提高性能。

虚拟化资源区

目前存储系统现状及未来发展趋势，充分考虑性能、容量、安全性、多协议融合、非结构化数据等方面，省厅大数据系统需要提供统一的存储资源池，主要包含结构化数据和非结构化数据两个部分。结构化数据部分：面向虚拟化资源区和物理整合资源区，核心部件冗余，同时通过SAN交换的模式实现FC、iSCSI等多种主机接口支持。采用以数据和存储为中心的SAN解决方案，集中解决系统体系结构中，对存储I/O性能和数据库应用共享的挑战。非结构化数据部分：提供iSCSI或NAS方式接入，按照应用数据的级别，可适当降低配置，主要倾向大容量及快速读写。

存储虚拟化系统图如下：

物理整合资源区

考虑到物理整合资源区的数据以结构化的数据库表为主，采用以数据和存储为中心的SAN解决方案，集中解决系统体系结构中对存储I/0性能和数据库应用共享的挑战。根据业务的实际数据存储需求，配置SAS盘应对数据的快速读写和存储要求，实际的磁盘容量配置，可根据整个信息系统的实际需要进行规划配置。

本项目存储资源池配置两套高端存储做数据容灾，每套提供111TB裸容量、128GB缓存、32个8GbFC前端接口。设备需要采用全冗余架构、全模块化设计，无单点故障，保障业务系统持续运行；可扩展为群集体系架构，实现多路径故障无缝自动切换、路径IO负载均衡的组网模式，并且随着节点的增加，系统性能

线性增加；需要提供丰富的扩展接口充分保证了硬件的灵活性、可靠性和扩展性；并且配置重复数据删除功能，存储资源的分配不再受存储物理空间大小的限制，实现100%的随需分配，当物理存储资源不足时，可在线实时扩容；降低初期IT投入成本的同时，大幅度提高了资源使用效率。

通过对底层服务器、存储资源虚拟化聚合部署，利用海量数据存储系统，配合项目集成管理平台，实现项目集成基础架构即服务，为项目集成提供集成服务和良好的基础平台，具有很高的自适应性和扩展性。项目集成逻辑架构如下：

2资源池内现有虚拟机数据备份策略规划、数据备份思路利用虚拟化技术将服务器、存储、网络构建为虚拟资源池，实现在单一物理服务器上运行多个虚拟服务器(虚拟机)，把应用程序对底层的系统和硬件的依赖抽象出来，从而解除应用与操作

系统和硬件的耦合关系，使得物理设备的差异性、兼容性对上层应用透明，使不同的虚拟机之间相互隔离、互不影响，从而实现同时运行不同的操作系统，并提供不同的应用服务。

利用分布式技术构建大数据处理集群，将大量服务器计算存储节点整合成统一的计算存储集群，为海量业务信息、音视频信息、图像信息等大数据的处理提供超强的计算能力和超大的存储空间，突破传统模式带来的发展瓶颈。

架构总体示意图如下：

存储虚拟化图如下：

首先由后端存储设备提供裸LUN，并且将LUN统一映射到存储虚拟化设备上，由存储虚拟化设备进行统一的规划管理。在存储虚拟化进行规划以后，再将LUN提供给前端服务器使用。通过这样的方式，对于前端服务器来说，可以做到后端存储设备的透明化，前端服务器无需关注具体存储设备，只需关注容量、性能的需求。

数据读写过程

在数据写入时，由存储虚拟化设备，对主存储和镜像存储做数据双写入，即同一份数据分别对两个存储进行写操作，确保两端数据的一致性；在读数据时，按照设置，只从主存储读取数据，此时，镜像存储处于备机状态。如下图：

故障时读写切换

当主存储出现故障时，存储虚拟化设备会识别主存储故障，停止主存储的写工作，此时数据会单向的写入到备份存储中；同时虚拟化设备自动将数据读的来源转换到镜像存储。整个故障的切换过程，前端业务系统并不感知，保证存储业务的连续性。

故障恢复

当存储设备故障解决后，需要进行数据和业务的恢复。数据恢复时，需要通过存储虚拟化设备，使用镜像存储的数据对主存储进行重写，使得主备两个存储的数据重新一致，同时将读数据的源重新指定到主存储中。如下图：

（1）分布式存储架构

aSAN存储层采用自主开发的分布式存储系统，利用虚拟化技术“池化”集群存储卷内通用X86服务器中的本地硬盘，实现服务器存储资源的统一整合、管理及调度，最终向上层提供NFS/iSCSI存储接口，供虚拟机根据自身的存储需求自由分配使用资源池中的存储空间。

（2）数据多副本保护

当硬件层面发生故障时（硬盘损坏，存储交换机/存储网卡故障等），导致该故障主机上的数据丢失或者不能被访问，影响业务运行；平台提供数据多副本保护机制，确保业务数据在存储池中存有多份，并且互斥地分布在不同的物理主机的不同磁盘上；因此，此时用户数据在其他主机上依然有完好的副本，可以保证数据不会发生丢失，业务可以正常运行。

（3）数据仲裁保护

当因网络等原因导致多副本写入数据不一致，并且多个副本均认为自己是有效数据，此时业务并不清楚哪个副本数据是正确的时候，就发生了数据脑裂，影响业务的正常运行。平台提供多副本仲裁保护机制，每个业务存在多个数据副本+仲裁副本；通过仲裁副本来判断哪份数据副本是正确的，并告知业务使用正确的数据副本，保证业务的安全稳定运行。仲裁副本是一种特殊的副本，它只有少量的校验数据，占用的实际存储空间很小；仲裁副本同样要求与数据副本必须满足主机互斥的原则，因此至少三台主机组成的存储卷才具有仲裁副本。仲裁机制的工作核心原理是“少数服从多数”，即：当虚拟机运行所在的主机上可访问到

的数据副本数小于总副本数（数据副本+仲裁副本）的一半时，则禁止虚拟机在该主机上运行。反之，虚拟机可以在该主机上运行。

（4）数据热备盘保护

当集群内出现某块HDD硬盘损坏导致IO读写失败，进而影响业务时，平台提供数据热备盘保护，系统热备盘可以立即自动取代损坏的HDD硬盘开始工作，无需用户手动干预；在主机集群较大、硬盘数量较多的场景下，硬盘故障的情况会时有发生，不用担心硬盘损坏而没有及时更换，从而造成数据丢失。

（5）数据快速重建

当多副本数据写入不一致，或者主机/硬盘故障进行硬件替换后，为了保证底层副本数据的一致性，提供供数据快速重建机制，定期会检查硬盘的工作情况和副本的健康状况，以健康数据为源进行副本重建，保障集群数据安全状态。

当进行数据盘和缓存盘拔盘操作时，将导致物理层面的数据盘和缓存盘离线；当数据盘上业务IO连续故障时认为数据盘故障，或缓存盘上业务IO出现一次故障时认为缓存盘故障时，将触发数据重建流程。

数据重建过程采用如下技术方案，以加快重建的速度：

1)全局参与，多并发重建：数据重建的I/0是多并发式的，即从多个源端硬盘读取，往多个目的端硬盘写入的，实现了数据的快速重建；

2)智能重建：数据在重建过程中会占用一部分的存储网络带宽和硬盘性能，那么重建程序可以感知到上层业务的I/0的情况并以此智能地调整重建所占用的I/0，在保障业务正常运行的前提下快速重建数据；

3)分级重建：数据重建优先级依赖虚拟机优先级，在存储卷可用于重建数据的空间资源紧缺时，通过分级重建可以优先保障用户重要的数据。