数据中心网络存储容灾技术白皮书

数据中心网络存储容灾技术白皮书

Huawei-3Com Technology Co., Ltd.

华为3Com技术有限公司

https://www.360docs.net/doc/7f119636.html,

All rights reserved

版权所有侵权必究

网络存储容灾技术白皮书

声明

Copyright ? 2006 杭州华为三康技术有限公司及其许可者版权所有，保留一

切权利。

非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本书内容的部分或

全部，并不得以任何形式传播。

H3C、Aolynk、、IRF、H3Care、、Neocean、、TOP G、SecEngine、SecPath、COMWARE、VVG、V2G、V n G、PSPT、NetPilot、XGbus均为杭州华为三康技术有限公司的商标。对于本手册中出现的其它公

司的商标、产品标识及商品名称，由各自权利人拥有。

网络存储容灾技术白皮书修订记录

网络存储容灾技术白皮书

目录

第1章企业的发展趋势以及面临的挑战 (8)

1.1 整合存储构建全新的存储网络 (8)

1.2 企业面临的挑战 (9)

1.2.1 数据安全 (9)

1.2.2 业务连续 (9)

1.2.3 投资回报 (9)

第2章容灾概述 (11)

2.1 概述 (11)

2.2 容灾的实质 (11)

2.2.1 灾难 (11)

2.2.2 容灾的实质 (12)

2.3 容灾和备份 (13)

2.3.1 备份是容灾的基础 (13)

2.3.2 容灾不是简单备份 (14)

2.3.3 容灾不仅是技术 (14)

2.4 容灾的术语 (15)

2.4.1 生产中心和灾备中心 (15)

2.4.2 源数据和目标数据 (15)

2.4.3 冷容灾和热容灾 (15)

2.5 容灾的实现方式 (15)

2.5.1 概述 (15)

2.5.2 数据库级容灾 (18)

2.5.3 卷管理级容灾 (19)

2.5.4 网络级容灾 (21)

2.5.5 存储设备级容灾 (23)

2.5.6 容灾方式比较 (24)

第3章 H3C容灾技术介绍 (25)

3.1 概述 (25)

3.1.1 丰富灵活的容灾技术 (25)

3.1.2 FC网络/IP网络容灾 (26)

3.2 镜像详解 (27)

3.2.1 IX5000卷镜像技术 (27)

3.2.2 IV5000镜像技术 (27)

3.3 快照详解 (29)

网络存储容灾技术白皮书

3.3.1 COFW介绍 (30)

3.3.2 TimeMarK技术细节 (31)

3.3.3 TimeMark扩展 (32)

3.3.4 快照代理 (32)

3.4 复制详解 (32)

3.4.1 远程复制 (33)

3.4.2 自适应复制 (36)

3.4.3 本地复制 (37)

3.4.4 数据一致性和完整性保证 (37)

3.5 DiskSafe详解 (38)

3.5.1 DiskSafe介绍 (38)

3.5.2 DiskSafe扩展 (39)

3.5.3 DiskSafe恢复数据 (39)

3.5.4 DiskSafe限制 (40)

第4章容灾流程 (41)

4.1 概述 (41)

4.2 项目启动 (41)

4.3 需求分析 (42)

4.3.1 风险分析 (42)

4.3.2 业务影响分析 (42)

4.3.3 成本分析 (43)

4.3.4 容灾指标 (43)

4.4 设计容灾方案 (46)

4.4.1 确定容灾的级别 (46)

4.4.2 好的容灾方案 (47)

4.4.3 容灾方案设计考虑因素 (47)

4.4.4 H3C容灾技术分析 (48)

4.4.5 H3C容灾技术比较 (51)

4.4.6 制定容灾方案 (52)

4.5 容灾方案实施 (53)

4.6 开发灾难恢复预案 (53)

4.7 运行维护 (54)

第5章 H3C容灾方案 (55)

5.1 主机到SAN的容灾方案 (56)

5.1.1 方案说明 (56)

5.1.2 方案特点 (56)

5.2 SAN到SAN镜像技术容灾方案 (58)

网络存储容灾技术白皮书

5.2.1 方案说明 (58)

5.2.2 方案特点 (58)

5.3 SAN到SAN复制技术容灾方案 (59)

5.3.1 方案介绍 (59)

5.3.2 方案说明 (61)

5.3.3 方案特点 (62)

5.4 SAN到SAN带外虚拟化容灾方案 (63)

5.4.1 方案说明 (63)

5.4.2 方案特点 (64)

5.5 IX5000镜像技术容灾方案 (65)

5.5.1 方案说明 (65)

5.5.2 方案特点 (65)

第6章结束语 (67)

第7章附录 (68)

网络存储容灾技术白皮书

插图目录

图2-1 SAN存储结构 (16)

图2-2 SNIA共享存储模型 (17)

图2-3 容灾的实现方式 (18)

图2-4 应用服务器实现同步远程复制 (20)

图2-5 虚拟化存储产品实现远程复制 (21)

图2-6 存储设备实现同步远程复制 (23)

图3-1 同步镜像 (28)

图3-2 异步镜像 (29)

图3-3 COFW技术 (30)

图3-4 TimeMark技术 (31)

图3-5 远程复制 (33)

图3-6 初始同步 (34)

图3-7 自适应复制 (37)

图3-8 DiskSafe数据保护 (38)

图4-1 容灾工程 (41)

图4-2 RTO介绍 (44)

图4-3 RPO介绍 (45)

图4-4 容灾半径 (45)

图4-5 容灾方案因素 (49)

图5-1 主机到SAN的容灾方案 (56)

图5-2 SAN到SAN镜像技术容灾方案 (58)

图5-3 SAN到SAN复制技术容灾方案（单工模式） (59)

图5-4 SAN到SAN复制技术容灾方案（双工模式） (60)

图5-5 SAN到SAN复制技术容灾方案（集中模式） (60)

图5-6 SAN到SAN带外虚拟化容灾方案 (63)

图5-7 IX5000镜像技术容灾方案 (65)

网络存储容灾技术白皮书

表格目录

表2-1 容灾方式比较 (24)

表4-1 H3C容灾技术比较 (52)

网络存储容灾技术白皮书数据中心网络存储容灾技术白皮书

关键词：容灾

摘要：本文档在全面分析企业数据容灾现状的基础上，阐述了华为3com公司的容灾技术以及容灾方案。

缩略语清单：

容灾技术白皮书第1章企业的发展趋势以及面临的挑战

随着信息化进程的不断深入，企业的业务流程的运转越来越高度依赖于数据，使得

数据成为了支撑企业运作的重要基石。这些数据既包括分散存储在员工工作站中的

数据，也包括集中存储在磁盘阵列中的数据。

同时，IT数据大集中的趋势越来越明显，而且业务的运行对数据的依赖程度也在

不断增强。

1.1 整合存储构建全新的存储网络

最初采用分布式存储的最大原因就是可以以部门为单位分开，方便管理，同时节约

初始投资成本。但恰恰因为其分布性，导致了不同的系统平台，以及数据格式的不

完全统一。

因此数据之间的迁移／转换更加复杂，需要额外的硬件和软件来支持，而且存储管

理员不得不不断地学习各种技术来熟悉管理用户接口。最为关键的是公司没有一整

套即时可用数据，因此公司的决策层很难做出实时的决策，对企业的发展和竞争极

为不利。

最近几年对磁盘存储整合的研究表明：

●一个存储管理员能管理大约100GB的非集中化存储设备

●物理上合并的存储设备能成倍提高存储管理的效率

●集中存储设备能提高存储管理效率—一个存储管理员能管理大约750GB的

集中存储设备

集中化的存储管理的优势不仅如此，更重要的其提供了一种非常有效的、经济的存

储管理解决方案。对于磁盘阵列来说，只有一套管理系统，可以极为方便地进行磁

盘监控和性能调试，而且增加或者重新配置磁盘也变得非常简单。最大化的合成集

中设备，使得存储系统的宕机风险降到了最低，同时一套完善的备份方案就可以有

效地进行数据备份及恢复。

可见，无论是从存储管理到企业成本，从空间利用率到存储服务支持，集中化存储

体现了分布式存储所不能提供的优势。

容灾技术白皮书1.2 企业面临的挑战

数据的集中存储大大降低了企业的存储管理成本、提高了存储空间利用率以及企业

的投资回报率。然而随着企业的发展，数据越来越多，也越来越重要，企业的存储

管理也面临着新的挑战。

1.2.1 数据安全

对于企业赖以运行的数据来说，灾难涵盖了所有可能导致数据遭到破坏的计划外事

件都属于灾难的范畴，其中包括自然灾害（地震、台风、火灾、水灾等），企业运

行所依赖的服务的中断（电力中断、租用网络中断等），IT系统故障（IT设备硬

件、软件故障），人员错误操作，恶意攻击（黑客、病毒），以及恐怖袭击等。

大部分企业用户早已充分认识到了数据的重要性，并都采取了必要的保护措施，这

些措施在一定程度上提高了数据的安全性和可用性，但它们都还存在比较大的缺

陷。常见的数据保护方式有磁带备份和本地RAID保护两种。对于磁带备份，受备

份间隔的影响，一般会有较大的数据丢失量，而且数据恢复时间相对较长。对于本

地RAID保护，它无法抵御火灾、停电、关键设备故障这类发生概率相对较高的灾

难。

1.2.2 业务连续

随着数据的可用性成为区别企业能力的重要指标，企业正在将越来越多的资源用于

确保业务的连续运营。而数据的丢失必然会导致企业正常的业务运作中断，带来巨

大的经济损失、声誉损失、以及客户忠诚度下降等各种损失。

而事实上，这样的事故是屡有发生，其后果也是非常惨痛的。IDC统计数字表明，

美国在2000年以前的10年间发生过灾难的公司中，有55%当时倒闭。剩下的45%

中，因为数据丢失，有29%也在两年之内倒闭，生存下来的仅占16%。如何保证

大集中数据在各种灾难面前的安全性，以支撑业务的连续性运行就成为了一个现实

的问题。

1.2.3 投资回报

建立异地容灾系统，现如今已经成为了企业的最佳选择，它可以在数据面临有各种

灾难时仍然保证其安全性和可用性，以支撑企业的关键业务运作。是否具有容灾系

统，也正成为企业竞争力的一个体现。

虽然从理论上来说，在各种灾难发生时都可以对数据进行适当的保护，但从成本的

角度出发，必须要做出一些舍弃，接受一定程度上的损失。所以，选择容灾方案需

要综合考虑灾难发生概率、可用的技术、投入产出比等多方面因素。容灾的最高目

容灾技术白皮书

标是实现业务的连续运行，但对容灾进行适当的分级有利于用户按需选用、分期投资、逐步演进。

容灾技术白皮书

第2章容灾概述

2.1 概述

首先来看一组案例：

1993年，世贸中心大楼发生爆炸。爆炸前，约有350家企业在该楼中工作，一年

后，回到世贸大楼的公司变成了150家，有200家企业由于无法恢复重要的信息

系统而倒闭、消失。

1995年1月，日本神户地区大地震，摧毁了1700余部电脑系统，造成1千多亿

美元的损失。

1999年6月，美国一家著名的商业交易网站的主机宕机，由于24小时内未能恢复

访问，两个星期后，该公司的股票市值下跌了36%。

……

据IDC的统计数字表明，美国在2000年以前的10年间发生过灾难的公司中，有

55%当时倒闭，剩下的45%中，因为数据丢失，有29%也在两年之内倒闭，生存

下来的仅占16%。Gartner Group的数据也表明，在经历大型灾难而导致系统停运

的公司中有2/5再也没有恢复运营，剩下的公司中也有1/3在两年内破产。

或许以上案例颇有危言耸听之嫌，毕竟山崩地裂大火熊熊的场面不常出现。但造成

损失的不止是这些恐怖性的灾害，失手按错键、错点鼠标、或者失手打翻一杯水泼

到笔记本电脑上，都可能给带来巨大的麻烦。因此，对容灾来说，“亡羊补牢，犹

未晚也”的观点显然已经过时，“防患于未然”才能做到未雨绸缪。

2.2 容灾的实质

2.2.1 灾难

国务院信息化工作办公室发布的《重要信息系统灾难恢复指南》中，这样定义了容

灾——“由于人为或自然的原因，造成信息系统运行严重故障或瘫痪，使信息系统

支持的业务功能停顿或服务水平不可接受、达到特性的时间的突发性事件，通产导

致信息系统需要切换到备用场地运行”。

因此，任何必须恢复的数据访问中断都是灾难。进一步分析各种可能导致灾难的发

生的原因，灾难可以分为以下几种：

容灾技术白皮书

●自然灾难：包括火灾、台风、水灾、地震等突发自然灾害造成的业务系统的

灾难，而不同地区的自然灾害的发生有一定的统计概率，而且自然灾害的影

响范围是有一定区域的。

●社会灾难：包括企业运行所依赖的服务的中断（电力中断、租用网络中断等）、

恐怖分子制造的爆炸、战争引起定点破坏等灾难，国内外社会不安定因素的

存在，必须引起足够的忧患意识。美国“911”事件就是一个很好的例子，一

些没有采取任何容灾措施的企业由于核心业务数据的破坏而最终破产，而一

些采用了容灾措施的企业得以生存，有的建立了备用业务系统的企业的业务

能够很快恢复。

●IT系统灾难：包括IT设备硬件、软件故障等。

●人为灾难：包括IT系统管理人员的误操作、来自网络的恶意攻击、计算机病

毒发作造成的数据灾难。近几年，人为灾难更为突出，特别是计算机病毒造

成的数据损失触目惊心。采用后发制人策略的防计算机病毒系统难以保证数

据的安全，有必要建立数据的备份机制。

2.2.2 容灾的实质

显然，影响信息系统安全的因素是多方面的，需要采用不同的技术手段来解决。所

谓容灾，就是为了防范由于自然灾害、社会动乱、IT系统故障和人为破坏造成的

企事业单位信息系统数据损失的一项系统工程。

通常，把正常情况下支持日常业务运作的信息系统称为生产系统，而其地理位置则

称为生产中心。当生产中心因灾难性事件(如火灾、地震等)遭到破坏时，为了迅速

恢复生产系统的数据、环境，以及应用系统的运行，保证系统的可用性，这就需要

异地容灾系统（其地理位置称为灾备中心）。

建立异地灾备中心的优势在于：

●强大的一级灾难抗御能力。

●有效防止物理设备损伤产生的灾难后果。

●提供99.9999%的安全机制。

●实时数据复制提供强大的数据交换能力。

显然，建立灾备中心可以应对绝大部分的灾难（包括火灾、自然灾害、人为破坏等

意外事件）。除了从容面对上述突发式灾难的威胁，一个完备的容灾系统还应该能

够处理各种渐变式灾难，能够从病毒损害、黑客入侵、或者系统软件自身的错误等

导致的数据丢失的状况下，快速重建生产中心。

容灾技术白皮书

根据《重要信息系统灾难恢复指南》里的定义，灾难恢复就是“将信息系统从灾难

造成的故障或瘫痪状态恢复到可正常运行状态，并将其支持的业务功能从灾难造成

的不正常状态恢复到可接受状态，而设计的活动和流程”。因此，容灾的实质就是

结合企业数据安全、业务连续、投资回报等需求定制适合于企业自身的容灾系统，

制定合理的灾难恢复计划，在突发式灾难或者渐变式灾难时快速恢复生产系统。2.3 容灾和备份

说到容灾，自然会想到备份。企业关键数据丢失会中断企业正常商务运行，造成巨

大经济损失，容灾和备份都是保护数据的有效手段。同时，数据容灾与数据备份相

互联系，主要体现在以下几个方面：

2.3.1 备份是容灾的基础

备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将

全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。

传统的数据备份主要是采用内置或外置的磁带机进行冷备份。但是这种方式只能防

止操作失误等人为故障，而且其恢复时间也很长。并且备份磁带在机房中统一管理，

一旦整个机房出现了灾难，如火灾、盗窃和地震等灾难时，这些备份磁带也随之销

毁，所存储的磁带备份也起不到任何容灾功能。

随着技术的不断发展，数据的海量增加，不少的企业开始采用网络备份。网络备份

一般通过专业的数据存储管理软件结合相应的硬件和存储设备来实现。

目前比较常见的备份方式有：

●定期磁带备份数据。

●远程磁带库、光盘库备份。即将数据传送到远程备份中心制作完整的备份磁

带或光盘。

●远程关键数据＋磁带备份。采用磁带备份数据，生产机实时向备份机发送关

键数据。

●远程数据库备份。就是在与主数据库所在生产机相分离的备份机上建立主数

据库的一个拷贝。

数据备份必须要考虑到数据恢复的问题，包括采用双机热备、磁盘镜像或容错、备

份磁带异地存放、关键部件冗余等多种灾难预防措施。这些措施能够在系统发生故

障后进行系统恢复。但是这些措施一般只能处理计算机单点故障，对区域性、毁灭

性灾难则束手无策，也不具备灾难恢复能力。

容灾技术白皮书2.3.2 容灾不是简单备份

真正的数据容灾就是要避免传统冷备份的先天不足，它能在灾难发生时，全面、及

时地恢复整个系统。容灾按其容灾能力的高低可分为多个层次，例如国际标准

SHARE78 定义的容灾系统有七个层次：从最简单的仅在本地进行磁带备份，到将

备份的磁带存储在异地，再到建立应用系统实时切换的异地备份系统，恢复时间也

可以从几天到小时级到分钟级、秒级或零数据丢失等。

无论是采用哪种容灾方案，数据备份还是最基础的，没有备份的数据，任何容灾方

案都没有现实意义。但光有备份是不够的，容灾也必不可少。容灾对于IT而言，

就是提供一个能防止各种灾难的计算机信息系统。从技术上看，衡量容灾系统有两

个主要指标：RPO（Recovery Point Object）和RTO（Recovery Time Object），

其中RPO代表了当灾难发生时允许丢失的数据量；而RTO则代表了系统恢复的

时间。

2.3.3 容灾不仅是技术

由于容灾所承担的是用户最关键的核心业务，其重要性勿庸置疑，因此也决定了容

灾是一个工程，而不仅仅是技术。

●在建立容灾系统之前，首先要进行全面的需求分析，其中包括业务系统风险

分析、容灾系统对业务系统的影响分析和成本分析。风险分析是检查那些可

能造成数据损失或者系统瘫痪的外在和内在因素。既然是容灾，必须充分考

虑业务系统所在地的自然环境，针对可能发生的灾难，准备相应的容灾对策。

容灾系统肯定对业务系统的性能有一定影响，因此，对于那些高负荷运行的

业务系统必须认真计算。建立容灾系统，除了需要购买必要的设备外，还要

考虑系统维护管理成本和使用通信线路的费用。

●设计容灾方案：既然建立容灾系统是为了数据或者业务的快速恢复，容灾系

统的设计指标就与业务系统的数据可恢复性密切相关。因此根据容灾的具体

指标，确认灾难恢复级别。同时，还需要考虑灾备中心的地点，并选择适合

于企业自身的容灾技术。通常情况下，容灾系统投资较大，使用概率较低，

因此，需要对总体投入成本（TCO）和投资回报率（ROI）进行认真的分析

和计算。

●容灾方案实施：容灾流程中最容易体现结果的就是实施阶段，包括采购设备、

建立灾备中、部署通信链路、设备安装和调试、容灾配置和测试等。

●容灾系统工程还必须制定详细的容灾实施计划以及灾难发生后的应急程序，

并进行具体的测试和演练。

容灾技术白皮书

●运行维护：由于容灾工程是一个系统的工程，因此也需要长期的运行和维护，

在这个过程中，还需要行定期更新、审核和维护。

2.4 容灾的术语

2.4.1 生产中心和灾备中心

通常，把正常情况下支持日常业务运作的信息系统称为生产系统，而其所处的地理

位置则称为生产中心。

当生产中心因灾难性事件遭到破坏时，为了迅速恢复生产系统的数据、环境，以及

应用系统的运行，保证系统的可用性，这就需要异地容灾系统（其地理位置称为灾

备中心）。

2.4.2 源数据和目标数据

源数据与目标数据：业务系统的数据是源数据，灾备中心的数据是目标数据。

●在双工模式下，A业务系统可以存储B业务系统的目标数据，反之亦然。

●在集中模式下，灾备中心可以为多个生产中心存储目标数据。

2.4.3 冷容灾和热容灾

通过冷容灾方式来实现容灾，灾备中心的目标数据只能在数据恢复时使用，即在正

常情况下不能被使用。而通过热容灾方式来实现容灾，灾备中心的目标数据在一定

条件下可以离线使用。

2.5 容灾的实现方式

2.5.1 概述

通常，应用服务器通过SAN访问存储资源的拓扑结构图如图2-1所示。

容灾技术白皮书

图2-1SAN存储结构

SNIA（Storage Networking Industry Association，存储网络工业协会）针对SAN 共享存储模型进行了进一步的细化，把SAN存储分为：

●应用层

●文件/记录层

●块管理

●物理存储设备

如图2-2所示。

容灾技术白皮书

图2-2SNIA共享存储模型

因此，可以从文件/记录层、块管理层来实现容灾，如图2-3所示。根据容灾的发起端来进行划分，容灾可分为：

●数据库级容灾

●卷管理级容灾

●网络级容灾

●存储设备级容灾

容灾技术白皮书

图2-3容灾的实现方式

2.5.2 数据库级容灾

以Oracle数据库为例，数据库级容灾方式的主要由第三方的软件或者Oracle自带

的Data Guard 中的Logical Standby来实现，其传输的是SQL指令或者重做日志

文件。下面以第一种方式进行详细说明。

这类第三方软件的原理基本相同，其工作过程可以分为以下几个流程：

●第1步：使用Oracle以外的独立进程，捕捉重做日志文件（Redo Log File）

的信息，将其翻译成SQL语句

●第2步：把SQL语句通过网络传输到灾备中心的数据库，在灾备中心的数据

库执行同样的SQL。

显然，数据库级容灾方式具有如下技术特点和优势：

●在容灾过程中，业务中心和备份中心的数据库都处于打开状态，所以，数据

库容灾技术属于热容灾方式；

●可以保证两端数据库的事务一致性；

●仅仅传输SQL语句或事务，可以完全支持异构环境的复制，对业务系统服务

器的硬件和操作系统种类、以及存储系统等都没有要求；