CloudFabric云数据中心网解决方案-Multi-PoD设计指南

CloudFabric云数据中心网解决方案设计指南（Multi-PoD）

目录

1 多数据中心业务诉求和场景 (1)

1.1 多数据中心业务场景分析 (1)

1.1.1 集群跨DC部署 (1)

1.1.2 虚机跨DC迁移 (2)

1.1.3 网络级主备容灾 (3)

1.2 华为Multi-PoD方案整体架构 (4)

1.2.1 方案整体架构 (4)

1.2.2 部署场景 (7)

1.2.3 方案特点 (9)

1.2.4 与Multi-Site方案的对比和选择 (10)

2 Multi-PoD方案设计 (14)

2.1 Multi-PoD方案部署设计 (14)

2.2 PoD内组网设计 (16)

2.2.1 物理网络架构 (16)

2.2.2 物理网络设计基本原则 (18)

2.2.3 路由协议设计 (19)

2.2.4 故障场景分析 (21)

2.3 Multi-PoD对于IP Network的要求 (22)

2.4 Multi-PoD –管理面方案 (25)

2.5 云平台与VMM对接 (27)

2.6 Multi-PoD - Underlay网络方案 (29)

2.7 Multi-PoD –Overlay网络方案 (30)

2.7.1 Multi-PoD –Overlay控制面方案 (30)

2.7.2 Multi-PoD –Overlay数据面方案 (32)

2.7.3 网络级容灾-主备出口设计 (32)

1 多数据中心业务诉求和场景

1.1 多数据中心业务场景分析

1.2 华为Multi-PoD方案整体架构

1.1 多数据中心业务场景分析

随着业务的发展，越来越多的应用部署在数据中心，单个数据中心的规模有限，不可

能无限扩容，业务规模的不断增长使得单个数据中心的资源很难满足业务增长的需

求，需要多个数据中心来部署业务；同时，数据安全、业务的可靠性和连续性也越来

越被重视，备份和容灾逐渐成为了普遍需求，需要通过建设多个数据中心来解决容灾

备份问题。

1.1.1 集群跨DC部署

对于DB层服务器，以及少量App层服务器，往往采用物理IP直接提供业务，这种模

式仅用于数据类应用（CS模式）。通常以集群方式部署，为了提高业务连续性，集群

也可以跨DC部署，此时，集群服务器分布在不同数据中心，对外提供统一访问接

口，业务IP由VIP取代，服务器集群中间通过DC间互联网络实现协商和状态同步。

由于集群心跳及集群公网通常需要接入同一个二层域，需要跨DC的大二层网络，因

此可采用裸光纤、波分传输、VPLS、EVPN-VXLAN等技术进行二层互联，如图1-1

所示。

图1-1集群跨DC部署示意图

服务器集群方案对数据中心网络要求：

●低时延：RTT时延要求，对部署距离有限制

●二层互联：要求二层互联、对互连时延有限制

●网络高可靠：互联网络高可靠，避免脑裂发生

1.1.2 虚机跨DC迁移

对于虚拟机承载的数据类应用系统，业务是由虚拟机直接提供访问的，因此虚拟机的

IP地址就是业务的访问IP地址。

当服务器虚拟化后，其最大的特征是动态性与资源复用特性。由于应用直接由虚拟机

提供服务，因此无法借助于SLB进行资源调配，只能将虚拟机迁移到更空闲的物理机

上运行。应用管理员可以根据应用的资源需求（如CPU性能需求、内存需求），灵活

调度、调整虚拟机运行位置、上下线状态。

当虚拟机资源池扩展到两个中心后，则可以更加灵活的充分利用备中心的物理服务器

资源，实现跨中心的虚拟资源灵活调度，大幅提升资源利用率。

特别是故障场景，利用虚拟机高可用机制，当主用数据中心A虚拟机发生故障时，虚

拟机可以动态热迁移到主用数据中心B，业务不中断，如图1-2所示。

图1-2VM迁移前后流量示意图

虚拟机跨数据中心热迁移对网络的要求：

●二层互联：IP/MAC地址配置，TCP会话状态等不发生改变

●低时延：虚拟机状态同步，要求低时延

●大带宽：虚拟机迁移要求较高的带宽，保证状态数据和存储数据快速迁移

1.1.3 网络级主备容灾

当前有很多应用是通过集群软件提供服务的，集群软件将网络上的多台服务器关联在

一起，对外表现为一台逻辑服务器，提供一致的服务。通过集群，利用多台服务器负

载分担提升集群整体业务处理能力，并且多台服务器间互为备份，提升系统的可靠

性。如果将集群中的服务器部署于不同数据中心，当某个数据中心发生故障时，集群

内其他数据中心的服务器仍可提供服务，可实现跨数据中心的应用系统容灾。

多数厂商的集群软件需要各服务器间采用二层网络互连，因此，服务器集群跨数据中

心部署需要网络提供跨DC的大二层能力。同时，集群对外提供服务的地址是一个虚

IP，该地址将通过数据中心前端网络向外发布，因此，集群跨数据中心部署需要网络

给集群的虚IP提供跨DC的网关，跨DC的网关可以是主备或者双活。

●主备网关是对外发布主备路由，正常情况下南北向流量根据主路由走主数据中心

的主网关。当主用数据中心故障，切换到备份路由，流量走备数据中心的备网

关。

●双活网关是对外发布等价路由，正常情况下南北向流量根据等价路由分担到两个

数据中心。当一个数据中心故障，流量切换到其他数据中心的网关。

对于集群的南北向流量通常需要防火墙提供安全防护，防火墙部署也可以是主备或者

双活，如图1-3所示。

图1-3网络级容灾

1.2 华为Multi-PoD方案整体架构

1.2.1 方案整体架构

华为CloudFabric解决方案的Multi-PoD方案主要聚焦于跨数据中心网络部分，通过虚

拟化和SDN技术，解决跨数据中心互通的自动化部署和跨数据中心的业务容灾多活的

问题。

华为CloudFabric Multi-PoD解决方案的整体架构如下图所示。

图1-4Multi-PoD整体架构图

华为Multi-PoD方案的整体架构主要分为：业务控制层、基础设施层和转发实现层。

●业务控制层，主要是SDN控制器，负责控制某个数据中心的网络，以及打通跨数

据中心的网络，SDN控制器还对接业务编排器和VMM（Virtual Machine Manager

虚拟机管理器），完成计算与网络联动以及跨数据中心的互通。业务编排器负责跨

数据中心的业务编排，VMM负责虚拟机的生命周期管理。

●基础设施层，主要是物理网络和逻辑网络，数据中心内的物理网络是Spine-Leaf

架构的组网，多个数据中心通过DCI骨干网连接；逻辑网络是通过网络虚拟化和

VXLAN技术、基于业务按需构建的连接虚拟机的虚拟网络。

●转发实现层，主要是通过VXLAN网络连接数据中心内的虚拟机，以及连接数据

中心间的虚拟机，BGP-EVPN作为VXLAN的控制面。

对于使用者来说，主要看到业务控制层，根据业务的需要，将业务网络划分成多个

VPC，通过编排器编排VPC，通过控制器在不同数据中心发放VPC的逻辑网络。

这个过程里，编排器主要是针对跨Fabric的网络进行编排。编排完成后，会根据编排

的结果，将任务下发给对应的控制器，由控制器将配置下发到物理设备上。

图1-5Multi-DC Fabric编排示意图

Multi-PoD主要的场景就是在同城近距离部署的数据中心中，网络层面提供网络容灾的

功能。

多个DC的计算、网络都是统一的资源池，统一由一套控制器集中管理，VPC可跨DC

部署，子网可跨DC部署，可二层互通，可三层互通。

为提高管理面的可靠性，两个DC都可以部署控制器，两套控制器集群建立主备集群

关系，由主用控制器集群管理网络，当主用控制器集群发生故障时，两套集群发生主

备切换，由原来备控制器集群升主，接管网络，在管理面上实现容灾备份。

图1-6Multi-PoD方案架构

在此场景中，每个DC的物理网络在架构上相互间独立，需要在单DC的基础上增加

DC间互联的设备和通路，多个DC是统一的端到端VXLAN域，网络和计算都是统一

的资源池。

对于出口网关，推荐部署主备出口网关，即所有南北向流量都从主出口网关进行绕行

（如上图中DC1的出口），出口主备的情况下，防火墙也是主备部署，实现业务高可

用。

1.2.2 部署场景

Multi-Pod主要有两种部署场景，一是多个PoD在同一个DC内多个PoD形成一个大

资源池，二是同城近距两个DC形成一个大资源池，满足主备容灾容灾的诉求，它们

的主要区别是部署物理位置的不同。

图1-7同一个物理资源池中的多个PoD

Multi-PoD方案可以将一个物理DC内多个PoD统一管理，这种应用场景的好处是，将

多个PoD作为一个大二层资源池，以便业务可以随意迁移，此外，将大组网结构划分

在较小的Pod中，可以以通过多个小Pod提供物理故障域的隔离。

图1-8多PoD跨DC互连

Multi-PoD方案可以将两个物理DC统一管理，构建跨DC的大二层，提供两个DC间

的主备容灾能力。

1.2.3 方案特点

Multi-PoD场景方案特性如图1-9所示。

图1-9Multi-PoD主要特性示意图

Multi-PoD场景主要有以下一些特性：

●单Domain管理面容灾：多个DC是一个资源池，在一个VXLAN域内，对于业务

来说，相当于只看到一个资源池，所以VPC可以跨DC进行部署，同时控制器主

备集群部署，提供管理面容灾功能。

●VPC跨DC：如上面所说，由于是一个资源池，VPC可以跨Fabric部署。

●VPC出口（外部网络）跨DC（主备容灾）：多DC可以有多个出口，VPC可以选

择其中一个出口作为外部网关，其余出口作为备份。主备出口通过路由优先级实

现。也可以只选择一个出口，集中出口，所有南北向流量均从这一个出口访问北

向。

●VPC内FW跨DC主备：Fabric内FW主备镜像，Fabric间部署两组FW，控制器

向两组FW双下配置，双下策略，两组FW之间的主备由主备路由确定。

1.2.4 与Multi-Site方案的对比和选择

除了Multi-PoD方案之外，CloudFabric多DC场景中还有Multi-Site方案。

●PoD强调的是一组相对独立的物理资源；Multi-PoD是指一套控制器管理的多个

PoD，是一个端到端VXLAN隧道构成的VXLAN域，PoD之间距离不会太远，

通常是同城近距。

●一个Site是指一个控制器管理的资源池，是一个或多个PoD，是一个端到端

VXLAN隧道构成的VXLAN域；Multi-Site是指多个控制器管理域之间的互通，

即多个Multi-PoD之间的互通，是多个VXLAN域，对距离不敏感，可异地部

署。

Multi-Site场景

Multi-Site子方案适用于异地多DC方案，即两个或者多个位于不同地域，或者物理距

离太远而无法被同一套控制器纳管的多个DC之间互联互通方案。

Multi-Site场景对应比较大的网络，需要一个编排器拉通多个控制器，将多个控制器管

理的网络统一纳管。所有业务由编排器进行统一编排，再下发到各控制器上由控制器

将具体配置下发给对应的物理网络。

Multi-Site场景方案如图1-10所示。

图1-10Multi-Site场景示意图

Multi-PoD场景

Multi-POD方案适用于地域上距离较近，可以被同一套控制器纳管的DC或者资源

Module。在网络规模不大的情况下，只需要一套控制器进行多个DC的管理，不需要

多DC协同编排器这个角色。这种场景我们叫做Multi-Pod场景，这种场景下，DC内

和DC间的网络配置均在控制器上进行配置。这种场景下，我们可以提供多DC之间的

容灾和主备出口等能力。

Multi-PoD场景方案如图1-11所示。

图1-11Multi-PoD场景示意图

场景对比

Multi-Site方案和Multi-PoD分别适用于不同的场景，Multi-Site方案是多个控制器管理

域，Multi-Pod方案是单个控制器管理域，两种场景具体对比参见下表。

2 Multi-PoD方案设计

2.1 Multi-PoD方案部署设计

2.2 PoD内组网设计

2.3 Multi-PoD对于IP Network的要求

2.4 Multi-PoD –管理面方案

2.5 云平台与VMM对接

2.6 Multi-PoD - Underlay网络方案

2.7 Multi-PoD –Overlay网络方案

2.1 Multi-PoD方案部署设计

基础网络设计

Multi-PoD场景方案基础网络设计如图2-1所示，每个DC具有相同的网络架构，分为

业务区、管理区和存储区，业务区Spine-Leaf架构，管理区和存储区星型组网。只有

业务区是SDN架构，存储区和管理区均为传统网络。

图2-1基础网络设计示意图

由于Multi-PoD场景下主要对基础网络的诉求就是可以将基础网络拉通为一个端到端

的VXLAN，所以两个DC的基础网络需要连起来，业务网络一般通过Spine进行互

联，存储网络和管理网络也需要互联，一般视客户习惯进行处理。网络分为三个平

面：业务平面、管理平面、存储平面：

●业务网络平面：采用Spine-Leaf组网，服务器业务口双归到ServerLeaf，FW和

LB设备旁挂ServiceLeaf。

●管理网络平面：包括业务控制与网络管理，云平台、控制器、VMM、网管等双归

到管理接入交换机，仲裁服务器部署在第三站点（仲裁DC），仲裁DC核心交换

机分别与两个DC的管理核心交换机光纤（波分）直连。

●存储网络平面：存储网络连接Server和存储，属于传统网络

Multi-PoD也支持多个PoD或者多个DC的场景，多个PoD或者多个DC通过IP

Network物理互联。选择两个有Internet出口的DC作为Main DC，其他的PoD或

者DC作为Remote PoD，一部分Remote PoD与Main DC1组成Fabric 1，另一部

分Remote PoD与Main DC2组成Fabric 2，Fabric 1与Fabric 2组成主备Fabric，

形成Multi-PoD方案，共享Main DC的主备出口。

图2-2Remote PoD在Multi-PoD方案中的设计

2.2 PoD内组网设计

Multi-PoD方案实际上在近距离的场景下，通过单套控制器拉远管理多个PoD，每个

PoD都遵循相同的组网方案和原则。

2.2.1 物理网络架构

根据华为CloudFabric解决方案对数据中心组网的先进设计理念，一个典型的数据中心

内部的物理组网架构，应遵循Spine-Leaf架构。推荐的物理组网如下图所示。

图2-3推荐的物理组网方式

其中对上图CloudFabric解决方案的物理组网中各类角色的定义参见表2-1。表2-1物理组网中各类角色的功能说明

一个典型的数据中心组网中Fabric网络结构具有以下几个特点：