A10-链路负载均衡(LLB)解决方案-YL

A10 链路负载均衡解决方案

1. 概述

由于国内各运营商之间的互联互通一直存在很大的问题，采用运营商自身单条互联网出口，在为用户提供IDC主机托管服务和大客户专线接入服务时，会遇到用户抱怨访问速度差的问题。同时，单条链路本身存在单点故障问题。因此，通过在多个数据中心分别拉不同运营商的线路或者同一数据中心或公司网络出口采用多条互联网链路并使用专门的负载均衡设备智能选择最佳链路成为提高服务水平和用户满意度的一种有效方式，我们把多数据中心负载均衡和多链路负载均衡统称为全局负载均衡或者广域网负载均衡。

2. 需求描述

对于全局和链路负载均衡，需要解决两种流量类型的负载均衡以及容灾问题：

入向流量（Inbound Traffic）：从Internet上的客户端发起，到数据中心内部的应用服务的流量。如：Internet上用户访问企业Web网站。对于入向流量，需要根据当前网络延时、就近性等因素，来判断哪一条链路可以对外部用户提供最佳的访问服务。

出向流量（Outbound Traffic）：从内部网络发起的，对Internet上应用资源的访问。如：内部局域网用户访问Internet上Web网站应用。对于出向流量，需要根据当前链路的就近行、负载情况、和应用服务的重要性等选择最佳的链路。

容灾：多数据中心除了可以提高服务质量之外，另外一个重要的目的就是容灾，当一个数据中心出现故障，将所有用户访问由灾备数据中心来处理。

3. A10 LLB负载均衡解决方案

3.1. 出向流量链路负载均衡（Outbound LLB）

相对于入向流量的链路负载均衡，出向流量的链路负载均衡则比较简单。当内部用户发起对外界的访问请求时，链路负载均衡控制器根据链路选择算法选择合适的链路，并对内部用户的IP地址进行NAT转换。出向负载均衡是对每个数据中心内部的机器来而言的，通过放置在每个数据中心出口位置的AX来实现。

Web

Client

图例 3 采用LLB的Outbound访问实例

如图例3所示，内部局域网用户访问外部Web网站时，链路负载均衡控制器的处理过程如下：

内部局域网用户在浏览器输入要访问网站的域名，根据DNS返回的域名解析结果，发起对外部服务器的访问请求。

LLB Controller收到用户的访问请求后，根据链路选择算法，选择一条最佳的链路发送访问请求。并根据该链路上设置的NAT地址，对内部用户的请求进行NAT转换。例如，LLB Controller选择ISP_A作为出向流量的处理路径，则将该客户端的内部地址192.168.1.10转换为1.1.1.1，并作为发起该请求的源地址将请求转发给Web服务器进行处理。

Internet上的Web服务器收到请求后，对其进行处理，并将结果返回给LLB Controller，LLB Controller对收到的数据包进行转换为内部地址192.168.1.10，并将返回数据包转发给内部客户端。

出向流量链路负载均衡不受外部DNS的影响，因此，在处理流程上比较简单。通常，出向

流量的链路选择算法建议对国内IP尽可能采用静态绑定，对于国外或国内未知IP采用缺省选择较快线路的方式。

3.2. 入向全局负载均衡（Inbound LLB/GSLB）

首先简单介绍一下用户通过互联网络访问Web应用服务器的整个过程。如下图所示，我们将通过客户端访问https://www.360docs.net/doc/a98755822.html,来说明客户端访问的整个过程。

Client

图例 1 Inbound访问实例

客户端（Client）在浏览器地址栏中输入https://www.360docs.net/doc/a98755822.html,，发起对该网站的访问请求。由于客户端不知道https://www.360docs.net/doc/a98755822.html,的IP地址，因此，客户端向本地DNS（Local DNS, LDNS）发出域名解析请求，要求LDNS提供https://www.360docs.net/doc/a98755822.html,所对应的IP地址。

LDNS通过递归查询，从上级DNS服务器得到https://www.360docs.net/doc/a98755822.html,的授权DNS （Authoritative DNS, ADNS）服务器IP地址，于是，LDNS向ADNS域名服务器发送域名解析请求，要求对https://www.360docs.net/doc/a98755822.html,域名进行解析。

ADNS将https://www.360docs.net/doc/a98755822.html,的域名解析结果返回给LDNS。

LDNS将https://www.360docs.net/doc/a98755822.html,的域名解析结果返回给客户端。

客户端获得https://www.360docs.net/doc/a98755822.html,域名所对应的IP地址，于是，客户端利用这个IP地址发送对https://www.360docs.net/doc/a98755822.html,域名的访问请求。

在多数据中心或者多链路的环境中，通过负载均衡技术控制DNS的解析结果，达到智能选择数据中心和链路的目的。AX GSLB负载均衡技术通过静态或动态路径选择算法，选择最佳的数据中心和链路，然后将域名解析为相应数据中心和链路的IP地址，并返回给客户端。

下图为多数据中心的拓扑图：

下面是单数据中心多链路负载均衡的拓扑图：

多数据中心负载均衡和多链路的负载均衡在物理拓扑上看起来不同，但是在实现原理上是一样的。

我们仍然通过客户端访问https://www.360docs.net/doc/a98755822.html,的例子来说明A10 GSLB是如何通过DNS技术来进行选择的。如下图所示，ADNS服务器和Web服务器分别接入A10的负载均衡设备，两条链路ISP_A Link和ISP_B link分别接入链路负载均衡控制器。在ADNS上将https://www.360docs.net/doc/a98755822.html,解析为分属两个不同ISP的IP地址。其中，1.1.1.1为ISP_A提供的IP地址，2.2.2.2为ISP_B提供的IP地址。在负载均衡控制器上将这两个地址同时映射为内部的Web服务器地址。此外，将内部的ADNS服务器地址映射为公网IP地址。如果用户没有自己的ADNS，A10网络的AX系列负载均衡器也可以兼做DNS服务器。如下图所示

图例 2 采用GSLB技术的Inbound访问实例

客户端访问https://www.360docs.net/doc/a98755822.html,的过程如下：

客户端（Client）在浏览器地址栏中输入https://www.360docs.net/doc/a98755822.html,，发起对该网站的访问请求。如同前面的实例一样，客户端向LDNS发出域名解析请求，要求LDNS提供https://www.360docs.net/doc/a98755822.html,所对应的IP地址。

LDNS通过递归查询，从上级DNS服务器得到https://www.360docs.net/doc/a98755822.html,的ADNS服务器IP地址，于是，LDNS向ADNS域名服务器发送域名解析请求，要求对https://www.360docs.net/doc/a98755822.html,域名进行解析。

AX收到LDNS发来的域名解析请求后，将请求转发给内部的ADNS服务器进行处理。如果是负载均衡器AX自身作为DNS服务器，直接进入第5步。

ADNS将https://www.360docs.net/doc/a98755822.html,地址解析为两个不同ISP提供的公网IP地址，并将结果返回给LLB Controller。

AX收到ADNS的域名解析结果或者授权DNS服务器的解析请求后，根据当前所采用的选择算法（如基于IP就近性或者动态探测等）和当前链路的情况，对返回的解析结果进行处理，然后将域名解析结果返回给LDNS。例如，如果判断从ISP_A Link访问快，则将1.1.1.1作为域名解析结果返回给LDNS；若判断从ISP_B Link访问快，则将2.2.2.2作为域名解析结果返回给LDNS。

LDNS将https://www.360docs.net/doc/a98755822.html,的域名解析结果返回给客户端。

客户端获得https://www.360docs.net/doc/a98755822.html,域名所对应的IP地址，于是，客户端利用这个IP地址发送对https://www.360docs.net/doc/a98755822.html,域名的访问请求。

A10 GSLB技术通过对DNS的解析结果进行重新处理，完成了数据中心和链路的智能选择。一般情况下，选择算法分为静态和动态两大类。静态的选路算法一般基于源IP地址进行选路，通过查询客户端IP地址所属的ISP，来选择最佳链路或数据中心，这种方法最直接、最高效，但需要事先将IP地址段按照所属的ISP进行分类并绑定到不同的链路上。动态的算法则是通过动态检测的方法，分析多个链路和数据中心的负载情况、响应时间、链路优先级等状况，通过比较这些指标，返回最佳的服务IP。由于国内运营商见互联互通不是很好，通常建议对国内IP尽可能采用静态绑定，对于国外或国内未知IP采用缺省选择较快线路的方式。

针对多数据中心情况的处理：

在多数据中心做负载均衡的时候，一般每个数据中心都要放置一台AX，如果设置的是IP就近性判断，首先判断源IP属于哪个运营商，返回同运营商的服务IP为第一选择，其次在多数据中心连接了同运营商线路的情况下，那么将针对不同的源IP，在不同数据中心的AX上设置不同服务IP的优先级，对于不同的源IP，将优先返回地理位置最近的数据中心的

服务IP。如果还设置的有动态探测，那么多台AX之间会进行通信，每台AX都会探测client 的响应时间，然后把探测结果发给收到DNS请求的AX，有该台AX比较探测结果，返回响应时间最快的数据中心的相应服务IP.

针对多链路负载均衡的处理：

多链路负载均衡与多数据中心的处理过程是一样的，区别在于动态探测直接由同一台AX从不同的链路进行探测比较。另外假设有多条同运营商的链路在同一台AX，不需要判断源IP对同运营商链路的就近性。针对单台AX连接多条链路的情况，AX具有use-rcv-hop-for-resp功能，保证流量从哪条链路进来从哪条链路返回。

AX对DNS请求的处理：

AX支持两种dns 请求的处理方法：

DNS Server：由AX负责处理用户的DNS解析请求，将处理后的结果返回给用户，优点是不用修改用户原来DNS的注册IP，缺点是需要用户的DNS做一定的设置，将用户的请求域名转发给AX来处理。

DNS Proxy: 将用户自己的DNS Server在AX上做一个IP映射，用户DNS请求通过AX转发给用户的DNS来解析，然后AX在收到DNS的解析结果后进行智能处理，返回最优的服务IP给用户。优点是不用修改用户DNS的配置，缺点是需要把用户DNS的注册IP 配置到AX上面，用户DNS改成别的IP。

3.3. 链路的健康检查

无论是Outbound还是Inbound负载均衡，都涉及到链路的健康检查，AX支持ping,

tcp,udp 以及Http等多种健康检查方法，可对每条链路对端的网关或者远端的主机等进行检查以决定链路的可用性。链路健康检查为负载均衡第一判断条件，当某条链路出现故障，与该条链路相关的服务IP将不会返回给用户，AX也不会从故障链路转发流量。

3.4. 链路拥塞控制

用户的多个运营商链路经常会存在带宽不同的情况，在真实的访问中，即使采取了链路负载均衡，也可能出现某条链路带宽占满而另外链路相对空闲的情况，A10设备支持链路带宽检测，可以对每条链路设定一个阈值，当某条链路的流量达到设定的阈值，将本应发往该链路的流量发送到其他链路，避免链路堵死导致用户不能访问。

3.5. 多数据中心容灾

如果A10设备部署用户的多个数据中心，A10设备还可以实现数据中心冗灾功能。AX支持的容灾的方式有两种，一种是多数据中心同时对外提供服务，当某个数据中心出现故障，用户访问将转发给其它数据中心，不再转发给出现故障的数据中心，另外一种是由主数据中心对外提供服务，另外的数据中心提供灾备，当主数据中心出现故障，灾备数据中心全面接管服务。

3.6. 服务器负载均衡

A10的AX设备在对多数据中心多链路实现负载均衡的同时，还可以对数据中心内外的服务器实现服务器负载均衡。

AX支持本地服务器的负载均衡功能，包括Web 服务、DNS服务、Radius服务、FTP服务、Email服务、流媒体服务，ERP服务，CRM服务，以及数据库等。

对于Web服务，AX支持基于HTTP的健康检查，支持源地址和cookie会话保持，可以通过最快响应速度策略将用户请求分发到服务器，并且能够对HTTP的数据包进行分析，能够通过HTTP压缩，内容缓存和SSL加速功能进行优化加速。真正提高Web服务器的服务能力。

对于DNS 服务，AX支持高级的DNS健康检查方法，支持基于UDP协议的均衡分发，使得多台DNS 服务器同时工作，提高服务能力。

对于Radius服务， AX支持高级的Radius健康见擦，支持相同Client和端口的不通请求分发到不同的服务器上进行处理，使得同一Bras接入的用户认证真正通过多台Radius Server 均衡处理，提高了服务能力。

对于FTP服务，AX支持基于FTP的健康检查，可以采用最少连接数的方法将客户端连接分发到各台服务器上进行处理。

对于Email服务，AX支持安全的Emai协议，除了能够对接收邮件服务器做负载分发外，还能够把内部发出的邮件转换成Email服务器的外部地址向外发送你，保证Email处理的一致性和正确性。

对于流媒体等服务，特点是服务器返回的流量比较大，负载均衡设备的吞吐量容易成为瓶颈，AX支持DSR（服务器直接返回）模式，用户的请求通过AX分发给流媒体服务器，但是请求的内容通过服务器直接发送给用户，这样就大大降低了负载均衡设备的负载。

对于ERP/CRM等系统，如果是基于B/S结构或者三层结构的，实际上还是对于Web系统的负载均衡，如果是基于C/S结构的，则是基于TCP的负载均衡，协议上相对更简单一些。

关于数据库的负载均衡，如果客户的需求只是对服务器的读操作，那么通过AX可以对任何数据库服务器进行负载均衡，如果客户是读写混合模式，由于负载均衡设备无法控制数据库之间的写和修改的同步，假设客户方安装有这样的同步软件能够做数据库的同步，那么仍然可以做负载均衡，如果没有这样的同步软件，那么建议客户通过数据库厂家的集群软件来实现。

4. AX设备相关工作原理

4.1. 服务器负载均衡策略

AX包含如下负载均衡方法可以选择：

◆轮询（RoundRobin）：顺序循环将请求一次顺序循环地连接每个服务器。当其中某个服务器发生故障，AX就把其从顺序循环队列中拿出，不参加下一次的轮询，直到其恢复正常。

◆比率（Ratio）：给每个服务器分配一个加权值为比例，根椐这个比例，把用户的请求分配到每个服务器。当其中某个服务器发生故障，AX就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。

◆优先权（Priority）：给所有服务器分组，给每个组定义优先权，AX用户的请求，分配给优先级最高的服务器组（在同一组内，采用预先设定的轮询或比率算法，分配用户的请求）；当最高优先级中所有服务器出现故障，AX将把请求送给次优先级的服务器组。这种方式，实际为用户提供一种热备份的方式。

◆最少连接数（LeastConnection）：AX会记录当前每台服务器上的连接数，新的连接将传递给连接数最少的服务器。当其中某个服务器发生故障，AX就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。

◆最快响应时间（Reponse time）：新的连接传递给那些响应最快的服务器。当其中某个服务器发生故障，AX就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。

◆哈希算法( hash): AX将客户端的源地址，端口进行哈希运算，根据运算的结果转发给一台服务器进行处理，当其中某个服务器发生故障，AX就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。

◆基于策略的负载均衡：针对不同的数据流设置导向规则，用户可自行编辑流量分配策略，AX利用这些策略对通过的数据流实施导向控制。

4.2. GSLB &LLB 负载均衡策略

除了服务器负载均衡地分发策略之外，AX的链路和全局负载均衡还支持如下策略：

灾难恢复

对重要应用提供一个附加的高可用机制

根据应用的可用性和健康情况直接处理请求

主动 RTT

将用户连接发向响应最快的数据中心

基于Ping或者DNS 的响应时间

地理位置

将客户连接发给物理位置最近的数据中心

用CSV格式的文件包含地理位置列表

可以导入第三方的地理位置列表

细致的粒度，例如，基于不同的城市来选择站点

会话容量

将客户连接发送给具有最大可用会话容量的数据中心

加权值

将客户连接发给具有最高权值的数据中心

将客户连接发送给具有最多的可用服务器的数据中心

带宽成本

查询每个站点的带宽使用率

选择带宽使用率没有超过阀值的站点

4.3. 健康检查

AX提供ICMP、TCP/UDP、HTTP内容、FTP、Radius、HTTP响应代码、SNMP、脚本化等健康检查方法

ICMP：通过Ping的方式来探测服务器IP是否可通，该方式多用于链路负载均衡和基于IP 的负载均衡。

TCP/UDP：通过探测服务端口的UP/DOWN来判断某项应用是UP还是DOWN，该项健康检查为第四层的健康检查。

HTTP内容: 通过HTTP 协议的GET命令访问一个网页，并比较取回的内容是否与预先设定的一致来判断服务器的健康状态，该方式为7层的健康检查，属于高级健康检查方法。FTP：通过ftp的方式get一个文件到AX，判断服务器的FTP服务是否可用。该方式是7层的健康检查，属于高级健康检查方法。

Radius: AX通过预配置的一个Radius用户/密码向Radius服务器验证是否能够通验证过来判断Radius服务器的状态。该方式为7层的健康检查，属于高级健康检查方法。

DNS: AX通过DNS查询命令向DNS Server发出解析请求，通过解析结果判断DNS 服务器的状态。该方式为7层的健康检查，属于高级健康检查方法。

HTTP内容: AX通过HTTP 访问后的响应码判断服务器的健康状态，该方式为7层的健康检查，属于高级健康检查方法。

SNMP： AX通过SNMP方式取回服务器上的有关内容，判断服务器是否健康或者服务器是否负载过高。该方式为7层的健康检查，属于高级健康检查方法。

基于脚本的健康检查：对于任何基于TCP/IP协议的应用，AX都可以通过脚本来编写一个基于应用的健康检查来监测服务器的状态，该方式为7层的健康检查，属于高级健康检查方法。

4.4. 会话保持

AX支持基于源地址、目的地址、Cookie、header、URL、用户自定义等多种会话保持方式

源地址会话保持：AX会设定一个源地址的最小范围，如果客户端地址属于这个范围，将把该客户端的连接分发到之前相同范围的地址所选择的服务器去处理。源地址会话保持的优点是可用于各种类型的应用，缺点是某些情况下会有不太均衡的现象。

Cookie会话保持：在服务器返回数据的时候，AX会向返回包中插入一个cookie记录该客户端所选中的服务器，当该客户端下次访问并且带着这个cookie的时候，AX将把请求转发到同一台服务器处理，Cookie会话保持的优点是可以做到非常的均衡，但只能在HTTP应用中使用。

基于HTTP header, URL的会话保持：通过分析HTTP Header或者URL里面的内容，把具有相同特征的请求转发到同一台服务器来处理，

用户自定义会话保持：针对具体的应用，通过AX的aFlex脚本根据用户需求做相应的会话保持。

5. 设备可靠性配置

5.1. 硬件可靠性配置

AX设备硬件配置有可插拔冗余电源，可插拔冗余硬盘和可插拔冗余风扇，保证将硬件损坏而引起业务的停顿的几率降到最小。

5.2. 软件可靠性配置

AX支持Active-Standby和Active-Active以及N+1 Active等HA模式，双Active和N+1的Active 模式的本质是有两套或者N套Active-Standby的HA在运行，所以基本切换原理还是Active-Standby的切换原理。

我们以两台AX为例来说明，两台AX通过交换HeartBeat(心跳包)互相检测，当Standby的AX在规定的检测次数和时间间隔内没有收到Active的AX的HeartBeat信息，Standby的AX将变为Active，接管服务，整个检测和切换过程不超过一秒钟，不会引起业务的中断，保证了系统的可靠性和可用性。

AX还支持Failover切换机制，例如支持Vlan Failsafe( 当连接的vlan不通的时候)，Gateway Failsafe(当网关不通的时候)。通过以上等方式，可以使得负载均衡设备具有最大的可靠性，保证业务的正常稳定运行。

6. AX系列负载均衡产品

A10网络的AX系列高级流量管理设备是为了满足不断增长的网站、运营商、和企业需求而设计的。AX提供智能4-7层应用处理能力与业界领先的性能和可扩展性，以具有竞争力的价格满足关键业务需求。

AX系列独特的高级核心操作系统（ ACOS ）提供真正的可扩展的性能。具有丰富的第7层特性和aFleX脚本语言的AX系列可以集成到任何数据中心以提供先进的Web应用交付解决方案。AX还包括了目前市场上所有服务器负载均衡设备中最全面的IPv6和网络地址转换（ NAT ）功能。

AX的高级服务器负载均衡和灵活的健康检查能力确保应用程序的可用性和可靠性。AX系列标配的冗余组件和高可用性设计可以确保为所有类型应用提供无间断服务的可用性。利用AX系列的线速安全防御和安全电子邮件功能，用户可以部署覆盖整个数据中心的网络层攻击防御保护，以确保关键服务的业务连续性。

主要益处

业界领先的应用层性价比

任何测试项均有卓越性能——4层每秒新建连接（CPS），7层每秒新建连接，每秒SSL交易数量，RAM缓存和4-7层吞吐量。

高端的AX5200在一个2U的紧凑型平台上提供超过300万的4层CPS。

业界最佳的性能，按照每瓦特、每美元、或而每机架单元计算。

高级核心操作系统（ ACOS ）提供多线程化的性能并且对多CPU多内核进行调优以满足将来更高性能的扩展需求。

特别设计的硬件提供高效的包缓冲管理、TCP连接复用、SSL加速，支持IPv4和IPv6，以及更多的功能等等。

10/100/1000 M接口和10G接口。

应用可用性，可扩展性和灵活性

ACOS旨在提供一个可扩展的、灵活的平台。

为应用提供99.999 ％可靠性。

用新一代服务器负载均衡技术提升服务器群的性能。

利用aFleX脚本语言灵活地适应不断变化的业务需求。

支持透明模式和网关模式的灵活部署。

支持二层热备、Active-Active和Active-Standby。

运营商级的高可用性（HA）确保100 ％不间断服务。

综合应用安全

保护应用服务器不受拒绝服务(DOS)攻击和异常协议攻击。

在有恶意攻击的情况下能够确保合法流量的应用可用性。

接近线速的性能—AX 5200在零CPU开销的情况下，支持每秒处理高达3000万SYN cookies。

高级核心操作系统（ACOS）

为32位和64位处理而设计，AX系列集成了最新的多核多线程运算的操作系统技术(ACOS)加上A10的灵活流量处理ASIC芯片（FTA）、交换/路由ASIC芯片和SSL加速芯片能够带来性能的优势。充分利用超级计算中的并行处理(SMP)技术，AX具有同步高速内存访问的解耦多CPU架构，能够在真正并行的模式下处理应用流量，不需要在CPU之间复制数据或者计算指令。

ACOS，标准配置在各个AX型号上，在加速、高可用性和安全性等方面提供真正的线性扩展的4-7层应用特性。AX系列包含安全邮件服务、全球服务器负载均衡(GSLB)、全面的防火墙负载均衡、视频/音频加速、IPv4和IPv6流量管理以及SSL和非SSL的服务器负载均衡。

AX 系列硬件综述

AX 系列包括一系列的平台，具有不同性能、价格和硬件。

AX2500 AX2600

AX3000 AX5100