华为虚拟综合业务网关负载均衡白皮书.docx

HUAWEI USG6000V系列NFV防火墙技术白皮书之服务器负载均衡技术白皮书1 背景和概述22 全局服务器负载均衡（GSLB） 33 本地服务器负载均衡（LSLB） 43.1 使用目的MAC地址转换的服务器负载均衡（DR） 43.2 使用网络地址转换实现的服务器负载均衡（L4 SLB）53.3 使用轻量代理和网络地址转换的服务器负载均衡（L4 IwProxy SLB）73.4 使用全量Socket代理的服务器负载均衡（L7 Socket Proxy SLB）93.4.1 socket代理加业务会话关联保持93.4.2 根据URL类型不同的分担，静态资源访问和动态计算访问分开多种服务器103.4.3 SSL 卸载103.4.4 链路优化：压缩、协议优化、本地cache、多路复用113.5 业务保持技术134 华为USG系列防火墙支持的SLB功能列表141背景和概述随着互联网的快速发展，用户访问量的快速增长，使得单一的服务器性能已经无法满足 大量用户的访问，企业开始通过部署多台服务器来解决性能的问题，由此就产生了服务器负 载均衡的相关技术方案。在实际的服务器负载均衡应用中，由于需要均衡的业务种类以及实际服务器部署场景的 不同（比如是否跨地域、跨ISP数据中心等），存在多种负载均衡的技术。如下典型的组网 方式如图所示：服务提供方为了支撑大批量的用户访问，以及跨不同地域、不同接入ISP的用户都能够 获得高质量的业务访问体验，其已经在不同地域、不同ISP数据中心搭建了服务器，这样就 带来一个需求，也就是客户的访问能够就近、优先选择同一个ISP数据中心的服务器，从而 获得高质量的业务访问体验。同时，基于单台服务器能够提供的业务访问并发是有限的，那么就自然想到使用多台服 务器来形成一个“集群”，对外展现出一个业务访问服务器，以满足大量用户访问、而且可 以根据业务访问量的上升可以动态的进行业务能力扩容的需要。归纳一下，我们将前一种定义为全局服务器负载均衡(GSLB: Global Server LoadBalance)，而把后面一种定义为本地服务器负载均衡(LSLB: Local Server Load balance), 在实际使用中，这两种技术既可以结合起来使用，也可以单独只使用某一种技术。2全局服务器负载均衡(GSLB)全局服务器负载均衡一般通过干预DNS域名的查询的返回值，来决定客户访问服务器 的优选路径。服务器提供方会申请DNS域名，比如，并将该域名的IP解析委托 在服务提供方自己来解析，这里就是GSLB设备来替代的功能。如图所示：1、在客户接入网侧，客户需要访问诸如wwwabcam时，会向本地DNS服务器发 起域名查询2、本地DNS服务器在本地查询是否有的IP记录，因为该域名为委托 至UGSLB来解析，所以其将发起向GSLB的域名查询3、GSLB收到查询请求后，会根据一定的判据(比如查询的来源方、距离哪个DC 路径更优等)，将选定的最优站点的IP地址返回给客户接入侧的域名服务器4、客户接入网侧的域名服务器将该结果返回给客户机侧5、客户方获得域名对应的经过优选过的IP地址，向该IP发起业务访问此种方式的优点是在一个全局的域名委托查询点即可以完成负载均衡，但也有明显的缺 点，一旦某个服务器出现故障，1、GSLB并不能及时感知到故障，将其IP地址排除在返回的 IP地址列表外，这样就会造成仍旧会有客户不断去访问已经故障的服务器，造成业务中断;2、客户侧以及本地ISP的DNS服务器均存在缓存，在缓存有效期内不会再向GSLB去发起查 询，所以即使服务器故障被GSLB及时感知，也无法避免客户端仍旧访问已经故障的服务器。为了解决上述问题，并且也由于存在单台服务器无法满足高性能并发的需要，引入了多 台服务器做“集群”，实现对外一个业务访问的LSLB相关技术。3本地服务器负载均衡（LSLB）当部署一个服务器“集群”来提供一个业务访问服务器功能时，最为关键的节点就是业 务分发节点，这个就是本地服务器负载均衡设备的功能和核心价值所在。这里主要的价值点 在于：大并发高性能、故障探测和自愈、性能可以动态扩展 其他增值特性（比如本地缓存 加速、SSL卸载等）；主要的技术点包括：负载均衡算法、业务保持算法、业务可用性探测 技术、业务流量分担技术、缓存技术、加密卸载技术等。3.1使用目的MAC地址转换的服务器负载均衡（DR）相对于网络地址转换方式的服务器负载均衡方式，DR方式服务器负载均衡中只有客户 端的请求报文通过SLB设备，服务器的响应报文不经过SLB设备，从而减少了 SLB设备的负 载，有效的避免了SLB设备成为网络瓶颈。DR方式下，SLB设备分发服务请求时，不改变目 的IP地址，而将报文的"TMAC替换为真实服务器的MAC后直接把报文转发给真实服务器。 DR方式服务器负载均衡的典型组网如图所示。负载均衡设备将客户端的业务访问通过修改目的|入。地址的方式将其分担到内部的服 务器上，但是服务器的回应请求不再返回给负载均衡设备，而是绕过负载均衡设备，直接返 回给客户端，因此负载均衡设备只负责接受并转发请求，其网络负担就减少了很多，并且给 客户端提供了更快的响应时间。这种部署模式，因为只是更改了客户端请求报文的目的MAC地址，因此必然会要求负 载均衡设备到内部服务器二层可达，即必须处在同一 个VLAN内；同时，虚拟KMAC地址必 须能够响应来自客户端侧网络的二层ARP请求等；并且，内部服务器“集群”内成员的IP地 址是同一个，为避免报IP地址冲突，相同的IP地址所在的服务器，必须对ARP采取静默模式， 即不响应ARP请求，也不发送ARP请求和免费ARP通告。3.2使用网络地址转换实现的服务器负载均衡（L4 SLB）使用网络地址转换方式实现的服务器负载均衡，工作在第四层，其主要概念是将一个虚 拟ip地址映射到内部多个服务器的ip地址上，客户的访问均是首先到达虚拟ip地址，然后由 负载均衡设备将其访问的目的旧地址替换为内部服务器的实际ip地址，多条业务的访问可以 根据一定的分担算法到达不同的内部服务器上，从而达到负载均衡的目的。Real server 1: 了.Real server 2:192.168.100.102:80Real server 3: 192.168.100.103:80如图，服务器“集群”对外提供一个虚拟P地址供业务访问，SLB设备将业务对虚拟IP 地址的访问根据均衡算法分担到内部的实际服务器上。此种工作模式下，负载均衡策略的优劣及其实现的难易程度有两个关键因素：一、负载 均衡算法，二、服务器业务可用性探测技术。考虑到服务请求的不同类型、服务器的不同处理能力以及随机选择造成的负载分配不均 匀等问题，为了更加合理的把负载分配给内部的多个服务器，就需要应用相应的能够正确反 映各个服务器处理能力及网络状态的负载均衡算法，业界常用的负载均衡算法包括： 轮询均衡(Round Robin)算法：即每一次来自网络的请求轮流分配给内部服务 器，从1至N然后重新开始。此种均衡算法适合于服务器组中的所有服务器都有相 同的软硬件配置并且平均服务请求相对均衡的情况。 权重轮循均衡(Weighted Round Robin)算法：根据服务器的不同处理能力，给 每个服务器分配不同的权值，使其能够接受相应权值数的服务请求。例如：服务器 A的权值被设计成1, B的权值是3, C的权值是6,则服务器入、B、C将分别接受到 10%、30%、60%的服务请求。此种均衡算法能确保高性能的服务器得到更多的使 用率，避免低性能的服务器负载过重。 随机均衡(Random)算法：把来自网络的请求随机分配给内部中的多个服务器。 权重随机均衡(Weighted Random)算法：此种均衡算法类似于权重轮循算法， 不过在处理请求分担时是个随机选择的过程。 最小响应速度均衡(Response Time)算法：负载均衡设备对内部各服务器发出 一个探测请求(例如Ping)，然后根据内部中各服务器对探测请求的最快响应时间 来决定哪一台服务器来响应客户端的服务请求。此种均衡算法能较好的反映服务器 的当前运行状态，但这最快响应时间仅仅指的是负载均衡设备与服务器间的最快响 应时间，而不是客户端与服务器间的最快响应时间。 最少连接数均衡(Least Connection)算法：客户端的每一次请求服务在服务器 停留的时间可能会有较大的差异，随着工作时间加长，如果采用简单的轮循或随机 均衡算法，每一台服务器上的连接进程可能会产生极大的不同，并没有达到真正的 负载均衡。最少连接数均衡算法对内部中需负载的每一台服务器都有一个存活连接 数量的计数，当有新的服务连接请求时，将把当前请求分配给连接数最少的服务器， 使均衡更加符合实际情况，负载更加均衡。此种均衡算法适合长时处理的请求服务， 如 FTP Server。为了避免服务器故障而引起的客户访问失败，负载均衡设备需要探测服务器是否故障从 而避免将客户访问继续分配到已经故障的服务器上，这就是服务器业务可用性探测技术，业 界常用的探测技术包括： icmp探测：也就是ping探测，即通过ping的方式检测服务器及网络系统状况，此种 方式简单快速，但只能大致检测出网络及服务器上的操作系统是否正常，对服务器 上的应用服务检测就无能为力了。 tcp探测：通过检测服务器上某个TCP端口（如Telnet的23口，HTTP的80口等）是 否开放来判断服务是否正常。 http探测：通过向HTTP服务器发出一个对某个页面文件的访问请求，根据是否能 获得该页面文件来判断服务器是否出现故障。3.3使用轻量代理和网络地址转换的服务器负载均衡（L4 IwProxy SLB）纯粹的网络地址转换型的SLB，由于不解析应用层的内容，因此无法根据应用层信息做 业务会话关联保持。注：业务会话关联保持，是指将属于同一个应用层会话的多个连接定向到同一真实服务 器，从而保证同一业务由同一个服务器处理（或链路转发），这样可以避免同一应用层会话 访问多台服务器时，多台服务器需要做相关业务数据的热同步（比如在一台真实服务器上认 证，再访问另一台真实服务器时，就必须将认证信息同步过来，以避免用户的再次认证）。使用轻量代理和网络地址转换的服务器负载均衡，1、是SLB需要对客户端发起的TCP 做三次握手代理；2、对TCP传输的第一个报文做关联保持功能；3、对后续报文做网络地址 转换。下面以一个例子来举例说明基于http cookie或URL负载分担的业务会话关联保持下的轻量代理和网络地址转换SLB的实现:代理三次握手NAT地址转换eal server 1:92.168.100.101:80Virtual server218.200.243.150:80leal server 2: 92.168.100.102:80:eal server 3:192.168.100.103:80:代理三次握手.Http cookie 保持算法如图所示：1、客户端发起tcp三次握手，SLB设备对其代理，建立TCP全连接2、客户端发起tcp payload，也就是http get/post报文，如果之前客户端已经和服务器 建立过连接，那么会在该报文中携带cookie等信息，SLB设备对该信息做分析，以 保持该客户端仍旧访问同一台真实服务器3、SLB设备做NAT地址转换，将目的地址替换为真实服务器地址，并发起向该真实服 务器的tcp三次握手4、 SLB设备将tcp payload报文（包括第一个http get/post报文）做完tcp sequence、 offset、checksum调整后，直接发往真实服务器注：为什么说是轻量代理？因为相对于socket代理，此处仅做了tcp三次握手代理，而后 续报文仅对tcp sequence、offset、checksum做了调整，而无需进入tcp/ip协议栈处理，所以 是轻量代理。此种方案的优点在于有一定的应用层的业务会话保持能力，而且因为是轻量代理，性能 会比较高；但也有一定的限制，如必须是tcp三次握手之后的第一个报文即能带有做会话保 持的判据信息（如http cookie），如果不是第一个报文，则这种方案无法应用。3.4使用全量Socket代理的服务器负载均衡（L7 Socket ProxySLB)为解决单纯L4网络地址转换方式或者轻量代理方式下无法针对某些应用做业务会话保 持的问题，那么就引入了全量socket代理的服务器负载均衡方式。在全量socket代理的框架 下，一些更精细化的业务访问优化就有了实现的基础，比如根据url类型做访问路径的优化、 ssl的代理加速、报文压缩、协议优化、cache缓存、多路复用等，下面就这些内容做进一步 的说明。3.4.1 socket代理加业务会话关联保持Real Server Group '、/Real server 1:/192.168.100.101:80. syn Syn+ackackSocket 1Payload 1Virtual server218.200.243.150:80Real server 2:,192.168.100.102:80LSLB:VeOl server 3: 92.168.100.103:80应用层信息解析，做业务会话保 持，选择正确目的服务器synSyn+ack.ackSocket 2Payload 2如图所示，客户端与SLB之间建立tcp会话后，客户端将payload全部发往SLB设备，SLB 设备根据应用层信息解析，根据应用层业务会话保持算法，选择正确的目的服务器，SLB设 备向真实目的服务器发起并建立tcp会话，将来自客户端的payload信息转发给真实的目的服 务器（根据需要，也可以针对payload内容做一定修改），完成业务访问。此种场景下，两侧是独立的socket连接，因此payload可以理解为是两侧完全独立的， 这种优点就在于可以灵活地根据应用层协议的不同而分别开发不同的应用层业务保持算法， 并可在此基础上扩展出应用优化、加速的各种方案。但这种方案的性能是不如直接的网络地 址转换方案或者轻量代理的方式的。Virtual server218.200.243.150:80-CT'LSLB3.4.2根据URL类型不同的分担，静态资源访问和动态计算访问分开多种服务器我们知道，对于大型的Web服务器来讲，其承载的内容既包括静态页面（如html,图片 等），也包括动态页面（如各种asp、CGI脚本），一般来讲，静态和动态资源的处理对于服 务器来讲，其处理的有效性能是不一样的，处理动态资源的响应时间大大超过处理静态资源 的响应时间。有了socket的全代理，再根据不同url类型来部署单独的服务器资源，将不同资 源的访问动态分配到不同的服务器资源，让更多的服务器资源来响应较为复杂的动态资源访 问请求，可以大大改善客户访问的体验。Real server 2: -192.168.100.102:80*.cgi服务 4"URL duplexing；i:解析应用层信息，分发不同类；:型的资源访问到不同的服务器：! Get http:/x.x.x.x/*.html ；:Socket 1；I ! ! !:Payload 2:Get http:/x.x.x.x/*.cgi?.； |FlSocket I；: Payload 33.4.3 SSL 卸载随着越来越多的网站考虑到传输的安全性，使用加密的http s来替代传统非加密的http的 访问，正在成为一种趋势，而http s加密会消耗大量的服务器处理性能;而作网关类设备来讲， 在硬件设计之初就考虑了加解密的高性能，其可以使用硬件协处理的能力提升加解密的性 能。因此使用硬件SLB设备来卸载服务器的http s加解密处理，是保证https业务访问的高性 能的一种可行方案。SSL代理，也叫SSL反向代理，其基本的方案流程如下：服务器部署时，需要预先将服务器证书导入到SLB设备中，客户端与SLB设备进行SSL 协商并建立SSL Socket，SLB设备再与真实服务器建立非加密的Socket连接，客户端发往服 务器的payload信息首先在SLB设备进行SSL解密，SLB将解密后的payload发往后端的真实 服务器，以卸载真实服务器需要处理SSL协商、加解密的处理，达到业务访问的高性能。3.4.4链路优化：压缩、协议优化、本地 cache、 多路复用在全Socket代理的SLB服务器负载均衡部署方式下，可以针对客户端与服务器之间的传 输链路做相关的链路优化，以提升业务访问性能和减少带宽的占用，以下对此类优化做一些 简单的描述： 压缩：可以将服务器传输给客户端的页面内容等做压缩，以减少客户端到服务器之 间的带宽消耗； 协议优化：SLB设备通过TCP优化技术，如改进TCP的拥塞控制算法，来优化客户 端到SLB设备的TCP传输链路，达到减少带宽，提高传输效率的效果；Virtual server218.200.243.150:80FJ!:LSLBieal server92.168.100.102:80HTTP UnCompressediDI本地Cache： SLB设备提供本地缓存的能力，将客户端频繁访问的（特别是静态页面、大文件等）资源缓存在本地，就近提供给客户端，可以大大减少服务器的处理 压力；Virtual serverIiII218.200.243.150:80! LSLBZ h /I Real server!192.168.100.102:80HTTP GET x.gifHTTP GET index.html直接从 cache server 返回给客户端多路复用：SLB设备可以将客户端对多个资源的持续访问合并成一条到服务器的访问，可以降低服务器对于并发响应的要去，提升业务访问整体体验。HTTP GET x.gifHTTP GET y.aspHTTP GET index.htmlVirtual server218.200.243.150:80Real server192.168.100.102:803.5业务保持技术在大多数电子商务的应用系统或者需要进行用户身份认证的在线系统中，一个客户与服 务器经常经过好几次的交互过程才能完成一笔交易或者是一个请求的完成。由于这几次交互 过程是密切相关的，服务器在进行这些交互过程的某一个交互步骤时，往往需要了解上一次 交互过程的处理结果，或者上几步的交互过程结果，服务器进行下一步操作时需要这就要求 所有这些相关的交互过程都由一台服务器完成，而不能被负载均衡器分散到不同的服务器 上。而这一系列的相关的交互过程可能是由客户到服务器的一个连接的多次会话完成，也可 能是在客户与服务器之间的多个不同连接里的多次会话完成。不同连接的多次会话，最典型 的例子就是基于http的访问，一个客户完成一笔交易可能需多次点击，而一个新的点击产生 的请求，可能会重用上一次点击建立起来的连接，也可能是一个新建的连接。会话保持就是指在负载均衡器上有这么一种机制，可以识别做客户与服务器之间交互过 程的关连性，在作负载均衡的同时，还保证一系列相关连的访问请求会保持分配到一台服务 器上。常见的业务保持技术包括简单会话保持（源地址会话保持）、HTTP Header的会话保 持，基于SSL Session ID的会话保持、基于HTTP Cookie的会话保持、以及基于特定应用 的业务保持技术，比如SIP会话Call-ID保持等。 简单会话保持：即通过源地址会话进行保持，同一个源IP来的业务访问，将其HASH 到同一个服务器上，这种方式实现简单，不需要解析应用层信息，但对于源IP复用 比如有源NAT转换后的业务访问不能生效，最坏的情况会导致负载分担失效； 应用层的会话保持：此种方式下，SLB设备需要解析对应的应用层协议从而根据不 同的应用层协议进行对相应应用信息字段进行处理，根据这些信息字段来标记是否 为同一个客户端的访问，这种方式的好处是业务支撑地较好，缺点就是协议解析需 要耗费SLB设备的性能；上面所述的HTTP Header、SSL SessionID等都属于该类 技术。4华为USG系列防火墙支持的SLB功能列表USG6000USG6000VGSLBOOLSLBDROOL4 SLBL4 lwProxy SLBOOL7 Socket Proxy SLBO健康检查ICMPTCPDNSRadiusHTTP负载分担算法简单轮询加权轮询最小连接算法加权最小连接算法源IP哈希加权源IP哈希HTTP URL 分担OHOST分担OHTTP Referer 分担O会话保持算法源IP保持HTTP CookieOSSL Session IDO高级特性SSL卸载OHTTP压缩OOTCP协议优化OO本地CacheOO多路复用OO