数据中心网络解决方案：高性能、融合虚拟化面向云计算.doc

《数据中心网络解决方案：高性能、融合虚拟化面向云计算.doc》由会员分享，可在线阅读，更多相关《数据中心网络解决方案：高性能、融合虚拟化面向云计算.doc（92页珍藏版）》请在三一办公上搜索。

1、数据中心网络解决方案高性能、融合/虚拟化，面向下一代云计算修订记录修订日期修订版本修订章节修订描述作者2016-06V1.0-初稿完成。谢洋目录1前言11.1数据中心建设的三个层面11.2云计算对数据中心基础架构挑战22数据中心网络整合52.1数据中心网络设计52.1.1分区设计52.1.2分层设计62.1.3服务器接入分级设计82.1.4锐捷数据中心网络设计优势92.2云计算数据中心设计：扁平化/100G组网102.2.1虚拟机高密部署的挑战112.2.2抑制流量突发的两种技术132.2.3传统三层网络问题及扁平化趋势182.2.4锐捷网络扁平化/100G数据中心设计优势202.3数据中心高

2、可用解决方案262.3.1服务器接入高可用272.3.2接入层到汇聚的高可用（未采用虚拟化）282.3.3汇聚设备高可用322.3.4网络单机设备高可用332.3.5面向云计算：整网虚拟化多变一提升可靠性362.3.6面向云计算：绿色环保设计402.4数据中心接入层布线设计432.4.1接入层形态End-Of-Row432.4.2接入层形态Top-Of-Rack442.5数据中心高可用对网络基础设施的需求463数据中心与云计算虚拟化503.1虚拟化在云计算的数据中心503.2服务器虚拟化与动态迁移基本概念513.3服务器虚拟化带来网络接入层的变化553.3.1现有解决方案及问题553.3.2数

3、据中心接入层虚拟交换583.4虚拟机迁移带来数据中心与云计算网络变化613.4.1现有数据中心网络的问题613.4.2数据中心虚拟化多变一适应虚拟机迁移643.4.3云计算（分布式数据中心）互联路由网络简介663.4.4虚拟机迁移的在云计算网络的两个阶段703.4.5面向虚拟化，透明交换云计算网络713.5虚拟化多变一数据中心网络763.6服务器后端虚拟化：存储与以太网整合783.6.1传统数据中心的问题及I/O融合趋势783.6.2FCoE介绍793.6.3使用FCoE的好处823.6.4应用方案854数据中心智能安全894.1高性能安全架构894.2面向数据中心运维的下一代防火墙904.3

4、面向数据中心万兆Web安全904.4数据中心出口应用加速914.5相关设备921 前言数据中心（Data Center，DC）是数据大集中而形成的集成IT应用环境，是各种IT应用业务的提供中心，是数据计算、网络传输、存储的中心。数据中心实现了IT基础设施、业务应用、数据的统一、安全策略的统一部署与运维管理。数据中心是当前运营商和各行业的IT建设重点。运营商、大型企业、金融证券、政府、能源、电力、交通、教育、制造业、网站和电子商务公司等正在进行或已完成数据中心建设，通过数据中心的建设，实现对IT信息系统的整合和集中管理，提升内部的运营和管理效率以及对外的服务水平，同时降低IT建设的TCO。1.1

5、 数据中心建设的三个层面基于锐捷网络在数据通信领域的长期研发与技术积累，纵观数据中心发展历程，数据中心的发展可分为三个层面：1. 数据中心端到端网络整合：根据业务需求，基于开放标准的IP协议，完成对企业现有异构业务系统、网络资源和IT资源的整合，解决如何建设数据中心的问题。数据中心端到端网络的设计以功能分区、网络分层和服务器分级为原则和特点。通过多种高可用技术和良好网络设计，实现数据中心可靠运行，保证业务的永续性；2. 数据中心虚拟化：传统的应用孤岛式的数据中心模型扩展性差，核心资源的分配与业务应用发展出现不匹配，使得资源利用不均匀，导致运行成本提高、现有投资无法达到最优化的利用、新业务部署难

6、度增大、现有业务持续性得不到保证、安全面临威胁。虚拟化通过构建共享的资源池，实现对网络资源、计算计算和存储资源的几种管理、规划和控制，简化管理维护、提高设备资源利用率、优化业务流程部署、降低维护成本。3. 数据中心应用安全与资源智能：基于TCP/IP的开放架构，保证各种新业务和应用在数据中心的基础体系架构上平滑部署和升级，满足用户的多变需求，保证数据中心的持续服务和业务连续性。各种应用的安全、优化与集成可以无缝的部署在数据中心之上。通过智能化管理平台实现对资源的智能化管理，资源智能分配调度，构建高度智能、自动化数据中心。1.2 云计算对数据中心基础架构挑战云的基本特征是动态、弹性、灵活，按需计

7、算，传统的网络架构与技术虽然也能构筑云计算的基础平台，但是因此而形成的传统运行架构却无法支撑如此动态化的IT业务要求。它必然要求一种新的数据中心IT运行模式，将大量的计算资源以动态、按需的服务方式供应和部署。传统业务结构下，由于多种技术之间的孤立性(LAN与SAN)，使得数据中心服务器总是提供多个对外IO接口：用于数据计算与交互的LAN接口以及数据访问的存储接口，某些特殊环境如特定HPC(高性能计算)环境下的超低时延接口。服务器的多个IO接口导致了数据中心环境下多个独立运行的网络同时存在，不仅使得数据中心布线复杂，不同的网络、接口形体造成的异构还直接增加了额外人员的运行维护、培训管理等高昂成本

8、投入，特别是存储网络的低兼容性特点，使得数据中心的业务扩展往往存在约束。由于传统应用对IT资源的独占性(如单个应用独占服务器)，使得数据中心的业务密度低，造成有限的物理空间难以满足业务快速发展要求，而已有的系统则资源利用效率低下。而且，传统业务模式下，由于规模小，业务遵循按需规划，企业应用部署过程复杂、周期漫长，难以满足灵活的IT运行要求。在云计算这种变革性运营与服务模式下，必须能够解决成本、弹性、按需增长的业务要求，并改进与优化IT运行架构。因此：云计算服务必然要求一种大规模的数据中心IT运行方式，在极大程度上降低云计算基础设施的单位建设成本，大幅降低运行维护的单位投入成本。通过网络与I/O

9、的整合来消除数据中心的异构网络与接口环境，云计算中心需要优化、简化的布线与网络环境。由于其业务集中度、服务的客户数量远超过传统的企业数据中心，导致了高带宽的业务流，如下图所示的亚马逊对外公布其2008年提供云计算服务后，云服务的带宽增长速度远高于其WEB服务的带宽增长。总的来说，为满足云计算的业务要求，统一的基础网络要素必然包括：超高速交换、统一交换、虚拟化交换、透明化交换。l 优化、简化的布线与网络环境l I/O整合，统一交换l 高性能交换l 弹性、灵活，按需计算，虚拟化的应用。2 数据中心网络整合2.1 数据中心网络设计随着业务的快速发展，企业（泛指运营商、企业和行业用户）的业务应用和数据

10、正在从分散部署走向大集中，作为业务承载体的IT设施的部署模型随之发生翻天覆地的变化，互联互通已经不能满足流程整合后的业务持续发展的需求。网络是连接所有数据中心IT组件的唯一通用实体，构建坚实的网络基础设施将为数据中心业务永续、管理与运维提供保障。通常来讲，用户的业务可分为多个子系统，彼此之间会有数据共享、业务互访、数据访问控制与隔离的需求，根据业务相关性和流程需要，需要采用模块化设计，实现低耦合、高内聚，保证系统和数据的安全性、可靠性、灵活扩展性、易于管理。数据中心端到端网络设计原则为分区、分层和分级设计。22.12.1.1 分区设计分区，即把用户的整个IT系统按照关联性、管理等方面的需求划分

11、为多个业务板块系统，而每个系统有自己单独的核心交换，服务器，安全边界设备等，需要逐级访问控制，良好的逻辑分区设计与安全域划分成为数据中心网络的必备基础。根据企业自身特点，依据业务系统的相关性、数据流的访问要求和系统安全控制的要求等，可以把数据中心的服务器与业务系统分成内网区（Intranet）、外联区（Extranet）和互联网区（Internet）等，并在此基础上对业务流程进行深入细化。l Intranet区，企业内部访问的数据中心区域，通常称为内网区，对外部网络不可见。l Extranet区，企业提供给合作伙伴访问的数据中心区域，通常称为外联区；通过VPN接入实现对服务器群的访问和不同企业

12、的隔离。l Internet区，企业提供给internet用户访问的数据中心区域，也常称为DMZ区，外部用户通过公网访问，一般就是放在企业门户网站的服务器群。2.1.2 分层设计分层的主要是根据内外部分流原则，把传统数据中心网络分成标准的核心层、汇聚层和接入层三层结构。服务器与业务系统之间的流量大部分在单个功能分区内部，不需要经过核心；分区之间的流量才经过核心，而且在每个分区的汇聚层交换机上做互访控制策略会更容易、对核心的压力会更好、故障影响范围更小、故障恢复更快。l 核心层核心层提供多个数据中心汇聚模块互联，并连接园区网核心；要求其具有高交换能力和突发流量适应能力；大型数据中心核心要求多汇聚

13、模块扩展能力，中小型数据中心共用园区核心；当前以10GE接口为主，高性能要求4-8 10GE捆绑。l 汇聚层为服务器群（server farm）对外提供高带宽出口；要求提供大密度GE/10GE端口实现接入层互联；具有较多槽位数提供增值业务模块部署。l 接入层支持高密度千兆接入、万兆接入；接入总带宽和上行带宽存在收敛比、线速两种模式；基于机架考虑，1RU更具灵活部署能力；支持堆叠，更具扩展能力；上行双链路冗余能力。DC Coren 提供多个DC汇聚模块互联，并连接园区核心n 要求高交换能力和突发流量适应能力n 大型DC核心要求多汇聚模块扩展能力n 中小型DC共用园区核心n 当前以10G接口，高性

14、能要求4-8 10GE捆绑。DC Aggregationn 提供server farm对外流量高带宽出口n 大密度GE/10GE端口提供接入层互联n 较多槽位数提供增值业务模块部署n 接入业务二层终结要求:MSTP、VRRP、三层n 汇聚层数据交换有一定收敛比n 以汇聚模块作为业务扩展单元DC Accessn 高密度GE接入、万兆接入 n MSTPn 收敛比n 基于机架考虑1RU更具灵活部署能力n 堆叠更具扩展能力n 上行双链路冗余能力2.1.3 服务器接入分级设计目前的应用访问架构已经逐步由传统的客户机/服务器（简称C/S）架构向浏览器/服务器（简称B/S）的变迁，B/S的应用访问架构要求采

15、用三级的服务器架构，从整体来看包括三个层次：l Web层负责应用界面的提供，接受客户端请求并返回最终结果，是业务系统和数据的对外界面。如IIS、Apache服务器等等。l Application层负责数据的计算、业务流程整合，如常见的WebLogic、J2EE等中间件技术。l Database层负责数据的存储，供业务系统进行读写和随机调用。如MS SQL Server、Oracle 9i、IBM DB2等等2.1.4 数据中心网络设计优势l 面向下一代云计算网络适应云计算网络中的超高速交换，100G组网。大缓存组网，适应网络突发流量。扁平化组网，数据转发更加快捷。l 安全性好容易明确不同网络区

16、域之间的安全关系，可以单独对每个区域进行安全实施，不会对其它区域造成影响。l 扩展性好可根据不同区域和层次的功能按需建设，业务部署灵活，可以非常方便的增加新 Server Farm区，而不改变原有的网络结构。l 提高可用性可以最大限度的隔离故障域，简化数据路径，加快故障收敛时间。l 易管理网络结构清晰，日常的运维变得更加简单，问题定位容易2.2 云计算数据中心设计：扁平化/100G组网如果说提供云计算这种巨型计算服务的IT架构必然是集结了大规模基础资源的数据中心“超级航母”，它也必然要求大规模计算网络与其相适应。云计算IT资源的大规模集中运营，可极大优化基础资源的分布与调度，下图所示为理想的业

17、务模型。对于使用云计算服务的企业或个人而言，能够满足IT业务的最佳方式为计算能力按需增长、应用部署快速实现、工作负载可动态调整、投入成本规划可控；对于云计算服务供应商而言，为满足大量客户(个人或企业)的IT资源需求，其运营的IT基础架构需要有一个大规模的资源池，可基于服务客户数量的增长、客户业务负载增长的需求变化情况提供匹配的IT资源支持能力。虚拟化计算技术已经逐步成为云计算服务的主要支撑技术，特别是在计算能力租赁、调度的云计算服务领域起着非常关键的作用。虚拟化技术不仅消除大规模异构服务器的差异化，其形成的计算池可以具有超级的计算能力（如下图所示），一个云计算中心物理服务器达到数万台是一个很正

18、常的规模。一台物理服务器上运行的虚拟机数量是动态变化的，当前一般是4到20，某些高密度的虚拟机可以达到100:1的虚拟比(即一台物理服务器上运行100个虚拟机)，在CPU性能不断增强(主频提升、多核多路)、当前各种硬件虚拟化(CPU指令级虚拟化、内存虚拟化、桥片虚拟化、网卡虚拟化)的辅助下，物理服务器上运行的虚拟机数量会迅猛增加。一个大型IDC中运行数十万个虚拟机是可预见的，当前的云服务IDC在业务规划时，已经在考虑这些因素。2.22.2.1 虚拟机高密部署的挑战1、服务器虚拟化使数据中心服务器接入量成倍增长2、服务器接入网络面临网络流量快速提升，以及交换机端口流量突发的问题CPU演进：单核双

19、核四核八核 。服务器上可以安装越来越多的虚拟机。l 每核运行1.5个虚拟机（该比例是Intel提出的虚拟机SLA限制条件，即运行于满负载机器之上的所有作业的完成时间不应超过其在空载机器上单个 VM 中运行所需时间的 1.4 倍）； l 装备1个8核 CPU的服务器可运行12个虚拟机虚拟机高密部署使网络接入流量倍增l 早期每个服务器上运行一个业务，此时每台服务器的流量很少，甚至可能只有几兆l 随着服务器上部署的虚拟机越来越多，每台服务器的流量也越来越大。在虚拟化云计算网络环境，超高密度的虚拟机数量引入了有别于任何以往传统意义上数据中心的业务承载问题，在表象相似的网络平台上，“服务器/虚拟机”的数

20、量在单位空间和单位网络接口剧增，如下图所示，对基础网络的转发表项、吞吐能力、突发流量吸收提出了苛刻的要求。同时，虚拟机产生了不可预期的流量模型，特别是如虚拟机迁移、数据同步、数据备份等带来的突发性流量，网络如何适应?2.2.2 抑制流量突发的两种技术1、无阻塞交换技术:无阻塞转发正常流量，CLOS交换；100G国际标准2、分布式大缓存技术：吸附突发流量；入方向缓存；VOQ调度方式；CLOS交换 vs 传统Crossbar ：高速转发CLOS交换架构,采用CLos架构才能真正实现无阻塞：l 第一级（入方向线卡）将报文分片（cell）,通过N条链路到网板；l 第二级（网板）基于“分片动态路由”方式

21、，通过N条路径将分片发送到第三级（出方向线卡）；l 第三级重组报文；l 动态路由方式实现无阻塞交换，且可平滑扩展；l 出方向需要通过VOQ对入方向的流做调度； 传统Crossbar交换架构：l 交换网板基于静态路由方式，即业务流进入网板前，根据源端口制定或基于HASH算法选择一条路径。属于同一个路径的流容易形成拥塞，而其他路径则空闲；l 物理上可构成与CLOS相似的三级架构，但网板始终是基于静态路由的流转发。云计算的超高速网络：100G标准化以太网技术迅速发展，10GE技术当前已经在数据中心的骨干广泛应用，下图显示了2010年的以太网技术40G/100G标准发布，表明基础网络将快速进入超高速时

22、代同样，服务器IO也由千兆向万兆快速发展，随着IO加速技术、IO虚拟化技术的不断提升以及服务器多路多核计算能力的提升，当前的服务器IO已经具备接近10GE线速的吞吐能力，这种来自网络接入层的高性能吞吐必然驱动云计算网络架构采用更高的性能，以满足能力的匹配（如下图所示）。VoQ与分布式大缓存：吸附突发流量Virtual Output Queuing（VoQ） 技术的作用l 右转弯车辆，被阻塞在直行道上。这就是“头阻塞”问题l 设置右转弯道，保证右转车辆的通行，为各种方向的车辆设置专用通道，实现公平调度，这就是VOQ的作用VOQ技术保障线卡如何同步交换的效率 ：l 例如在SLOT2和SLOT8通信

23、时，如果SLOT7的第一个数据流也需要和SLOT8通信，则进行输入缓存，这时即使SLOT7的第二个数据流需要和其它SLOT通信也无法进行，将受到阻塞。 l 目前，在交换距阵增加了虚拟输出队列（VOQ）机制，即在输入缓存队列中为每一个SLOT输出单独建立输入缓存。不同缓存之间即不同SLOT的输出相互不影响。核心设备分布式大缓存吸附链路突发流量。上行、下行分别独立报文缓存配置，启动流控后，上下行缓存配合使用，上行、下行缓存独立可扩展。分布式缓存能缓冲更大的突发业务流量，增强数据中心持续业务能力，吸附数据中心与核心网突发流量，尤其适应未来云计算网络中的搜索等各种突发性业务。2.2.3 传统三层网络问

24、题及扁平化趋势随着虚拟机的部署，SOA软件架构的应用，数据中心服务器之间的流量猛增，流量模型越来越不可预知。传统的数据中心网络架构分为接入层、汇聚层和核心层，层次越多，所使用的设备就越多，延迟也会增加，当然，性能效率也会降低。网络该如何改变？传统三层网络带来的问题：l 数据延迟 （多层架构带来更多的跳数与延迟）l 网络复杂 （生成树协议浪费了大量的网络带宽 ）l 费用过高（大量端口用来连接交换机，而不是服务器和存储。大量的布线系统的浪费） 在大规模采用服务器虚拟化技术的新一代数据中心里，数据流量将主要集中在本地服务器之间的通信，如能减少网络层级，如不必再经过汇聚层交换机，势必会大大减少交换机之

25、间的交互次数，并减少延迟。只要减少一层，对于应用性能的提升都将是巨大的。适应下一代数据中心服务器之间流量猛增的趋势。l 数据转发无延迟（2跳，2.0时代为传统为4跳网络）l 网络更简单，性价比更好2.2.4 网络扁平化/100G数据中心设计优势扁平化组网设计，核心采用锐捷网络数据中心与云计算核心交换机RG-S12000系列，接入采用捷网络数据中心与云计算交换机RG-S6000系列。接入：大容量数据中心接入交换设备。 l 千兆服务器接入，采用支持高密度千兆下联，线速万兆上联的接入数据中心交换机RG-S6000系列，无阻塞设计l 万兆服务器接入，采用支持高密度万兆下联，线速40G /100G上联的

26、接入数据中心交换机RG-S6200系列，无阻塞设计核心：大容量数据中心核心设备。 l 核心层，采用支持40G/100G的数据中心交换机RG-S12000系列组网，高性能无阻塞。 l 同时支持高密度48口万兆线速下联，高性能无阻塞。 方案优势1：大容量，适应流量突发后，高速转发无阻塞核心交换机RG-S12000系列支持面向下一代数据中心的40G/100G的线卡，支持业界最高单板密度48口万兆的线卡，保证核心网络无阻塞。数据中心线卡，线卡支持下一代数据中心特性（FCoE/CEE/虚拟化/透明交换TRILL等）l M12000-16XS-DA （万兆口是SFP+形态）l M12000-48XS-DA

27、 （万兆口是SFP+形态）l M12000-04QXS-DA(40G模块)核心交换机S6200系列与S6000系列l RG-S6200-48XS本机固化了32个万兆SFP+光口，包含1个扩展槽。1个扩展槽可以扩展16口SFP+万兆模块或4口40G模块。整机可支持48口万兆或32口万兆+4口40G线速。全万兆兆的端口形态，加上可扩展的40G端口，适合超大型数据中心的接入层（万兆服务器接入），或中小型数据中心网络的汇聚或核心。l RG-S6000-48GT4XS：固化48口千兆，4口万兆。完全实现48个千兆服务器接入，4口万兆上联。实现了无阻塞的数据中心千兆接入方案。 方案优势2：大容量，适应流量

28、突发后，高速转发无阻塞整机扩展支持6G超大缓存，业界缓存能力最高。核心设备分布式大缓存吸附链路突发流量。上行、下行分别独立报文缓存配置，启动流控后，上下行缓存配合使用，上行、下行缓存独立可扩展。整机扩展支持6G超大缓存，业界缓存能力最高，分布式缓存能缓冲更大的突发业务流量，增强数据中心持续业务能力，吸附数据中心与核心网突发流量，尤其适应未来云计算网络中的搜索等各种突发性业务。方案优势3：扁平化组网 ，适应业务快速转发适应下一代数据中心服务器之间流量猛增的趋势。l 数据转发无延迟（2跳，2.0时代为传统为4跳网络）l 网络更简单，性价比更好（减少了网络的布线系统，减少了汇聚层设备的购买，管理也更

29、加的简单）方案优势4：设备级与网络级CLos架构，实现无阻塞转发分布式Crossbar交换芯片架构（Clos交换的方式），核心交换机的设备级Clos转发模式，实现无阻塞的数据转发。以及整机的性能提升。l 线卡提供CROSSBAR芯片，线卡可以提供多颗ASIC芯片，线卡与背板连接带宽以及线卡支持的端口密度都可以得到数倍提升。 l 在业内真正率先实现了高密度的48口万兆模块的扩展支持。 l Crossbar 交换芯片采用CLOS交换架构实现无阻塞数据转发：n 第一级（入方向线卡）将报文分片（cell）,通过N条链路到网板；第二级（网板）基于“分片动态路由”方式，通过N条路径将分片发送到第三级（出方

30、向线卡）；第三级重组报文；n 动态路由方式实现无阻塞交换，且可平滑扩展；网络级Clos架构下一代数据中心和云计算需要超大的计算能力和网络交换能力，通过网络来组织数千台至上万台服务器的协同计算，因此云计算的支撑网络也提出了无阻塞的方向。为此贝尔实验室研究员Charles Clos设计的一种多级交换结构，实现无阻塞交换。但是，Clos架构指的并不是一个产品的架构，而是指的是一个无阻塞网络，Clos Network.单一产品无阻塞，保证的只是网络中的一个节点无阻塞，只有整网无阻塞，才能真正的实现网络无阻塞。接入层设计（无阻塞接入设备）：RG-S6200-48XS数据中心交换机，固化32口万兆，1个扩

31、展槽，支持16口万兆模块或4口40G模块。整机全线速，用于万兆/千兆服务器接入（业界首个）。RG-S6200-48XS，整机48口万兆全线速 ，交换容量：960G，包转发率：700Mpps。支持40G/100G扩展。l 固化了32个万兆SFP+光口，包含1个扩展槽 l 1个扩展槽可以扩展16口SFP+万兆模块或4口40G模块 l 1U高度 核心层设计（无阻塞核心设备）：RG-S12000 Cloud Computing系列l 单板十万兆线速转发,支持单板4口40G/100G接口线速。整机最高扩展384个万兆端口。l 最高单板960G交换容量，整机最高7.68T交换容量，整机最高5714Mpps

32、包转发率。l 下一代数据中心与云计算网络专用模块：n 高密度16口万兆SFP+模块n 超高密度48口万兆SFP+模块（业界首个）n 4口40G模块（业界首个）2.3 数据中心高可用解决方案随着市场竞争的日益加剧，客户对信息系统的依赖性和要求越来越高，保证数据中心的高可用性，提供724小时网络服务成为建网的首要目标，也是数据中心建设关注的第一要素。导致网络不可用，即网络故障的原因主要有两类：1、不可控因素，如自然灾害、战争、大停电、人为破坏等通过建设生产中心、本地备份中心、异地容灾中心，即“两地三中心”模式，通过良好的整体规划设计，保证不可控因素影响下数据中心的高可用。2、可控因素，如设备故障、

33、链路故障、网络拥塞、维护误操作、恶意攻击等。锐捷网络在相关产品设计上考虑了诸多因素，提供了全系列的解决方案，包括物理设备、链路层、IP层、传输层和应用层，全方位的提高网络可用性。l 硬件设备冗余，如设备双主控、单板热插拔、冗余电源、冗余风扇。l 物理链路冗余，如以太网链路聚合等。l 环网技术，如：REUP、RERP等技术。l 二层路径冗余，如：MSTP、REUP。l 三层路径冗余，如：VRRP、ECMP、动态路由快速收敛。l 快速故障检测技术，如：BFD等。l 不间断转发技术，如GR等。除了产品高可用性外，锐捷网络在数据中心整体设计上提供完整的高可用方案，具体可分为：服务器接入高可用设计，接入

34、层到汇聚的高可用设计，汇聚层的高可用设计。2.32.3.1 服务器接入高可用常见1RU机架式服务器最少三个网口n 两个业务网口n 一个管理网口n 可能带存储网络接口也称服务器多网卡接入。为了实现接入高可用，服务器通常采用多链路上行，即服务器的两块甚至多网卡接入，服务器中的网络驱动程序将两块或者多块网卡捆绑成一个虚拟的网卡，如果一个网卡失效，另一个网卡会接管它的MAC地址，两块网卡使用一个IP地址，而且必须位于同一广播域，即同一子网下。服务器和接入交换机之间的连接方式有几种方式：l 服务器采用网卡/链路容错模式接入到盒式交换机l 服务器采用网卡/链路容错模式接入到堆叠交换机组l 服务器采服务器采

35、用交换机容错方式模式分别接入到两台交换机上l 将VLAN Trunk到两台汇聚层设备上用网卡/链路容错模式接入到交换机的不同接口板,交换机采用双主控网络可用性从左至右依次升高。推荐采用第四种接入方式。第四种连接方式服务器采用交换机容错模式分别接入到两台机柜式交换机上，并且将VLAN Trunk到两台设备上，实现服务器的高可靠接入。2.3.2 接入层到汇聚的高可用（未采用虚拟化）接入到汇聚层共有四种连接方式，分别为倒U型接法、U型接法、三角型接法和矩形接法，这里所谓不同类型的接法是以二层链路作为评判依据，比如说矩形接法，从接入到接入，接入到汇聚、汇聚到汇聚均为二层链路连接，因此形成了矩形的二层链

36、路接法。1、二层无环路设计，倒U型组网、不使能STP方案优点：l 不启用STP，好管理（网络络接入层不存在二层环路，接入层交换机可以不启用生成树协议，因此网络的配置管理简单）l VLAN 可以跨汇聚层交换机，服务器部署灵活（服务器的接入VLAN可以跨汇聚交换机，因此能实现VLAN跨不同的接入层交换机，服务器可实现跨接入交换机的二层互联，服务器接入扩展性好）l 必须通过链路聚合保证高可靠性（接入交换机上行汇聚交换机采用捆绑链路，因此上行链路可靠性高，链路的带宽利用率高）方案缺点：l 汇聚交换机故障时，服务器不可达，无法实现高可靠接入（当汇聚交换机与接入交换机之间的链路中断时，服务器不能感知这种故

37、障，服务器上行流量仍然发送到出现故障的接入交换机，从而形成了“流量黑洞”；）机架式服务器适用性分析：l 由于存在“流量黑洞”的问题，因此不建议在机架式服务器接入时采用这种组网。刀片服务器适用性分析：l 刀片交换机可通过上行捆绑链路的状态监测机制解决“流量黑洞”问题：刀片交换机在正常运行状态时，周期性的对上行汇聚层交换机的接口进行状态检查，当发现上行接口故障时，该刀片交换机将shutdown其上所有端口。此时，接入到该刀片交换机上的服务器将把流量切换到与另一个刀片交换机相连的网卡上，从而避免了“流量黑洞”。l 这种方案配置管理简单，如刀片交换机具备防 “流量黑洞”的特性，则适用于刀片交换机的网络

38、接入。2、二层无环路设计，U型组网、不使能STP方案优点：l 不启用STP，好管理（网络络接入层不存在二层环路，接入层交换机可以不启用生成树协议，因此网络的配置管理简单）l 双active链路，接入交换机密度高。方案缺点：l VLAN不能跨汇聚层，服务器部署不灵活。（服务器的接入VLAN不能跨汇聚层，服务器不能实现跨交换机的二层互联，网络的二层扩展能力有限）l 接入交换机间链路故障，VRRP心跳报文无法传递，整机做VRRP主备切换，故障收敛时间长（服务器网关指向汇聚交换上VRRP的VIP地址，但VRRP心跳报文的传输路径必须经过两台接入交换机，当两台接入层交换机之间的链路发生中断时，两台汇聚交

39、换机都变为VRRP主设备，网络进入三层不稳定状态 ）机架式服务器适用性分析：l 网络接入不具备高可用性，且二层扩展能力有限，因此不建议在机架式服务器接入时采用这种组网。刀片服务器适用性分析：l 网络接入不具备高可用性，二层扩展能力有限，不建议在刀片服务器接入时采用这种组网。3、矩形组网，使能STP方案优点：l 双active链路，接入交换机密度高（接入交换机到汇聚交换机间有冗余链路，网络接入层具备高可用性。）l VLAN可以跨汇聚层交换机（服务器接入VLAN可以跨汇聚交换机，能实现VLAN跨不同的接入交换机，服务器可实现跨接入交换机的二层互联，服务器接入扩展性好。）方案缺点：l 一半的接入流量

40、通过汇聚之间的链路 l 接入交换机上行链路故障，流量将从一侧的交换机上行，收敛比变小，网络易拥塞，降低网络高可用性 （正常情况时，两台接入交换机之间的链路被生成树协议阻塞。当某台接入交换机上行链路故障时，交换机之间的链路变为转发状态。此时，发生故障的交换机一侧的所有服务器上行流量，将经过另一侧交换机上行到汇聚交换机，该交换机的上行收敛比增加一倍，导致网络发生拥塞，网络转发性能降低）机架式服务器适用性分析：l 服务器接入具备高可用性和高可扩展性。当一侧接入交换机发生故障时，另一侧交换机拥塞加重，网络转发性能降低，因此不建议在机架式服务器接入时采用这种组网。刀片服务器适用性分析：l 刀片交换机模块

41、需要配置生成树协议，不利于刀片系统的管理维护。且同样存在一侧刀片交换机故障时，网络转发性能下降的问题，因此不建议在刀片服务器接入时采用这种组网。4、三角形组网，使能STP方案优点：l 链路冗余，路径冗余，故障收敛时间最短（接入交换机到汇聚交换机有冗余链路，接入网络具备高可用性，且通过MSTP可实现上行流量分担。）l VLAN 可以跨汇聚层交换机，服务器部署灵活（服务器接入VLAN可以跨汇聚交换机，能实现VLAN跨不同的接入交换机，服务器可实现跨接入交换机的二层互联，服务器接入扩展性好。）方案缺点：l 网络配置管理较复杂，为提高二层网络的高可用性与安全性，在接入交换机与汇聚交换机上使能“BPDU

42、保护”、“环路保护”、“根保护”等特性；机架式服务器适用性分析：l 服务器接入网络具备高可用性、高可扩展性，建议在机架式服务器接入时采用这种组网。刀片服务器适用性分析：l 刀片交换机上的配置复杂，可管理性较差，不建议在刀片服务器接入时采用这种组网。VLAN跨汇聚层带来的灵活性:l VLAN可以跨机架，扩展性好l 图中两台黄色的服务器可以配置在一个VLAN中l 这种部署需要管理的设备较多，管理工作量大2.3.3 汇聚设备高可用汇聚交换设备之间的VRRP；n VRRP协议实现虚拟网关的冗余备份机制，配置多个VRRP组实现网关的负载分担，但要注意当一个网关出现故障时，这种负载分担就失去作用了n 可以

43、通过配置调整网关的优先级来控制VRRP组内master的选举n 合理配置master发送hello报文的时间，这会影响master失效时，backup接替master的响应时间（通常是3个hello时间），但当VRRP组很多时，hello timer设置的过小会增加网关设备CPU的负担n 使用非抢占模式时，可以保持业务流量的稳定、减少倒换次数，避免不必要的中断n 使用抢占模式时，建议配置抢占delay时间，避免网络不稳定时引起VRRP组内master的频繁变化，严重影响业务n 建议在VRRP组内配上对上行端口的监控功能，以提高网络的可用性安全、应用优化设备之间的VRRP：可以内置或者旁挂到汇聚

44、交换机上(推荐旁挂，而不是串连到网络中，消除性能瓶颈)。利用HA实现在Master和Backup防火墙设备之间备份关键配置命令和会话表状态信息的备份。通过指定的负载均衡算法，对指向服务器的流量做负载均衡，保证服务器群能尽最大努力向外提供服务，提升服务器的可用性，提升服务器群的处理性能。2.3.4 网络单机设备高可用接入单机高可用接入层设备RG-S6200/6000系列支持电源冗余，支持内置冗余电源模块和模块化风扇组件，所有接口板，电源模块以及风扇模块均可以热插拔而不影响设备的正常运行。此外整机还支持电源和风扇的故障检测及告警，可以根据温度的变化自动调节风扇的转速，更好的适应数据中心的环境。还具

45、备设备级和链路级的多重可靠性保护。采用过流保护、过压保护和过热保护技术。良好的散热及可靠性工业设计 l 4风扇设计（红框），有效保证设备内部温度恒定。 l 双电源设计（篮框），保证数据中心设备正常。 l 设备前端的散热设计（详见右下图红框），4风扇后端抽风，前端散热。符合数据中心要求 l 均支持热插拔 核心单机高可用RG-S12000在产品硬件设计上充分考虑了高可靠性的设计。所有的硬件部件均采用了冗余设计的方式l 双引擎热备设计实现数据不间断转发。设备启动时，主引擎将设备中的配置信息、系统信息以及线卡、风扇、电源等信息全局同步给备份引擎。此后运行过程中，主引擎以增量的方式将信息同步给备份引擎。

46、主引擎出现故障后，备份引擎接替主引擎工作，线卡维持FIB转发表不变，同时备份引擎保留了主引擎同步的各种信息，保证数据的不间断的转发l 电源采用1+1冗余设计方式单个电源可负载整个交换机的供电，采用1+1备份的方式，当一个电源出现问题时，另外一个电源可接替主电源，保证设备供电。双电源同时开启时，支持负载均衡式供电。这样原本一个电源承载的符合分担到两个电源上，减少了耗电量。当一个电源出问题时，另外的电源也可负荷整台设备的供电。l 6风扇冗余设计，良好的散热设计采用6风扇设计，风扇分布在机箱背部左、中、右三部分。对机箱进行散热，保证机箱内部温度均衡。此种设计非常有利于设备安置在没有空调设备的配线间中（设备放置在楼宇做汇聚）。在左、中、右三部分，6个风扇均为上下两个1+1备份（同时工作）的方式，即使1个风扇坏掉，备份风扇也可进行散热，保证设备内部温度均衡l 无源背板设计传统的背板采用有源设计，一旦有源背板上的ASIC芯片或时钟模块等有源部件出现问题，则影响了整个系统数据传输。 一旦背板上的部件出现故障则整个系统将停止工作。因此高可靠性的系统设计通常要求背板实现无源设计。数据不间断转发可靠性特性设计GR/NSF。在没用完美重启技术的时候，因各种原因出现的主备切换，都会造成短时间转发中断（例如如问题设备引入大量外部路由，外部路由需要重