数据中心网络及安全方案规划与设计.doc

《数据中心网络及安全方案规划与设计.doc》由会员分享，可在线阅读，更多相关《数据中心网络及安全方案规划与设计.doc（69页珍藏版）》请在三一办公上搜索。

1、数据中心网络及安全方案规划与设计一、1.1. 数据中心网络建设目标XX数据中心未来将XX集团承载所有生产环境系统。数据中心网络作为业务网络的一个重要组成部分，为核心业务系统服务器和存储设备提供安全可靠的接入平台。网络建设应达成以下目标：高可用网络作为数据中心的基础设施，网络的高可用直接影响到业务系统的可用性。网络层的高可用至少包括高可靠、高安全和先进性三个方面：u 高可靠：应采用高可靠的产品和技术，充分考虑系统的应变能力、容错能力和纠错能力，确保整个网络基础设施运行稳定、可靠。当今，关键业务应用的可用性与性能要求比任何时候都更为重要。u 高安全：网络基础设计的安全性，涉及到XX业务的核心数据安

2、全。应按照端到端访问安全、网络L2-L7层安全两个维度对安全体系进行设计规划，从局部安全、全局安全到智能安全，将安全理念渗透到整个数据中心网络中。u 先进性：数据中心将长期支撑XX集团的业务发展，而网络又是数据中心的基础支撑平台，因此数据中心网络的建设需要考虑后续的机会成本，采用主流的、先进的技术和产品（如数据中心级设备、CEE、FCoE、虚拟化支持等），保证基础支撑平台510年内不会被淘汰，从而实现投资的保护。易扩展XX集团的业务目前已向多元化发展，未来的业务范围会更多更广，业务系统频繁调整与扩展再所难免，因此数据中心网络平台必须能够适应业务系统的频繁调整，同时在性能上应至少能够满足未来51

3、0年的业务发展。对于网络设备的选择和协议的部署，应遵循业界标准，保证良好的互通性和互操作性，支持业务的快速部署。易管理数据中心是IT技术最为密集的地方，数据中心的设备繁多，各种协议和应用部署越来越复杂，对运维人员的要求也越来越高，单独依赖运维人员个人的技术能力和业务能力是无法保证业务运行的持续性的。因此数据中心需要提供完善的运维管理平台，对数据中心IT资源进行全局掌控，减少日常的运维的人为故障。同时一旦出现故障，能够借助工具直观、快速定位。1.2. 总体设计思路及原则数据中心为XX集团业务网络、日常办公与外联单位提供数据访问、OA和视频等服务，以及各业务的安全隔离控制。数据中心并不是孤立存在的

4、，而是与大连中心、网络汇聚中心外联单位网络等网络区域相辅相成，数据中心基础网络是业务数据的传输通道，将数据的计算和数据存储有机的结合在一起。为保证数据中心网络的高可用、易扩展、易管理，数据中心网络架构需按照结构化、模块化和扁平化的原则设计：12u 结构化结构化的网络设计便于上层协议的部署和网络的管理，提高网络的收敛速度，实现高可靠。数据中心网络结构化设计体现在适当的冗余性和网络的对称性两个方面。如下图所示：冗余的引入可以消除设备和链路的单点故障，但是过度的冗余同样会使网络过于复杂，不便于运行和维护，因此一般采用双节点双归属的架构设计网络结构的对称，可以使得网络设备的配置简化、拓扑直观，有助于协

5、议设计分析。在数据中心网络设计时，由于引入了冗余和对称的设计，这必将引入网络的环路，可通过如下建设思路消除环路影响：1 启用STP和VRRP协议传统解决方案，标准的协议，设备要求较低。但此种部署方案网络的协议部署复杂，收敛慢，链路带宽利用率低，运维管理工作量大。本方案设计不采用此方法。2 IRF网络设备N:1虚拟化技术通过H3C IRF技术对同一层面的设备进行横向整合，将两台或多台设备虚拟为一台设务，统一转发、统一管理，并实现跨设备的链路捆绑。因此不会引入环路，无需部署STP和VRRP等协议，简化网络协议的部署，大大缩短设备和链路收敛时间（毫秒级），链路负载分担方式工作，利用率大大提升。在本方

6、案的设计中，将采用端到端的IRF部署，满足网络高可靠的同时，简化网络运维管理。u 模块化构建数据中心基础网络时，应采用模块化的设计方法，将数据中心划分为不同的功能区域，用于实现不同的功能或部署不同的应用，使得整个数据中心的架构具备可伸缩性、灵活性、和高可用性。数据中心中的服务器将会根据服务器上的应用的用户访问特性和应用的功能不同部署在不同的区域中。如下图所示：数据中心网络分为网络接入区、数据中心核心交换区和服务器接入区三大功能区域，其中网络接入区和服务器接入区依据服务类型的不同，可进行子区的细分，详细参见“业务分区”章节的描述。数据中心核心区用于承接各区域之间的数据交换，是整个数据中心的核心枢

7、纽，因此核心交换机设备应选用可靠性高的数据中心级设备部署。在进行模块化设计时，尽量做到各模块之间松耦合，这样可以很好的保证数据中心的业务扩展性，扩展新的业务系统或模块时不需要对核心或其它模块进行改动。同时模块化设计也可以很好的分散风险，在某一模块（除核心区外）出现故障时不会影响到其它模块，将数据中心的故障影响降到最小。u 扁平化数据中心的网络架构依据接入密度和分为三层架构和二层架构，如下图所示：传统的数据中心网络通常采用三层架构进行组网，三层架构可以保证网络具备很好的扩展性，同一个分区内服务器接入密度高。但三层架构网络设备较多，不便于网络管理，运维工作量大。同时组网成本相对较高。随着网络交换技

8、术的不断发展，交换机的端口接入密度也越来越高，二层组网的扩展性和密度已经能够很好的满足企业数据中心服务器接入的要求。同时在服务器虚拟化技术应用越来越广泛的趋势下，二层架构更容易实现VLAN的大二层互通，满足虚拟机的部署和迁移。相比三层架构，二层架构可以大大简化网络的运维与管理。综合上述因素，数据中心的网络设计采用二层扁平化架构，满足扩展性的同时，实现易管理。1.3. 业务分区按照3.2章节中的“模块化”设计原则，需要对业务系统进行分区。从技术看，业务分区需要遵循以下原则：u 分区优先考虑访问控制的安全性，单个应用访问尽量在一个区域内部完成，单个区域故障仅影响一类应用，尽量减少区域间的业务耦合度

9、；u 区域总数量的限制：但区域多则运维管理的复杂度和设备投资增加，区域总数量有运维上限不超过20个；u 单个区域内服务器数量的限制：受机房空间、二层域大小、接入设备容量限制，单个区域内服务器数量有限（通常不超过200台）。u 接入层设备利用率的限制：受机房布局的影响，如果每个机房都要部署多个安全区的接入交换机，会导致接入交换机资源浪费，端口利用率低，因此安全区的数量不宜过多。u 防火墙性能的限制: 区域之间的流量如果超过10G，则需要考虑通过防火墙横向扩容，或区域调整的方式分担流量。在实际的数据中心分区设计中，通常有以下三种分区方法：1. 按照业务功能进行分区：根据业务系统的功能（如生产、OA

10、、支撑等）或业务的实时性（实时业务、非实时业务）或者业务系统的功能（如ERP、营销、财务等）进行分区划分，此分区方法适合大多数企业数据中心；2. 按照安全等保级别进行分区：按照业务系统的安全等级定义进行划分，如“三级系统独立成域，二级系统统一成域”，此分区方法适合政府、电力等行业数据中心；3. 按照服务器类型进行分区：一般分为WEB服务器区、APP/中间件服务器区、DB服务器区。此分区适合互联网企业等数据中心。按照需求调研时了解的XX集团业务系统分布情况，结合业务系统的用户类型，数据中心的分区设计按照业务功能进行分区。分区设计如下：各区域业务系统部署描述如下：办公局域网区：XX数据中心大楼办公

11、网络，包括终端、楼层接入与汇聚。广域网接入区：与网络汇聚中心广域网络互连，网络出口。外联网接入应用区：与合作单位的专线互连，此区域也包括合作单位的业务前置机服务器。互联网接入应用区：互联网出口，此区域也包括集团网站群WEB服务器、集团邮件系统、DNS服务器等。百货应用区：此区域部署与百货相关的应用服务器，包括百货促销、MIS、BI等应用系统。KTV应用区：此区域部署与KTV相关的应用服务器，包括FTP、管控、WEB、DB等应用系统。院线应用区：此区域部署与院线相关的应用服务器，包括火凤凰、会员等应用系统。OA应用区：此区域部署集团内部的OA应用服务器，包括OA、RTX、泛微、图档、视频会议、文

12、件、网络教学、网上招投标等应用系统。ERP/财务应用区：部署集团内部的ERP和财务应用服务器。其它应用区：部署商管、地产、酒店等应用服务器。开发测试区：此区域用于集团内部信息系统的开发与测试，或新系统上线前的测试部署。灾备接入应用区：此区域与大连中心互联，实现数据级的异地灾备。同时此区域可以部署一些本地的重要系统备份应用。支撑管理区：此区域部署数据中心网络、安全、服务器、存储等IT资源的运维管理系统，此外包括集团内部的域管理和身份认证服务器。数据中心核心区：此区域用于实现各分区之间的数据交互，是数据中心网络平台的核心枢纽，无服务器部署。1.4. 网络设计结合上述的业务分区，按照结构化、模块化、

13、扁平化的设计原则，实现高可用、易扩展、易管理的建设目标。网络整体拓扑如下图所示：整体网络拓扑采用扁平化两层组网架构，从数据中心核心区直接到服务器接入，省去了中间的汇聚层，这种扁平化的网络结构有以下优点：u 简化网络拓扑，降低网络运维的难度；u 服务器区容易构建大二层网络，更适合未来的虚拟机大量部署及迁移；u 服务器接入交换机未来的扩展可直接在现有的IRF虚拟组添加成员交换机，扩展方便。对于数据中心的网络安全部署，在本方案中采用了“分布式安全部署”的策略，防火墙形态采用了H3C SecBlade安全插卡，实现网络安全的融合。详细的安全设计参加“3.5安全设计”章节。纵观整体方案拓扑，在此方案设计

14、与部署时共采用了IRF虚拟化、网络安全融合、智能管理三种H3C特有的关键技术(详细参见5.2章节相关介绍)，在保证数据中心的高可靠的同时，简化网络运维管理，同时提供了智能化的管理工具平台。1.4.1. 核心交换区u 功能描述核心交换区的主要功能是完成各服务器功能分区、办公局域网、外联网、互联网之间数据流量的高速交换，是广域/局域纵向流量与服务功能分区间横向流量的交汇点。核心交换区必须具备高速转发的能力，同时还需要有很强的扩展能力，以便应对未来业务的快速增长。核心模块是整个平台的枢纽。因此，可靠性是衡量核心交换区设计的关键指标。否则，一旦核心模块出现异常而不能及时恢复的话，会造成整个平台业务的长

15、时间中断，影响巨大。u 拓扑设计u 设计要点1. 高可靠核心交换设备选用数据中心级核心交换机，配置双引擎，双电源，保证网络组件层面的稳定性。网络架构层面，采用双核心设计，两台设备进行冗余，并通过虚拟化技术进行横向整合，将两台物理设备虚拟化为一台逻辑设备，并实现跨设备的链路捆绑，所各分区的交换机IRF相配合，实现端到端IRF部署。两台设备工作在双活模式，缩短链路故障与设备故障的倒换时间(毫秒级)，保证出现单点故障时不中断业务。为保证出现单点故障(链路/设备)时另一台设备能够完全接管业务，各功能模块通过“口”字形上行与核心模块互连。2. 高速传输本次网络设计容量应保证未来35年内的业务扩展，本设计

16、采用“万兆到核心，千兆接入”的思路，核心模块对外接口为全万兆接口。3. 易于扩展按照“核心边缘架构”的设计原则，核心模块应避免部署访问控制策略（如ACL、路由过滤等），保证核心模块业务的单纯性与松耦合，便于下联功能模块扩展时，不影响核心业务，同时可以提高核心模块的稳定性。4. 智能分析针对各个区域的业务流量变化趋势，本次在核心交换机上部署网络流量分析模块，可以实时感知，并作为网络优化及调整的依据。1.4.2. 服务器接入区u 功能描述服务器接入区用于完成服务器的LAN网络接入，依照3.3章节的业务分区设计，涉及到服务器接入的业务分区包括百货应用区、KTV应用区、院线应用区、ERP/财务应用区、

17、开发测试区、支撑管理区、其它应用区，这些区域虽然部署的应用服务器类型不一样，设备的选型要求也不一样，但对于网络拓扑设计来说是一样的，因此在方案设计时，这些区域的网络拓扑设计将在此统一进行描述。u 拓扑设计注：院线应用区若部署院线WEB服务器，则服务器接入交换机上除了部署FW插卡外，还顼要部署IPS和SLB插卡。u 设计要点1. 服务器接入交换机部署双机，并采用IRF虚拟化，将两台物理设备虚拟化为一台逻辑设备，实现跨设务链路捆绑，与核心交换机配合实现端到端IRF。此外服务器双网关配置成双活模式（Active-Active），；2. 各服务器接入交换机上部署SecBlade FW插卡，用于本区域与

18、其它区域的访问控制策略部署。院线应用区部署FW+IPS+LB插卡；3. 服务器网关部署在接入交换机上，防火墙插卡与接入交换机以及核心交换机之间运行OSPF动态路由，实现FW的双机热备。1.4.3. 互联网区u 功能描述互联网区用于部署集团WEB服务器、院线WEB服务器（若需要），以及集团的DNS、FTP、E-mail等需要通过互联网对公众用户提供服务器的应用系统。u 拓扑设计u 设计要点1. Internet出口采用双运营商链路，保证用户访问效率的同时，实现链路的冗余；2. 服务器接入交换机部署双机，并采用IRF虚拟化，将两台物理设备虚拟化为一台逻辑设备，实现跨设务链路捆绑，与服务器双网卡配合

19、实现双活(Active-Active)；3. 采用双层防火墙部署，外层防火墙用于实现Internet与WEB、DNS、Email、FTP等公网服务器的隔离，实现公网服务器的分域，并配置DMZ区域保证安全。内层防火墙用于实现公网服务器与数据中心内部其它服务器之间的隔离，部署内部区域间的访问控制策略。外层防火墙采用独立设备、内层防火墙采用在服务器接入交换机上部署SecBlade FW插卡。4. 由于Internet区部署了较多的网站等WEB服务器，因此需要部署LB和IPS设备。来保证负载分担和L2L7层安全过滤。1.4.4. 外联网区u 功能描述外联网区用于实现与合作单位的专线网络进行互联，并部署

20、合作单位的前置机服务器。u 拓扑设计u 设计要点1. 服务器接入交换机部署双机，并采用IRF虚拟化，将两台物理设备虚拟化为一台逻辑设备，实现跨设务链路捆绑，与服务器双网卡配合实现双活(Active-Active)；2. 采用双层防火墙部署，外层防火墙用于实现前置机服务器与合作单位网络的隔离，可部署NAT。内层防火墙用于实现前置机服务器与数据中心内部其它服务器之间的隔离，部署内部区域间的访问控制策略。外层防火墙H3C SecBlade FW插卡、内层防火墙可采用非H3C的第三方FW独立设备进行异构，加强安全性。3. 服务器接入交换机上部署SecBlade IPS插卡，实现L2L7层安全过滤。1.

21、4.5. 广域网接入区u 功能描述广域网接入区用于实现与网络汇聚中心的互连，保证集团内部用户通过广域网访问数据中心内的业务系统。（必要时也可考虑与大连数据中心互联）u 拓扑设计u 设计要点1. 广域网出口路由器部署双机，出口链路为双链路，保证广域网出口高可靠；2. 防火墙采用路由器上部署SecBlade FW插卡。1.4.6. 灾备接入区u 功能描述灾备接入区用于实现数据中心与大连灾备中心的互连，实现SAN和LAN网络双中心的互通，保证数据同步复制。同时通过将两中心的VLAN二层打通，实现跨数据中心的大二层网络，便于虚拟机业务迁移和跨地域服务器集群。u 拓扑设计u 设计要点1. 数据中心与大连

22、灾备中心之间采用双路裸纤做灾备互连链路，并采用DWDM进行复用。2. SAN网络直接通过光纤上DWDM波分设备，实现数据存储备份通道的互通。LAN网络通过在服务器网关交换机设备上通过VLAN Trunk到汇接交换机，然后再上DWDM设备，实现双中心之间的大二层VLAN互通。3. 汇接交换机部署IRF，实现双纤捆绑，保证链路的可靠性。4. 跨地域的二层打通后，可以实现网关设备跨地域部署VRRP，保证双中心服务器集群时网关的切换。1.5. 安全设计1.5.1. 安全设计原则安全与网络密不可分，本方案中的安全设计部署采用了与网络分区相同的安全域划分，同时采用SecBlade安全插卡实现了网络与安全设

23、备形态的融合。整个方案的安全部署采用了目前应用广泛的“分布式安全部署”方法，如下图右侧所示：分布式安全部署具有以下优势：u 分散风险：传统的集中式安全部署一般将防火墙旁挂在核心交换机两侧，这样一旦防火墙出现故障，数据中心内的所有业务区都将不能访问，整个数据中心的所有业务均会中断，风险和性能压力都集中在防火墙上。而采用分布式部署后，防火墙出现故障只会影响到本区域的业务，进而实现风险和性能的分散，提高了整个数据中心的可靠性；u 灵活扩展：分部式安全部署，核心交换机原则上不部署任何与业务分区之间的安全策略，可实现核心区与各业务分区之间的松耦合，在新增模块或业务系统时，无需更改核心设备的配置，减小核心

24、区出现故障的机率，保证核心区的高可靠与业务分区的灵活扩展；u 简化安全策略部署：防火墙下移到各业务分区的出口，防火墙上部署的安全策略可大大简化，默认仅需要划分两个安全域（受信域与非受信域），采用白名单方式下发策略，减少了策略的交叉。1.5.2. SecBlade FW插卡部署防火墙设备在数据中心网络架构中为内部系统提供了安全和可靠性保障。防火墙主要部署在数据中心的两个常见区域中：数据中心出口区域和服务器区域。在数据中心出口区域部署防火墙可以保障来自Internet和合作伙伴的用户的安全性，避免未经授权的访问和网络攻击。在数据中心服务器区域部署防火墙可以避免不同服务器系统之间的相互干扰，通过自定

25、义防火墙策略还可以提供更详细的访问机制。防火墙插卡设备虽然部署在交换机框中，但仍然可以看作是一个独立的设备。它通过交换机内部的10GE接口与网络设备相连，它可以部署为2层透明设备和三层路由设备。防火墙与交换机之间的三层部署方式与传统盒式设备类似。 如上图FW三层部署所示，防火墙可以与宿主交换机直接建立三层连接，也可以与上游或下游设备建立三层连接，不同连接方式取决于用户的访问策略。可以通过静态路由和缺省路由实现三层互通，也可以通过OSPF这样的路由协议提供动态的路由机制。如果防火墙部署在服务器区域，可以将防火墙设计为服务器网关设备，这样所有访问服务器的三层流量都将经过防火墙设备，这种部署方式可以

26、提供区域内部服务器之间访问的安全性。XX集团数据中内部，整体安全采用分布式部署设计，已经对不同的业务系统进行了分区，整体安全边界清晰。为简化SecBlade FW的配置，提高网关性能，将服务器的网关均部署在接入交换机上， SecBlade FW插卡仅部署本分区内与其它分区之间的安全策略。若本分区内各服务器之间有隔离需求，建议在接入交换机上采用ACL方式实现。如下图所示：对于仅部署SecBlade FW插卡的业务区（如百货、KTV、ERP/财务、开发测试、支撑管理、外联网区），区域内的安全部署逻辑拓扑如下图所示：u 接入交换机双机部署IRF虚拟化，并实现跨设备链路捆绑。两块SecBlade FW

27、插卡逻辑上相当于插在同一台交换机上。u 每台接入交换机逻辑上均可以看成一台L2交换机与一台L3交换机的叠加，服务器网关部署在交换机上。u SecBlade通过内部的10GE接口与交换机互连，并创建多个L3接口进行引流，让所有流经服务器的流量均经过FW过滤。两块FW插卡通过带外状态同步线（心跳线）进行状态同步，FW插卡之间通过OSPF动态路由实现热备或负载分担（ECMP）。1.5.3. SecBlade FW+IPS+LB组合部署对于XX数据中心的院线应用区、互联网应用区，需要涉及到FW+IPS+LB的组合部署，FW插卡的基本特性3.5.2章节已做描述，下面先介绍IPS和LB插卡的基本组网：u

28、SecBlade IPS基本组网设计SecBlade IPS插卡为数据中心内部提供了更坚固的安全保护机制。通过IPS的深度检测功能可以有效保护内部服务器避免受到病毒、蠕虫、程序漏洞和DDOS等来自应用层的安全威胁。IPS插卡通过OAA（开放的应用架构）技术与宿主交换机配合使用。可以通过传统的流量重定向方式将需要IPS处理的业务流重定向到IPS插卡上处理，也可以通过OAA方式在IPS的Web页面上配置重定向策略，这两种方式都可以实现相同的功能。由于不同交换机设备对OAA的支持程度不同。我们推荐在本方案中采用重定向策略引流。由于IPS插卡在整个网络中属于2层透明转发设备，不会对报文进行任何修改，整

29、个网络从连通性上看加入IPS后不会产生任何变化影响。因此建议实施的时候将其放在最后进行上线配置，即其他设备都调试OK，流量转发与HA设计都以正常实现情况下再进行IPS的部署实施。SecBlade IPS组网结构流量图SecBlade IPS不会对报文进行任何修改，对于上IPS处理的报文，非OAA方式只能通过VLAN区分流量是属于外部域还是内部域。所以在组网设计中需注意非OAA方式重定向到IPS插卡的业务流上下行流量需为不同VLAN。由于IPS插卡不具有双机热备功能，通过组网设计，部分环境可以做到IPS故障的切换，部分环境中当IPS故障后，重定向功能失效，业务流将不能继续受到IPS的安全保护，流

30、量在短暂中断后仍然可以保证连续性。u SecBlade LB板卡设计部署LB插卡具备两大主要功能，服务器负载均衡和链路负载均衡，分别应用于数据中心服务器区和Internet出口区域。服务器负载均衡为数据中心服务器区性能的扩展和资源利用的优化提供完美的解决方案。链路负载均衡非常有效的部署在数据中心多出口的组网环境中，可以同时对多条广域网链路优化资源利用。LB插卡的工作方式与防火墙的类似，仍然作为一个独立的设备运行。通过传统的三层方式与交换机或下游设备相连。可以通过静态路由和缺省路由实现三层互通，也可以通过OSPF这样的路由协议提供动态的路由机制。SecBlade LB在数据中心出口的部署如图所示

31、，在数据中心出口区域，LB插卡可以与宿主交换机连接三层连接关系，也可以直接和下游设备如防火墙等建立三层连接关系。这取决于用户的实际需求，前一种方式可以提供更灵活的路由控制策略，而后一种方式可以简化组网的复杂结构（例如：如果经LLB下行的流量都要通过防火墙的安全保护，那么可以将防火墙直接作为LLB的下一跳设备）。需要注意的是，在双机热备的组网环境中，两块LLB的出口配置必须相同，这样才能保证业务切换后能正常运行。如图所示，在数据中心服务器区，LB提供了服务器的负载均衡能力。我们可以将LB插卡作为服务器的网关设备，这样所有的服务器流量都需经过LB设备。也可以将服务器网关放置在交换机上，LB设备通过

32、路由方式访问服务器群，这样的部署方式可以灵活控制LB对服务器的访问。u 组合部署在数据中心服务器区IPS+FW+SLB的部署主要有以下四种方式：u IPS如果需要保护所有流量可以部署在前端，如果仅需要保护部分关键区域的业务可以放置在FW后面。u SLB可以作为服务器网关设备部署，如果服务器间还需要更严格的防护策略可以将防火墙部署在SLB下端作为服务器的隔离设备。u 通过IRF堆叠技术还可以进一步简化组网结构，提高管理维护和配置成本，是目前的流行部署方式。本方案的推荐采用组网四方案，组网逻辑拓扑如下图所示：在本案例组网设计中， 接入交换机和安全插卡都为双机部署，使用OSPF动态路由协议。交换机通

33、过IRF方式增强可靠性和管理性，FW插卡与上游设备建立三层连接关系，提供安全保护功能。SLB插卡与接入交换机建立三层连接关系，同时对下做为服务器网关设备提供服务器负载均衡功能。1.6. QoS设计1.6.1. QoS设计原则XX集团网络整网QoS设计遵循以下的原则：u 正常情况下QOS是通过带宽来保证的。换句话说，即在网络带宽足够高的情况下，不需要QOS机制。当带宽利用率达到60可考虑扩容；u 网络设备的容量不能成为瓶颈；u 网络/链路故障或网络拥塞情况下QOS策略生效；u 任何时候都优先保证实时业务。1.6.2. QoS服务模型选择为了更有效的利用带宽，使关键业务得到无阻塞的应用，网络需要进

34、行QoS方案的设计实施，首先需要考虑选择合适的技术框架，也即服务模型。服务模型指的是一组端到端的QoS功能，目前有以下三种QoS服务模型：1. Best-Effort service尽力服务2. Integrated service（Intserv）综合服务3. Differentiated service（Diffserv）区分服务u Best-Effort service：尽力服务是最简单的服务模型。应用程序可以在任何时候，发出任意数量的报文，而且不需要事先获得批准，也不需要通知网络。网络则尽最大的可能性来发送报文，但对时延、可靠性等不提供任何保证。u Integrated service

35、：Intserv是一个综合服务模型，它可以满足多种QoS需求。这种服务模型在发送报文前，需要向网络申请特定的服务。这个请求是通过信令（signal）来完成的，应用程序首先通知网络它自己的流量参数和需要的特定服务质量请求，包括带宽、时延等，应用程序一般在收到网络的确认信息，即网络已经为这个应用程序的报文预留了资源后，发送报文。而应用程序发出的报文应该控制在流量参数描述的范围内。u Differentiated service：Diffserv即区别服务模型，它可以满足不同的QoS需求。与Integrated service不同，它不需要信令，即应用程序在发出报文前，不需要通知路由器。网络不需要为

36、每个流维护状态，它根据每个报文指定的QoS，来提供特定的服务。可以用不同的方法来指定报文的QoS，如IP包的优先级位（IP Precedence)、报文的源地址和目的地址等。网络通过这些信息来进行报文的分类、流量整形、流量监管和排队。这三种服务模型中，只有Intserv与Diffserv这两种能提供多服务的QoS保障。从技术上看，Intserv需要网络对每个流均维持一个软状态，因此会导致设备性能的下降，或实现相同的功能需要更高性能的设备，另外，还需要全网设备都能提供一致的技术才能实现QoS。而Diffserv则没有这方面的缺陷，且处理效率高，部署及实施可以分布进行，它只是在构建网络时，需要对网

37、络中的路由器设置相应的规则。对于XX集团广域网的QoS，我们建议采用Diffserv方式进行部署。1.6.3. QoS规划CCITT最初给出定义：QoS是一个综合指标，用于衡量使用一个服务满意程度。QoS性能特点是用户可见的，使用用户可理解的语言表示为一组参数，如传输延迟、延迟抖动、安全性、可靠性等。XX集团网络中主要包括数据、视频两种业务应用。而数据又分ERP关键业务和其他业务，因此需要对现有业务系统进行分类，才能更好地保障业务的开展。u 业务分类和标记针对XX集团的要求，对其主要的流量进行划分和标记，具体如下：业务类型业务特征IP PrecedenceIP DSCP802.1p网络控制协议

38、（hello、SLA）适用于网络维护与管理报文的可靠传输，要求低丢包率756（CS7）7视频会议对时延、抖动较敏感；带宽需求高；需要可预计的时延和丢包率534(AF41)5ERP适合重要数据业务,低丢包、高优先级324(AF31)3目录同步和策略下发适合普通数据业务，低丢包、19(AF11)1邮件系统及Internet应用尽力而为（Best effort）转发000u 流量监管和整形在完成区分业务应用类型后，需要对整个广域网进行流量的监管和整形，对于XX集团广域网络SDH来说，出口带宽是有限的，而入口带宽总是大于出口带宽，需要对入口和出口进行限制和整形，以保障关键流量的顺利转发。u 队列管理在

39、Diffserv体系的队列管理中，同样按照不同的边界范围采用不同的队列管理技术。局域网主要基于以太网的组网方式，以太网实现的QoS功能主要是能够支持那些对延时和抖动要求较高的业务流。目前业界在以太网络交换机实现的Qos队列管理技术主要采用严格优先级SP（Strict-Priority）队列调度算法、加权轮循WRR（Weighted Round Robin）调度算法。SP队列调度算法，是针对关键业务型应用设计的。关键业务有一重要的特点，即在拥塞发生时要求优先获得服务以减小响应的延迟。WRR队列调度算法在队列之间进行轮流调度，保证每个队列都得到一定的服务时间。在实际应用中，SP队列调度算法与WRR

40、调度算法可以同时应用一个端口上，既保证关键业务的延时与抖动，同时又保证各业务具有一定的带宽保证。广域网一般采用路由器组网，目前路由器主要支持的队列管理技术包括PQ、CQ、WFQ、CBQ/LLQ，由于PQ、CQ、WFQ的种种问题，目前通常采用CBQ/LLQ做为骨干层的队列管理机制。CBWFQLLQ，有一个低时延队列 - LLQ，用来支撑EF类业务，被绝对优先发送（优先级低于RTP实时队列）；另外有63个BQ，用来支撑AF类业务，可以保证每一个队列的带宽及可控的时延；还有一个FIFO/WFQ，对应BE业务，使用接口剩余带宽进行发送。但是请注意，由于涉及到复杂的流分类，对于高速接口（GE以上）启用C

41、BQLLQ特性系统资源存在一定的开销。另外如果边缘层与骨干层的接入采用低速的链路接入，因此也必须考虑相应的队列管理技术。如果接入带宽=2M，则需采用骨干层一样的调度技术，即CBQ/LLQ。如果接入带宽2M，则需要考虑采用链路有效机制。可采用LFI（链路的分段及交叉）技术避免大报文长期占用链路带宽，采用LFI以后，数据报文（非RTP实时队列和LLQ中的报文）在发送前被分片、逐一发送，而此时如果有语音报文到达则被优先发送，从而保证了语音等实时业务的时延与抖动。另外还可以采用CRTP（IP /UDP/ RTP报文头压缩）技术，以提高链路的利用率。u 拥塞避免建议采用WRED加权丢弃技术，实现拥塞避免

42、。WRED(Weighted early random detection)提供了对拥塞的控制，它不是等待缓冲区填满然后出现尾部丢弃，而是不停地监控缓冲的深度，并可以根据IP header中的IP Precedence有选择地早期丢弃一些级别较低的TCP连接的包，保证关键数据的传送，并避免当缓冲满溢时丢弃大量的数据包。主要特点：一、WRED利用活动队列管理，解决尾部删除的缺点；二、WRED主要在TCP为主的IP网络中使用，因为UDP通信流不像TCP一样具有对分组删除具有响应能力；三、WRED把非IP通信流看成优先级为0，最低优先级，因此，非IP通信流放在一个丢弃桶中，比IP通信更容易删除，这在

43、大多数重要通信流（非）IP通信流时可能遇到问题，但是这现象在DCN网络中通常不会出现。1.6.4. QoS部署对与XX集团的整体QoS部署，我们建议根据不同层次进行部署，涉及局域网设备和广域网设备，来实现对集团关键业务的保障。如上图所示，将网络的各个层次启用QoS，保障关键业务流的快速转发。对于XX集团需要保障的业务视频业务和ERP业务，其优先级是不同的，根据实施经验，下面对其做详细的QoS设计：1. 视频流量站点实现方法：在站点的出口路由器上配置QoS策略，首先启用ACL识别视频流（如视频会议终端的IP地址），打上优先级DSCP标记AF41；再启用CBQ（基于类的队列），将其引入CBQ的紧急

44、队列，由CBQ进行队列调度，抢占足够带宽，优先转发紧急队列中的报文，直到发送完后才发送其他类对应的队列的报文。数据中心实现方法：MCU通过交换机直接连入路由器，在路由器上启用ACL识别视频流（如视频会议终端的IP地址），打上优先级DSCP标记AF41；并启用CBWFQ和PQ，将视频流放入到PQ的高优先队列中，优先转发，直到发送完后才发送其他类对应的队列的报文。2. ERP流量ERP系统是XX集团的关键业务，ERP服务器部署在数据中心，各站点分布多个ERP工作站访问数据中心的ERP服务器。由于中间的网络设备连接很多，要做到端到端的QoS，需要在不同的设备上启用QoS。在局域网高带宽和多厂家设备混

45、合组网的情况（如防火墙采用国产设备），一般在数据中心内部局域网内不启用QoS，以下将介绍两种方式：第一种方式：端到端的QoS站点实现方法：在站点的ERP工作站接入交换机上启用QoS，通过ACL识别ERP流量（如：源地址+目的地址），打上DSCP优先级AF31，并启用SP（严格优先级），将其优先发送，经核心交换机、防火墙至路由器，所经各设备同时启用QoS，保障其优先转发；再通过路由器启用CBQ（基于类的队列），将ERP流量放入到中优先级队列，抢占低优先级队列的带宽，发送报文。数据中心实现方法：在数据中心ERP服务器接入交换机启用QoS，通过ACL识别ERP流量（如：源地址+目的地址），打上DSC

46、P优先级AF31，并启用SP（严格优先级），将其优先发送，经核心交换机、防火墙至路由器，所经各设备同时启用QoS，保障其优先转发；再通过路由器启用CBWFQ（基于类的加权）+PQ，将ERP流量放入到中优先级队列，抢占低优先级队列的带宽，发送报文。第二种方式：广域网路由器启用QoS站点实现方法：在站点的路由器上配置QoS策略，首先启用ACL识别ERP流（如：源地址+目的地址），打上优先级DSCP标记AF31；再启用CBQ（基于类的队列），将其引入CBQ的中优先级队列，由CBQ进行队列调度，抢占低优先级的带宽，优先转发报文。数据中心实现方法：在出口路由器上启用ACL识别ERP流（如：源地址+目的地

47、址），打上优先级DSCP标记AF31；并启用CBWFQ和PQ，将ERP放入到PQ的中优先队列中，优先转发。为简化网络部署，XX集团的QoS建议采用第二种方法！1.7. 数据中心互联数据中心的互联包括以下三种类型：u 三层互联：也称为数据中心前端网络互联，所谓“前端网络”是指数据中心面向企业园区网或企业广域网的出口。不同数据中心（主中心、灾备中心）的前端网络通过IP技术实现互联，园区或分支的客户端通过前端网络访问各数据中心。当主数据中心发生灾难时，前端网络将实现快速收敛，客户端通过访问灾备中心以保障业务连续性。u 二层互联：也称为数据中心服务器网络互联（以下简称DCI）。在不同的数据中心服务器网络接入层，构建一个跨数据中心的大二层网络（VLAN），以满足服务器集群或虚拟机动态迁移等场景对二层网络接入的需求。u SAN互联：也称为后端存储网络互联。借助传输技术（DWDM、SDH等）实现主中心和灾备中心间磁盘阵列的数据复制。如下图所示：三层互联和SAN互联，目前均已有很成熟的通用方案，在此将不再进行描述，本章节重点关注数据中心服务器网络二层互联方案。对于数据中心与大连灾备中心的二层互联，有两种方案可供选择，这两种方案均为标准协议方案，可以很好的与大连现中心及第三方设备互联。u 基于裸纤的DCI方案：此方案要求数据中心与大连灾备中心的互联链路采用裸纤/D