华为集群CSS原理.docx

华为集群交换系统CSS定义集群交换系统CSS （Cluster Switch System）又称为堆叠（下文统一使用堆叠），是指将两台交 换机设备组合在一起，虚拟化成一台交换设备，如图所示。目的通过交换机堆叠，可以实现网络高可靠性和网络大数据量转发，同时简化网络管理。 高可靠性：堆叠系统多台成员交换机之间冗余备份，同时利用跨设备的Eth-Trunk实现跨设 备的链路冗余备份。 强大的网络扩展能力：通过组建堆叠，可以在不改变网络拓扑的情况下，轻松地扩展端口数、 带宽和处理能力。 简化配置和管理：一方面，用户可以通过任何一台成员交换机登录堆叠系统，对堆叠系统所 有成员交换机进行统一配置和管理；另一方面，堆叠形成后，不需要配置复杂的二层破环协议（如MSTP）和三层保护倒换协议（如VRRP），简化了网络配置。华为交换机支持的CSS堆叠类型及型号一、S7700/S9306/9312采用专用堆叠卡进行堆叠：在主控板SRU的子卡槽位插入堆叠卡VSTSA，原有主控板、接口板、机框不用更新，就可以支 持堆叠。每块主控板上可以插一块堆叠卡，每块堆叠卡上有4个堆叠口。两台设备都有两块主控板的情 况下，通过专用的堆叠电缆将这8组堆叠口按照下图规则连接起来。堆叠口连接规则是固定的，所 有堆叠口都要插上堆叠线缆，不能随意连接。LllLlLL带咎我疆SwltchASwitchBSRUSRUL市：iSRULc5DSRU二、S9706/9712/12800(无堆叠卡)采用主控板SRU上SIP端口和业务板上的10G端口进 行堆叠：堆叠的连接链路分为两部分：管理链路和转发链路。管理链路负责堆叠系统管理及维护报文的 转发；转发链路负责堆叠系统跨设备业务数据报文的转发。如图所示，根据管理链路连接方式的不 在主控板直连方式中，堆叠的管理链路通过主控板上的SIP(System Inter-Connect Port) 端口相连，转发链路通过业务板上的普通业务口相连。 在业务板直连方式中，堆叠的管理链路与转发链路合一，全部通过业务板上的普通业务口相 连，无需连接SIP 口。I"说明： V100R001C00版本仅支持主控板直连方式。 在非远距离堆叠情况下，建议用户采用主控板直连方式，使管理链路和转发链路隔离，增加 可靠性；在远距离堆叠情况下，连线成本较高，可以使用业务板直连方式。1 .SIP 口连接方式介绍SIP 口位于设备的主控板上，每块主控板有两个SIP 口，如图所示。SIP 口是由GE电接口和GE 光接口组成的Combo接口，不需要进行任何配置，可以即插即用。缺省情况下，Combo接口以时间作为优先级，即哪个接口先插入线缆就选择使用哪个接口，如果两个接口同时插入线缆，则优先选择光接口。在每台设备都配备了双主控的情况下，建议SIP 口米用如下方式连接:SwitchAPU AMPUP B-X-Sr J PU A匚MPUIISwItchB SIP 口'说明： 两台交换机之间至少需要连接一个SIP 口。 一台交换机上的SIP 口只可以与另一台交换机相连，不可以与本交换机互连。2. 业务口连接方式介绍堆叠端口中的堆叠物理成员端口可以分布在一块或两块业务板上。一个堆叠端口中最多可以加入16个成员端口，以提高链路的带宽和可靠性。按照成员端口的分布，有两种组网形式，如图所示。(2I Q| I 4I-Li EJ-1 QI I 4LrU 1 u'I LPU 2 LPU 2LPU 1 =n LPU 1LPU 2 口b LPU 2Switch ASwitchB1 + 11+1组网：堆叠物理成员端口分布在一块LPU上，依靠一块单板上的堆叠链路实现堆叠连接。2+2组网：堆叠物理成员端口分布在两块LPU上，不同单板上的堆叠链路形成备份。说明：2+2形式组网具有更高的可靠性，建议用户采用2+2组网方式。LRU 1LPU 2SwitchA在2+2组网中，同一 LPU上的堆叠物理成员端口只能连接到对端同一 LPU上，不能同时连接 到对端两个LPU中，错误的连线如图所示。Switch BX错误连线堆叠系统的管理与登录1. 角色选举堆叠建立时，成员交换机之间相互发送堆叠竞争报文。通过竞争，一台成为主交换机，负责管 理整个堆叠系统；另一台则成为备交换机，作为主交换机的备份交换机。1) .运行状态比较，最先完成启动，并进入堆叠运行状态的交换机优先竞争为主交换机。2) .堆叠优先级比较，堆叠优先级高的交换机优先竞争为主交换机。3) .MAC地址比较，MAC地址小的交换机优先竞争为主交换机。2. 配置同步堆叠具有严格的配置文件同步机制，用来保证堆叠中的多台交换机能够像一台设备一样在网络 中工作。 堆叠建立时，成员交换机在启动开始阶段使用各自的配置文件启动。启动完成后，备交换机将会将本设备的堆叠相关配置合并到主交换机的配置文件中，形成堆叠系统的配置文件。 堆叠正常运行后，主交换机作为堆叠系统的管理中枢，负责将用户的配置同步给备交换机， 从而使堆叠内各成员交换机的配置随时保持一致。通过即时同步，堆叠中的所有成员交换机均保持相同的配置。即使主交换机出现故障，备交换 机仍能够按照相同的配置执行各项功能。3. 成员设备的管理堆叠系统的成员设备按框进行管理，使用堆叠成员ID来标识和管理成员设备。因此，当用户使 用命令对设备进行配置和管理时，通常需要加入堆叠成员ID信息，以区分不同的成员设备。例如， 在设备未运行堆叠功能时，用户可以使用命令display device slot 1来查看1号槽位单板的信息； 当设备运行堆叠功能后，则需要执行命令display device slot 2/1来查看该单板信息，其中2为 设备的堆叠成员ID。堆叠中接口的编号也会加入堆叠成员ID的信息。当设备未运行堆叠功能时，接口编号采用三维 格式“槽位号/子卡号/端口号”；当设备运行堆叠功能时，接口编号会变成四维格式“堆叠成员ID/ 槽位号/子卡号/端口号”。例如，交换机没有运行堆叠时，某个接口的编号为10GE1/0/1；当该交 换机加入堆叠后，如果堆叠成员ID为2,则该接口的编号将变为10GE2/1/0/1。4.堆叠系统的登录堆叠建立后，所有的成员设备组成一台虚拟设备存在于网络中，所有成员设备的资源由主交换 机统一管理。用户可以通过任意一台成员设备登录堆叠系统，对整个堆叠系统进行管理和维护。无 论使用什么方式，通过哪台成员交换机登录到堆叠系统，实际登录的都是主交换机。登录堆叠系统的方式如下： 本地登录：通过任意一台成员设备的Console 口登录。 远程登录：通过任意一台成员设备的管理网口或其他三层接口，以Telnet、STelnet等方式 远程登录。跨设备链路聚合与流量本地优先转发1. 跨设备链路聚合堆叠支持的跨设备链路聚合(Eth-Trunk)技术，可以将不同成员交换机上的物理以太端口配置 成一个聚合端口。这样即使某台成员交换机故障或聚合链路其中一条链路出现故障，也不会导致聚 合链路完全失效，从而保证了数据流量的可靠传输，不但解决了堆叠设备单点失效的问题，还极大 提高了全网的可靠性。如图所示，流向网络核心的流量均匀分布在聚合链路上，当其中一条链路失效时，跨设备链路 聚合技术能够将流量自动重新分布到其余聚合链路以实现链路备份，从而提高网络可靠性。Interne!Imcrnei锭路故障的黑田转殳怡况姓路故晔后的数蜗械况情配CS5LnhE出Tn.rk-(Hl"4弱也也跨设备链路聚合的链路间备份示意图如图所示，当堆叠系统中一台成员交换机故障时，跨设备链路聚合技术能够将流量重新分布到 与另一台成员交换机相连的聚合链路上以实现设备间的备份，从而提高网络可靠性。设备故际后的数指转我情兄CSS Link<Z _ > Elh-TrunkA数抠流1A姬据觥2跨设备链路聚合的设备间备份示意图2. 流量本地优先转发Eth-Trunk接口会通过HASH算法选择转发出接口，从而进入堆叠的流量很可能会跨设备转发。 但是由于堆叠设备间堆叠线缆的带宽有限，跨设备转发流量增加了堆叠设备之间的带宽承载压力， 同时也降低了流量转发效率。此时，可以通过流量本地转发功能解决此问题，即从本设备进入的流 量，优先从本设备的出接口转发出去；如果本设备的出接口故障，则流量从其它成员交换机的接口 转发出去。如图所示，SwitchA与SwitchB组成堆叠，上下行加入到Eth-Trunk。如果没有本地优先转发， 则从SwitchA进入的流量，会有一部分经过堆叠线缆，从SwitchB的物理接口转发出去。设备启用 本地优先转发之后，从SwitchA进入的流量，优先从到SwitchA的接口转发。I"说明：流量本地优先转发功能只对已知单播有效，对广播、组播和未知单播均不生效。阳能流的布削忧先转技能心 LinkU n Eth-Trankw -A曾与泸.1 _-A畏据施2堆叠分裂与双主检测1. 堆叠分裂堆叠建立后，主交换机和备交换机之间定时发送心跳报文来维护堆叠系统的状态。堆叠线缆、 主控板发生故障时或者其中一台交换机下电、重启都将导致两台交换机之间失去通信，导致堆叠系 统分裂为两台独立的交换机，如图！所示。堆叠分裂后，若两台交换机都在正常运行，则其全局配置完全相同，会以相同的IP地址和MAC 地址(堆叠系统MAC)与网络中的其他设备交互，这样就导致IP地址和MAC地址冲突，引起整个网 络故障，此时可以依靠堆叠的双主检测来避免堆叠分裂后出现双主。2. 双主检测双主检测DAD(Dual-Active Detect)是一种检测和处理堆叠分裂的协议，可以实现堆叠分裂的 检测、冲突处理和故障恢复，降低堆叠分裂对业务的影响。DAD检测方式有以下几种：堆叠端口检测方式堆叠端口检测方式是指通过堆叠物理成员端口之间的链路进行双主检测，如图所示。该方 式直接使用堆叠连接链路进行检测，不需要占用额外的接口。说明：只有当堆叠连接方式为主控板直连时，才可以使用堆叠端口检测方式。SwItchASwItchBCSS Linkta DAD packets直连检测方式直连检测方式是指堆叠成员交换机间通过业务口连接的专用链路进行双主检测，如图所示。代理检测方式代理检测方式是指通过堆叠与代理设备相连的跨设备Eth-Trunk链路进行双主检测，如图 所示。在这种检测方式中，代理设备需要启动DAD代理功能。与直连检测方式相比，代理检 测方式无需占用额外的接口，Eth-Trunk接口可以同时运行DAD代理检测和其它业务。说明：为了使DAD报文能在Eth-Trunk成员链路间相互转发，代理设备必须为支持DAD代理功能 的交换机。目前华为CloudEngine系列交换机都支持DAD代理功能；S系列交换机自V200R002代理设备可以是一台独立运行的交换机，也可以是一个堆叠系统，即两个堆叠系统之间互 为Relay代理。3. DAD冲突处理与故障恢复机制配置双主检测后，主交换机在检测链路上发送DAD竞争报文。堆叠分裂后，分裂成多部分的堆 叠系统互发竞争报文，并将接收到的竞争报文信息与本部分竞争信息做比较，如果本部分竞争胜出， 则不做处理，保持Active状态（正常工作状态），正常转发业务报文；如果本部分竞争失败，则关 闭除保留端口外的所有业务端口，转入Recovery状态（业务禁用状态），停止转发业务报文。DAD竞争规则如下（依次从第一条开始判断，直至找到最优的交换机才停止比较）：1. 堆叠优先级比较，堆叠优先级高的交换机优先竞争胜出。2. 设备MAC地址比较，MAC地址小的交换机优先竞争胜出。堆叠链路故障修复后，分裂成多部分的堆叠系统进行合并。处于Recovery状态的交换机将重新 启动，同时将被关闭的业务端口恢复正常，整个堆叠系统恢复。如果在链路故障修复前，承载业务的Active状态的交换机系统也出现了故障。此时，可以先将 Active状态的交换机从网络中移除，再通过命令行启用Recovery状态的交换机，接替原来的业务， 然后再修复原Active状态交换机的故障及链路故障。故障修复后，重新合并堆叠系统。CSS堆叠的配置、S9306/S9312系列交换机集群配置（S9303不支持css）1.配置SwitchA为主交换机，并使能CSS功能SwitchA set css id 1设置SWA的机框ID号为1（默认为1，不用配置）SwitchA set css priority 255配置 SwitchA 的堆叠机框优先级为 255Info: CSS config has been changed, need reboot to take effect.SwitchAcss enableReboot needed to change CSS config. Are you sure this operation and reboot now? Y/NySwitchAEthOSPFSwitch BEth-Trunk2Switch CV-ffl地叠线缆连接戏缆2.配置SwitchB的堆叠机框ID为2，并使能CSS功能。进入到另一台9312上，把另一台交换的ID设置为2SwitchB set css id 2 设置 SWB 的机框 ID 号为 2SwitchA set css priority 1 堆叠机框优先级为1，不用配置Warning: Modifying the CSS frame ID will cause interface configuration loss, are you sure thisoperation? Y/NyInfo: CSS config has been changed, need reboot to take effect(CSS should be enabled).SwitchBcss enableSwitchB rebootInfo: The system is now comparing the configuration, please wait.System will reboot! Continue?Y/N:y检查配置后的结果#查询堆叠机框ID为1的交换机的堆叠状态<SwitchA> dis css status frame 1Property ItemFrame IDPriorityEnable switchCSS master forceCSS statusProperty Value 1 255 On Off master#查询堆叠机框ID为2的交换机的堆叠状态<SwitchA> dis cssProperty ItemFrame IDPriorityEnable switchCSS master forceCSS statusstatus frame 2Property Value 2 1 On Off backup而在端口的编号上来说是，查看集群板卡是否应用成功：正常情况是2台集群交换机成为一机， 每个端口前都加上了机框的ID号，如下所示:<Quidway>disp cur#!Software Version V100R003C00SPC200sysname Quidway#vlan batch 1 18 interface Vlanif18ip address 192.168.18.1 255.255.255.0#interface Ethernet0/0/0/0#interface GigabitEthernet1/1/0/0#interface GigabitEthernet1/1/0/1#interface GigabitEthernet1/1/0/2#interface GigabitEthernet1/1/0/3#interface GigabitEthernet1/1/0/4#interface GigabitEthernet2/1/0/0#interface GigabitEthernet2/1/0/1#interface GigabitEthernet2/1/0/2#interface GigabitEthernet2/1/0/3#interface GigabitEthernet2/1/0/4.#interface XGigabitEthernet1/4/0/0#interface XGigabitEthernet1/4/0/1#interface XGigabitEthernet1/4/0/2#interface XGigabitEthernet1/4/0/3#interface XGigabitEthernet2/4/0/0#interface XGigabitEthernet2/4/0/1#interface XGigabitEthernet2/4/0/2#interface XGigabitEthernet2/4/0/3 user-interface con 0user-interface vty 0 4authentication-mode aaa Return二、S12800系列CSS堆叠配置组网需求在一个新建的数据中心网络中，要求核心层具有较高的可靠性，并且希望网络结构简单，易于 配置和管理。如图所示，根据用户需求，核心层SwitchA和SwitchB两台交换机采取堆叠组网，接 口 10GE1/0/110GE1/0/2、10GE2/0/110GE2/0/2 加入堆叠端口。操作步骤1. 连接堆叠线缆连接SwitchA和SwitchB间的堆叠线缆。如果选择的堆叠连接方式为主控板直连方式， 则需要连接主控板上的SIP 口和业务板上的堆叠物理成员端口；如果为业务板直连方式，则 无需连接SIP 口。2, 配置SwitchA、SwitchB的堆叠属性#配置SwithA的堆叠成员ID为1，优先级为150，Domain ID为10，堆叠连接方式为主控板 直连方式。SwitchA stackSwitchA-stackSwitchA-stackSwitchA-stackSwitchA-stackSwitchA-stackSwitchA commitstack stack stack stack quitmember 1 priority 150 domain 10 link-type mainboard-direct#配置SwitchB的堆叠成员ID为2，优先级为100，Domain ID为10，堆叠连接方式为主控 板直连方式。SwitchB stackSwitchB-stackSwitchB-stackSwitchB-stackstackstackstackmember 2 priority 100 domain 10SwitchB-stack stack link-type mainboard-directSwitchB-stack quitSwitchB commitA说明：如果用户选择的是业务板直连方式，请执行命令stack link-type linecard-direct。3. 配置堆叠端口#建立groupl端口组，并将接口关闭，为创建堆叠口做准备。SwitchA port-group group1SwitchA-port-group-group1 group-member 10ge 1/0/1 to 10ge 1/0/2SwitchA-port-group-group1 group-member 10ge 2/0/1 to 10ge 2/0/2SwitchA-port-group-group1 shutdownSwitchA-port-group-group1 quit# 在 SwitchA 上创建堆叠端口，并将端口 10GE1/0/110GE1/0/2、10GE2/0/110GE2/0/2 加 入堆叠端口。SwitchA commitSwitchA interface stack-port 1SwitchA-Stack-Port1 port member-group interface 10ge 1/0/1 to 1/0/2SwitchA-Stack-Port1 port member-group interface 10ge 2/0/1 to 2/0/2SwitchA-Stack-Port1 quitSwitchA commitSwitchA port-group group1SwitchA-port-group-group1 undo shutdownSwitchA-port-group-group1 quitSwitchA commit# 在 SwitchB 上创建堆叠端口，并将端口 10GE1/0/110GE1/0/2、10GE2/0/110GE2/0/2 加 入堆叠端口。SwitchB的配置与SwitchA类似，配置过程略。4. 检查堆叠配置信息#上述配置完成后，建议用户执行命令display stack configuration查看以上配置信息是 否与预期的一致。以查看SwitchA为例。<SwitchA> display stack configurationAttribute configuration:-MemberID Oper(Conf)DomainOper(Conf)PriorityOper(Conf)ModeOper(Conf)-EnableOper-1(1)-(10)100(150)MB(MB)Disable-Stack-Portconfiguration:Stack-PortMember PortsStack-Portl10GE1/0/110GE1/0/210GE2/0/110GE2/0/25. 保存配置并使能设备堆叠功能#保存SwitchA的配置并使能堆叠功能。<SwitchA> saveWarning: The current configuration will be written to the device. Continue? Y/N: y<SwitchA> system-viewSwitchA stackSwitchA-stack stack enableWarning: Make sure that one or more dual-active detection methods are configured once the conversion is complete and the device ente rs the stack mode.Current configuration will be converted to the next startup saved-configuration file of stack mode.System will reboot. Continue? Y/N: y#保存SwitchB的配置并使能堆叠功能。<SwitchB> saveWarning: The current configuration will be written to the device. Continue? Y/N: y <SwitchB> system-view SwitchB stack SwitchB-stack stack enableWarning: Make sure that one or more dual-active detection methods are configured once the conversion is complete and the device ente rs the stack mode.Current configuration will be converted to the next startup saved-configuration file of stack mode.System will reboot. Continue? Y/N: y6. 检查堆叠是否组建成功#通过指示灯状态查看。SwitchA 一块主控板上的STACK指示灯绿色常亮，SwitchB两块主控板上的STACK指示灯绿色 闪烁，表示堆叠已组建成功，且SwitchA为主交换机，SwitchB为备交换机。#通过Console 口或管理网口登录堆叠系统，使用命令查看堆叠是否组建成功。当通过管理 网口登录时，需要使用主交换机的IP地址。<SwitchA> display stackMemberID Role MACPriority Device Type7.保存堆叠系统配置CE12804CE12804Master006d-8835-2b00150Standby 006d-8835-2c00100>说明：在检查堆叠已成功建立后，建议用户立即使用save命令保存堆叠系统配置。<SwitchA> saveWarning: The current configuration will be written to the device. Continue? Y/N: y配置文件堆叠系统的配置文件sysname SwitchA stackstack modestack member 1 domain 10stack member 1 priority 150stack member 2 domain 10#interface 10GE1/1/0/1 port mode stack stack-port 1/1#interface 10GE1/1/0/2 port mode stack stack-port 1/1#interface 10GE1/2/0/1 port mode stack stack-port 1/1#interface 10GE1/2/0/2 port mode stack stack-port 1/1#interface 10GE2/1/0/1 port mode stack stack-port 2/1#interface 10GE2/1/0/2 port mode stack stack-port 2/1#interface 10GE2/2/0/1 port mode stack stack-port 2/1#interface 10GE2/2/0/2 port mode stack stack-port 2/1#port-group group1group-member 10GE1/1/0/1group-member 10GE1/1/0/2group-member 10GE1/2/0/1group-member 10GE1/2/0/2