大型数据中心云平台建设中的网络知识、原理及实践.docx

最简单的总结SDN主流选择了OVer1.ay.虚拟集群的规模（非物理机所能比拟）使得Vxlan的组播传播（虚拟机构成的集群包含的MAC地址数量往往多一两个数量级MAC地址表）对网络设备性能要求巨大（你不可能每个交换机都买核心交换机一样的配置吧）,OVerlay通过矮道技术（VX1.AN或GRE）和控制平面可以减少集群中MAC地址表和ARP请求（H3CVX1.AN解决方案基于SDN架构，通过引入全网的SDNController来实现VX1.AN的管理和维护，使得VTEP之间的信息可以通过Controller来进行反射。这样,VTEP的MAC地址表映射关系不再通过组播向全网其他VTEP传达，而是统一上报给控制器，由控制器统一下发给需要接受此消息的其他VTEP,由具体的VTEP执行转发机）,VX1.an中VIan内部只走2层网关,只有Vx1.an之间（不同租户，云主机和裸金属之间）才需要走3层网关.进而有效降低二层核心网络设备压力.常见网络术语普通的V1.AN数量只有4096个，无法满足大规模云计或IDC的需求，而IDC为何需求那么多V1.AN呢，因为目前大部分IDC内部结构主要分为两种1.2,1.3.1.2（二层网关）：位于同一网段的终端用户通信，12网关收到用户报文后，根据报文中包含的目的MAC类型进行转发.1.2网关主要解决的就是同一VNl下的VM之间的互访.1.3(三层网关)：用于非同一网段的终端用户通信或VX1.AN和非VX1.AN用户间的通信.1.3网关解决的就是不同VNI(VX1.ANNetworkidentifier)以及VX1.AN和非VX1.AN之间的互访VTEP(VX1.ANTunnelEndpoints,VX1.AN隧道端点)为VX1.AN殴道的端点，封装在NVE中，用于VX1.AN报文的封装和解封装。VTEP与物理网络相连，分配的地址为物理网络IP地址.VX1.AN报文中源IP地址为本节点的VTEP地址，VX1.AN报文中目的IP地址为对端节点的VTEP地址,一对VTEP地址就对应着一个VX1.AN隧道.1.2结构里面，所有的服务器都在一个大的局域网里面，TOR透明1.2,不同交换机上的服务器互通靠MAC地址,通信隔离和广播隔离靠的Vlan,网关在内网核心上.而1.3结构是从TOR级别上就开始用协议进行互联，网关在TOR上,不同交换机之间的互通齐IP地址。ToR(TopofRack):接入方式就是在服务器机柜的最上面安装接入交换机.EoR(EndofRow):接入交换机集中安装在一列机柜端部的机柜内，通过水平缆线以永久链路方式连接设备柜内的主机/服务器/小型机设备.EoR对设备机柜需要敷设大盘的水平缆线连接到交换机.对比：EoR布线方式的缺点：从服务器机柜到网络机柜的铜缆多（约有20-40根铜缆）.且距网络机柜越远的服务器机柜的铜缆，在机房中的布线距寓越长，由此导致线缆管理维护工作量大、灵活性差.ToR布线的缺点：每个服务器机柜受电源输出功率限制，可部署的服务器数量有限，由此导致机柜内交换机的接入端口利用率不足.在几个服务器机柜间共用1-2台接入交换机，可解决交换机端口利用率不足的问迹，但这种方式增加了线缆管理工作班.从网络设计考虑，TOR布线方式的每台接入交换机上的V1.AN员不会很多，在网络规划的时候也要尽量避免使一个V1.AN通过汇聚交换机跨多台接入交换机，因此采用ToR布线方式的网络拓扑中，每个V1.AN的范围不会太大，包含的端口数量不会太多.但对于EoR布线方式来说，接入交换机的端口密度高，在网路最初设计时，就可能存在包含较多端口数的V1.ANeTOR方式的接入交奂机数生多，EOR方式的接入交换机数量少，所以TOR方式的网络设备管理维护工作量大.随着用户数据业务需求的猛增.数据中心机房服务器密度越来越高,虚拟化和云计算等新技术趋势日益流行，使得服务器对应的网络端口大大增加，并且增加了管理的系杂性，另外以太网（IAN）与光纤存储区域网络（SAN）的融合也越来越常见，这就必然要求一种新的网络拓扑结构与之相对应.在云计箕的大潮下，这种分布式架构的业务扩展性极强，要求的服务器数量也越来越多.例如新的ApacheHadoop0.23支持600010000台服务器在一个集群内，海Ia的服务器数量要求充分利用数据中心机柜空间的同时，海量的业务数据也需要更快更直接的高性能链路把数据传送到网络核心.在这样的趋势下，显然ToR更加适用.在业务迅速扩展的压力下，T。R的方式可以更好的实现网络的更快速扩展.SDN在SDN解决方案中overlay与underlay是最为常见的二个网络术语.Under1.ay指的是物理网络，它由物理设备和物理链路组成.常见的物理设备有交换机、路由器、防火墙、负载均衡、入侵检测、行为管理等，这些设备通过特定的链路连接起来形成了一个传统的物理网络，这样的物理网络，我们称之为Under1.ay网络.实现SDN的技术主要有overlay,OpenFIow,和思科的OnePK.Overlay已成主流，该类方案主要思想可被归纳为解瑞，独立，控制三个方面。Over1.ay其实就是一种隧道技术，VX1.AN,NVGRE及STT（都是Over1.ay实现方式之一）是典型的三种隧道技术，它们都是通过峻道技术实现大二展网络.将原生态的二层数据帧报文进行封装后再通过隧道进行传输.总之,通过OVer1.ay技术，我们在对物理网络不做任何改造的情况下,通过隧道技术在现有的物理网络上创建了一个或多个逻辑网络即虚拟网络，有效解决了物理数据中心，尤其是云数据中心存在的诸多问题，实现了数据中心的自动化和智能化.与Underlay网络相比，OVer1.ay实现了控制与转发的分图,这是SDN的核心Overlay技术与SDN可以说天生就是适合互相结合的技术组合.OVerlay网络虚拟机物理位置无关特性就需要有一种强有力的集中控制技术进行虚拟机的管理和控制.而SDN技术恰好可以完美的做到这一点.二.Over1.ay解决哪些痛点Overlay由于其简单、一致的解决问题方法，加上重新定义的网络可以进行软件定义，已经成为数据中心网络最炙手可热的技术方案.然而，它并不是一张完全由软件定义的网络，OVerIay网络解决方案必定是一种软硬结合的方案，无论是从接入层VTEP混合组网的组网要求、组福或SDN控制层协议的支持，还是VX1.AN网络与传统网络的互通来看，都需要段件积极的配合和参与，必须构建在坚实和先进的物理网络架构基咄上.考虑到服务器接入的可以是虚拟交换机，也可以是物理交换机，因此存在三种不同的构建模式：2.1 Over1.ay类型Pl络OVafIay/修戋祟用/女戏轨,R力VTCP节，AM-f,方)“含Xc力*中星*tl殳接杭&亶持VXlA刖2稽，与U殳帙£，打力”怎通.faRBIHI>3三fl,MM*-BMIlK费口务小SIMKMStflRa*aAMTE惠人VxIAS除R三ttXM>iANnMftH.a三AT.tnovwwra率4an1网Q父际，A11R31哥6mvQW，00*五IUt雄1MlUOyartt<UI斤取史2t<Wy上方位能含MW.KVV,*H98V*y.&Qf力*.?BfttPlHOrl>三HeM7三ftft*eWfi*WmM7M*iA*.aifKX*yRT.mo承担75”(DvmanQGW)9)«.可以京型泉茶甸A=M犬利0.三X,01JM>FV.6三C0TqKlKX>KUlWM三三.今dw*方*IHr攵9帆人jur殳帆人IItwv11p*wa之*!ix+MhH1.i.使tf&绵o*s<HftxKWyaen常w*»*三atmF丈竹aH乂利充JUBfJ.1堂位JUKXfJia1.鬣可以火内石化衲密q0除”上算余网化!»R*9BHRnBM4V*.Ml¼O*wtyfi<Xwwr<H1.*WUWtt*t4t.多。化箕BN1.?BHSP霞水2”正句量aim,。化解艮无件.x9*tf<na>nat.，京分*三M三tH足qm。使a中0依“于一邮依中3。/罡依率.夏尔MrEiiHkM支札Ci筑*合舄.11AX*W三三fc<IUI>HKl5tM7R*XyWOJI*可修克分川同4化内很鼻点女。,XWttXHC*CMeX”MO<"入M"t三Jtti三*lt<C.BTq彷幺把2.2 Overlay网络主要解决的问题K1.W就由正移0”机可态迁眇.M是&保江冷机上务正需用行的冏切.将一个Iffa机累烧从一个簿IwI务a3动到另一个物观艇务的H程.雉H程财于俄典用户来说是儿/Q的.从M使傅观鼻鱼*（不RHIMaJElt使用的R况下.及活JHI务费源.M网,理第务通行H修“升。布瞿穴现点旭务不0/.RW三1Xx虐机113«IEIP地址保纯不食.而且虐双机的运行状迤也必须保持及状引仁YeP会话状态）可抵育人会H.ItIa机三得的后，康城不费力必非4套同一个二后域内况？这是网为一旦坡务d迁移到其他二层"MW殳£IP我把.TCP注禧等运行状令也会中修.蠢么单乂这台务淅草R的总秀版会中甘.化H同国。比山务相关的K能福务R（5tOWtfiMPD务多之间砥闻互关JK的）也量攵更相应的此置所以盅依蜕的动卷W挈六健在同f二JC城中进后.而不能约而出13虐需机乏眇是尊!依4:从一个句aw杵设香眇出另一个&者的*&,天为日常的JMill圻Ila中籍大规模0依机注号量比较禽见的事情.上千台戏机跳成的大NMtIl”内的贤霞M度文“更M/舄.我们可以弧。慰W三”又援蜀;贡源的*1用率、6总金应机的他演并IM节疚的可朴*性.当点检机席会的事生机我为住护或怆及*岩机M.当IH实例款网要迂移到共侑的畲主机上.为了保旺立务不中.我们胃要假*SW的眇&（不殳,力gt在用第实现二同第,auf÷*三r±到只霍网络厦可达版IfefiiStxr也的脑域期.由应机*6正号后6MQF同一个二届离婚.戊就不M量改殳IP地k低二后朦。网络&笈力在大二层同络环境艮<Ma找帚夏遇双明的河第易址以保证席到达日的检,因他同第设备的二层灿寰安大小（WMAC*M三）成为决定了云i球式下方粒机的蝮1上双月且因大次并参白分之K的有效弋.侵警可用妁虐用工丈母泣一姆低,抬别星用于强本药人设金而*,织M霆项一般康格较小,WW7集个人计尊数据中心的虚修机数.包加艮M幄址盘冬&计力与核心或同美设着在另一档次，刻会缓封网券设立本（这一盘*实和上盒的一打关盟残们能不健把交帙机器金球发心攵排双吧）.置储植&或网关&的VACONp战峪会虔血机增长心胃0就at但用于比JB次设金能力而A.人段格Jt不可Il免的皿务文那霍玳.M市续入设备双格压力的顺可以最分离网关觉力.知来周多个同美安分殂0治机的典姑父承©但尤优也会停来成本的EII上升.沟解胃援惧更大度发的以同络敢人城，的曲惠中心往柱郡会对外81供云计IrE务同一个除德便aq叙会惊柝分成步个小统分£嬉不同的四户（Tro）,因为二信同络均以第帜可能会进行广，.所lU子安全的今3这线不问的租户之何要遂行同第9M.H免他户之间的我区咱勤0次里黑熊攻击.传纹的同珞图H会校比JtKl财W网投木（Vnvl1.AN.VuW）VlAN会镇用12匕*赛示唐除网络©,博检网目的上mil896个（2的12次力）4096个虐Q网络对于大祝发的数图中心尤X最公力八亚务升才派不足堪,阿络Sla和分言费求®，火喙40%.V3会候用24”款的VTWgR盲端陶与个数总共UJ以表本：&777216个虐出网络.迭也就足金把率心多加户双协隰充的博双了3ft>Jfttth.但兔我们啜中。夏设名Ilit乂实是足I哈三.为什么需要Vxlan在云计算IDC里，要求服务器做到虚拟化，原来这个服务器挂在TORA上，我可以随意把它迁移到TORB±,而不需要改变IP地址，这个优点就是1.2网路的特长，因为我这个虚拟服务器和外界（网关之外）通信还靠1.3,但是我网关内部互访是走1.2的，这个在1.3里是无法做到的.因为1.3里每个IP都是唯一的，地址也是固定位置的,除非你整网段物理搬迁.因此如何在1.3网络里传输1.2数据呢，这就是。Verlay技术.因此VX1.AN（Virtualextensible1.AN可扩展虚拟局域网）诞生了，基于IP网络之上，采用的是MACinUDP技术，本来0S17层模型里就是一层帙一层的，这种和GRE/IPSEC等tunnel技术是不是很像，这种封装技术对中间网络没有特殊要求，只要你能识别IP报文即可进行传送.好了,解释清楚了，那么现在总结为何需要Vxlan:虚拟机规模受到网络规格的限制，大1.2网络里，报文通过查询MAC地址转发,MAC表容量限制了虚拟机的数量.网络隔黑的限制，普通的Vlan和VPN配者无法满足动态网络调整的需求，同时配舌豆杂虚拟器搬迁受到限制，虚拟机启动后假如在业务不中断基础上将该虚拟机迁移到另外一台物理机上去，需要保持虚拟机的IP地址和MAC地址等参数保持不变,这就要求业务网络是一个二层的网络.3.1 报文的封装与解封装VX1.AN的核心在于承我于物理网络上的隧道技术，这就意味着要对报文进行封装和解封装，因此需要硬件来加速处理.在VX1.AN网络中，用于建立VX1.AN隧道的端点设备称为VTEP（VX1.ANTunnelingEndPoint,VX1.AN璇道终结点，起到网关的作用），封装和解封装在VTEP节点上迸行.在云数据中心，部分业务是不适合进行虚拟化的（如小机服务器，高性能数据库服务器），这些服务器会宜接与物理交换机互联，而他们又必须与对应租户/业务的VX1.AN网络互通此时就必须要求与其互联的硬件交换机也能支持VX1.AN协议，以接入VX1.AN网络.3.2 蛆播协议传播简单总结，v×lan用组播协议传播，每个VTEP都需要清楚源和目的MAC,新增MAC地址需要组播通知一实例下所有VTEP.另，本地VTEP找不到目的MAC处于哪一个远程VTEP时，也需要组播报文查找目的MAC主机所属远端VTEP.租户很多时，组播条数指数增加，对物理网络承载组播处理能力有较大要求.引入SDNController来实现VX1.AN的管理和堆护，VTEP的MAC地址表映射关系不再通过组播向全网其他VTEP传达，而是统一上报给控制器，由控制器统一下发给需要接受此消息的其他VTEP,由具体的VTEP执行转发机制。VX1.AN网络的MAC表与隧道终端的绑定关系要用组播协议传播，而大规格组播协议离不开物理网络设备的支持.按照VX1.AN的标准，每一个VTEP都需要了解箕接入的终端MAC地址，同时还需要知道整网（该VX1.AN实例中）其他VTEP下所有的终端MAC地址.只有这样，在本地的VTEP收到报文后需要转发时，才能根据目的MAC查询到需要送到远端的目的VTEP那里.按照IETF中对VX1.AN网络的定义，负责在网络中传播MAC地址和VTEP对应关系的机制，正是依托于物理网络中的组福协议.VTEP将本地的MAC地址表利用组播协议在整个组播中传播，从而使得整网中所有组播成员，也就是其他VTEP都知道本地的MAC地址表。当VTEP下的终端接入情况有所更改如新增了MAC地址或者减少了MAC地址,也需要利用组播协议通知同一个实例下的所有VTEP。另外，当本地VTEP找不到目的MAC处于哪一个远端VTEP时，也需要发送组播报文来查找目的MAC主机所属的远端VTEPe实际组网中YX1.AN利用了物理网络的组播组，在建立好的组播组中加入VX1.AN中所有VTEP成员，传递VTEP变更信息.在多用户多业务情况下，组播组要求与VX1.AN数量息息相关。由于VX1.AN网络规模的不断拓展（最大可达到16M个VX1.AN网络），所需要的组播条目数会不断增加，这实际上对于物理网络承载组播处理能力和规格提出了要求.由于标准VX1.AN架构下使用组播协议，对物理网络组播数规格要求较大，因此H3CVX1.AN解决方案基于SDN架构，通过引入全网的SDNController来实现VX1.AN的管理和维护，使得VTEP之间的侑息可以通过Controller来迸行反射。这样，VTEP的MAC地址表映射关系不再通过组播向全网其他VTEP传达，而是统一上报给控制器，由控制器统一下发给需要接受此消息的其他VTEP,由具体的VTEP执行转发机制.在SDN架构下硬件形态的VTEP需要能够支持集中控制器下发的业务控制信息,同时基于OPenfIow进行流表转发.而传统硬件交换机不靛支持上述特性，必须由新硬件设备来执行和完成的.3.3 VX1.AN网络互通在传统1.2网络中，报文跨V1.AN转发，需要借助三层设备来完成不同V1.AN之间的互通问题.VX1.AN网络与传统网络、以及VX1.AN网络的互通，必须有网络设备的支持.VX1.AN网络框架中定义了两种网关单元.VX1.AN三星网关.用于终结VX1.AN网络，将VX1.AN报文转换成传统三层报文送至IP网络，适用于VX1.AN网络内服务器与远端终端之间的三层互访；同时也用作不同VX1.AN网络互通（可理解为不同VPC）.当服务器访问外部网络时，VX1.AN三层网关剥离对应VX1.AN报文封装，送入IP网络；当外部终端访问VX1.AN内的服务器时，VX1.AN根据目的IP地址确定所属VX1.AN及所属的VTEP1加上对应的VX1.AN报文头封装进入VX1.AN网络.VX1.AN之间的互访流量与此类似，VX1.AN网关剥黑VX1.AN报文头，并基于目的IP地址确定所属VX1.AN及所属的VTEP,亚新封装后送入另外的VX1.AN网络。VX1.AN二层网关.用于终结VX1.AN网络，将VX1.AN报文转换成对应的传统二层网络送到传疣以太网络，适用于VX1.AN网络内服务器与远端终端或远端服务器的二层互联.如在不同网络中做虚拟机迁移时，当业务需要传统网络中服务器与VX1.AN网络中服务器在同一个二层中，此时需要使用VX1.AN二层网关打通VX1.AN网络和二层网络。如图7所示，VX1.AN10网络中的服务器要和IP网络中V1.AN100的业务二层互通，此时就需要通过VX1.AN的二层网关进行互联.VX1.AN10的报文进入IP网络的流量，剥掉VX1.AN的报文头，根据VX1.AN的标签直询对应的V1.AN网络（此处对应的是V1.ANlOO）,并据此在二展报文中加入V1.AN的802.1Q报文送入IP网络相反V1.AN100的业务流量进入VX1.AN也需要根据V1.AN获知对应的VX1.AN网络编号，根据目的MAC获知远端VTEP的IP地址，基于以上信息进行VX1.AN封装后送入对应的VX1.AN网络.可见，无论是二层还是三层网关，均涉及到直表转发、VX1.AN报文的解封装和封装操作.从转发效率和执行性能来看，都只能在物理网络设备上实现，并且传统设备无法支持，必须通过新的硬件形式来实现。四.两层网络，三层网络详细区别二层网络仅仅通过MAC寻址即可实现通讯，但仅仅是同一个冲突域内；三层网络则需要通过IP路由实现跨网段的通讯，可以跨多个冲突域.首先看1.2链路层，这一层以帧（Frame）为单位组织物理信号，每个帧都需要有一个源地址和目的地址，绝大多数情况下使用的都是网卡MAC地址.而交换机则具有MAC地址学习功能，能够向各个端口准确投放数据帧，这样就大大提高了数据传输效率.对于1.2层，交换机只能转发一个子网内的数据帧（子网是通过IP地址划分的），如果要将一个数据帧跨网转发，则需要借助于1.3层的路径规划功能，这个一会再说.现在假设有如下网络拓扑结构，ABCD四台主机属于10.0.0.0子网，网关都指向路由器的10.0.0.1端口，EFGH属于10.0.1.0子网,网关指向路由器的10.0.1.1端口.先看同一子网内的通信的情况（A向C发送数据，这种情况下都是通过IP地址指定的），假如所有的主机、交换机和路由器都刚刚加电，内部没有缓存任何MAC映射表和路由表.A在发送之前，发现（：和A在同一个子网内，于是A试图先在物理子网内找一下Cf但是在同一物理子网内是通过硬件MAC地址来寻址的，而A此时并不知道C的MAC地址，于是A通过ARP广播来试图获取，发出的广播包包括如下类似内容：（注：广播时用的MAC地址是）源MAC目的MACxx:xx:xx:xx:xx:aa10下面再来看跆物理网络通信的情况（A向E发送数据），同样假设设备都刚刚加电，缓存为空.A发现E的IP也是同一网段的，于是又开始广播，但是这次BCD都没有回应.我们此时把视线转到路由器1上，当路由器1收到这个ARP广播包后，为了避免广播风品的产生，路由器1不会继续广播这个ARP包，但是路由器1会把自己的MAC告诉A,回发如下类似格式的内容：SMAC目的MAC源IP目的IPxx:xx:xx:xx:xx:caxx:xx:xx:xx:xx:aa10.0.0110.0.0.2A在等待超时后，发现当前物理子网内找不到E,但是A已经知道了网关路由器的MAC地址，于是便会将发给E的数据包扔给网关（也就是路由器1的1口），路由器1收到这个包后，发现E的IP在自己内部也没有缓存，于是路由器1也开始了寻找E的过程。相比交换机的子网内"广播找人”，路由器的选路范围更大也更豆杂,很多情况下是整个Internet,并且要夸多个运营商,所以在1.3层面路由器的路径计算协议较多，包括：RIP、OSPF.IS-IS.BGPxIGRP等协议。路由器之间计第路径时，任何一台路由器都是无法窥探整个网络的，因此每台路由器都只是通过选路箕法找到下一跳的展优路径，这些最优路径连接起来便形成了一条完整的路径.换句话说，路由器的转发路径不是一个路由器选择出来的，而是一群路由器共同选择出来的下一跳地址序列.具体的路由选路无法一一讲解.大家感兴趣可以自己调直一下，这里假设路由器1直接找到了路由器2.我们继续往下探索，当路由器2接到寻找主机E的广播包后，发现E位于自己的网络中（当然也提前需要一个广播学习的过程才能知道），便向前一跳路由器（即路由器1）反馈自己留主机E最近，最终经过这样一个“A网关路由器一路由器间选路一找到主机E所在子网"的过程A终于可以与E进行通信了，由于A和E之间经历了多个物理子网，因此需要多次的1.2转发才能实现数据包的到达，这个过程中1.3层IP包外包帧的MAC地址会不断变换。A-B-A这个过程中，数据帧和IP包的地址经历过程如下（假设A使用的是本机的88端口，B使用的是本机的99端口）：1.2Frame-在IPe之外包HMACttlt«0”网而彪成1.3IPPacketBSSMAC目的MAC三包ATBaiBlXX：XX：XX：XX：XX：MXX：XX：XX：XX：XXX«10.0.0.210.0.0.68899.xx:xx:xx:xxjcxxbXXJOCXX1XX：XX：CC10.0.0.2100.0.6899南.？-三XX：XX：XX：XX：XX：Cdxx:xx：xx:xx：xx：ae10.0.0.210.0.0.688We三-BAB2xx；xx:xx：xx:xx：aexx:xx：xx:xx：xxxd10.0.0610.0.0299882-BBBlXX：XX：XX：XX：XX：CCxx:xx:xx:xx:xxxb10.0.0.7100.0.39988BftBl-Axx:xx:xx:xxj(x：caxx:xx:xxj(x：xx：da10.0.0810.0.0.499在这个过程中，数据包在路由器1和2的1一4口之间传递时，由于是在一个设备内部，因此可以直接转发,而不用变换帧头，从而提高转发效率。如果A要与其它子网的FGH主机通信，过程基本是一样的，只不过刚开始不会先在当前子网内“广播找人”，而是百接将数据包投递给出口网关。本文旨在向大家展示1.2交换机和1.3路由器在转发网络数据时的一个主要流程，希望能给大家带来帮助.