中国移动省网异常流量防护指导方案.doc

省网异常流量防护指导方案 文档编号请输入文档编号 密级请输入文档密级 版本编号1.1 日期2010-06-25 目录一、项目概述1二、现状分析1三、设备部署逻辑拓扑2四、路由策略设计34.1.牵引路由设计34.2.注入路由设计4五、流量检测设计45.1.Netflow配置45.2.NTA部署5六、ADS-M部署5七、内网网管部署5八、物理层对接6九、设备命名及IP地址分配99.1.设备命名表99.2.IP地址9十、路由部署1110.1.牵引路由1110.2.注入路由1210.2.1 ADS注入路由配置1210.2.2 T640注入路由配置26十一、部署测试26一、 项目概述在全球运营商市场竞争日趋激烈的格局下，如何通过优质的差异化服务获得客户认可，从而获得竞争优势、开拓市场空间、扩大市场份额，成为运营商成功与否的关键。目前，DDoS攻击已经逐渐成为了互联网中最常见、危害性最大的攻击形式之一。DDoS攻击不但能够给各类互联网用户和服务提供商造成业务中断、系统瘫痪等严重后果，同时也严重威胁中国移动的基础设施。由于商业竞争、政治情绪、经济勒索等因素的驱动，DDoS攻击越来越呈现出组织化、规模化、专业化的特点，攻击流量动辄数G、数十G，攻击频率也大有愈演愈烈之势。在这种紧迫形势下，配合中国移动北京公司当前的转型战略，建设专门的DDoS攻击流量监测和清洗平台是一个必然之选。基于该平台，一方面可以为移动自身的生产网络提供安全保障，有效提高生产网络的健壮性；另一方面能够结合移动大客户的安全需求提供DDoS攻击的防护业务，从而达到保存激增的目的。此次中国移动北京公司网络流量监测清洗项目建设目标对途经CMNet北京省网核心层的异常流量（DDOS）进行流量清洗，同时不影响或较少影响正常的业务运营，并根据异常情况生成实时和时段的异常报表。二、 现状分析北京移动在CMNET网络出口改造后，出口兼核心的四台T640路由器分别部署在望京、菜市口两个局址，以口字型互联，T640在两局址间通过10G*2的数据传输互联。每台核心路由器均通过一条10GE链路上连至CMNET骨干；每个局址的自有业务通过本地一对M320接入，两台M320与本地的两台T640组成口字型结构；四台MX960作为SR与望京、菜市口两个局址中各一台T640相连，承担宽带及专线用户的接入。北京移动CMNET内部的互联路由及业务路由全部通过IGP承载，在核心层通过BGP发布到CMENT骨干上。三、 设备部署逻辑拓扑为增加北京移动CMNET网络的抗DDoS攻击能力，按照DDoS防护基本思路，将防护设备ADS集群部署于靠近出口的位置，考虑到在实现预期功能的前提下尽量减小在部署中对北京移动原有网络配置的影响，将ADS集群旁路部署在北京移动核心路由器T640上，本项目中共两组ADS集群，在望京、菜市口两个局址各部署一组，分别与本地两的两台T640通过10GE链路互联，通过IBGP对进入北京移动网络的流量进行牵引过滤，再将清洗后的流量回送至T640后转发到目标网络。 为对进入北京移动的流量进行检测，将两台NTA部署于北京移动CMNET网络内，通过Netflow对网络中的特定流量进行采样并进行分析，对各种异常流量产生告警，并可根据需要通告ADS集群对异常流量进行牵引过滤。 逻辑部署拓扑图见下图：图 1.1 北京移动CMNET网络ADS部署逻辑拓扑四、 路由策略设计ADS在对流量进行牵引及回注时均涉及到路由器上的路由配置变更，以下将对部署过程中需要的配置进行说明。4.1. 牵引路由设计为使异常流量通过ADS设备进行清洗，需要ADS通过动态路由协议将牵引路由发送到T640上，使T640将需要牵引的流量送到ADS。考虑牵引使用的路由协议需要较强的控制性及网络资源的申请及分配问题，使用IBGP协议对T640进行牵引路由通告。· 在ADS上通过loopback地址与核心层四台T640分别建立IBGP邻居关系；· 关闭T640上的IBGP路由同步，以使IBGP牵引路由有效；· 进行牵引路由通告时携带no-advertise属性，将牵引路由限制在核心层，避免对北京移动原有网络产生不必要的影响由于ADS在清洗过程中需要与客户进行通讯以便验证客户访问的合法性，即客户A访问被保护业务X时的流量在牵引后始终要经过同一组ADS清洗设备；现网中考虑路由改造、维护及链路利用率等因素，回城路由采用基于等价路由的负载均衡设计，为保证ADS在现网环境中可正常工作，对每个目标IP仅由一组ADS通告牵引路由，以保证各客户端到达目标IP的流量由同一组ADS处理。4.2. 注入路由设计在ADS对流量进行清洗后需要回送到T640上，为避免ADS回注的清洁流量受牵引路由影响再次被牵引形成路由环路，需保证回注流量在T640上路由或转发时使用优先级高于全局路由表的路由或转发策略。可通过在T640的回注子接口上设置路由转发策略，仅根据IGP表项进行路由转发，保证T640可将清洗后的流量继续转发到下一层路由器（M320、MX960），避免ADS的注入流量受牵引路由影响再次被牵引清洗。由于T640处理ADS回注流量时根据IGP表项进行路由转发，需保证ADS回注流量送达的路由器上目标IP的IGP路由直接指向下一层路由器，即要求ADS根据目标IP的分布情况将流量回注到正确的T640上。五、 流量检测设计为对北京移动CMNET的流量进行监控检测是否流量有异常情况，可在T640的上联口上开启flow采样，对由CMNET骨干进入城域网的流量进行检测。5.1. Netflow配置在核心路由器T640上配置Netflow采样对由CMNET骨干进入城域网的流量进行采样，将flow发送到两台NTA供检测分析。考虑到采样的效率和检测效果，建议采用1:1000的采样比率。5.2. NTA部署本项目中共有两台NTA对流量进行采样分析，两台NTA以主备方式工作，同时接收FLOW数据，由主NTA对流量进行分析，如需配合ADS自动牵引也由主NTA向ADS进行通告。六、 ADS-M部署ADS-M分为数据存储及Portal两部分，数据存储部署于内网交换机上，Portal的管理口与数据网管防火墙连接，Portal的E1口通过数据整合交换机接入M320对外提供服务。七、 内网网管部署除ADS-M Portal外所有设备管理口均与本局址的内网管理交换机Cisco 3560相连，菜市口局址的Cisco3560通过数据网管防火墙接入网管系统，两台Cisco 3560间通过三层路由通讯。ADS-M Portal管理口与数据网管防火墙连接，与管理内网的ADS-M DATA通讯。八、 物理层对接物理连接方式：端1描述端口类型端2描述端口类型连接介质长度备注望京ADS MAN Config管理口1000Base-TX望京C3560望京内网网管交换机1000Base-TX1000BASE-TM望京 ADS MAN T1牵引回注接口XFP-10GE-LX10-SM1310WJ-T640-01 xe-0/2/0望京CMNET核心交换机XFP-10G-LR10GBASE-LR/LWSMF, LC-LCM望京 ADS MAN T2牵引回注接口XFP-10GE-LX10-SM1310WJ-T640-02 xe-0/2/0望京CMNET核心交换机XFP-10G-LR10GBASE-LR/LWSMF, LC-LCM望京ADS MAN E1集群通讯口1000Base-TX望京ADS SLAVE A E1集群通讯口1000Base-TX1000BASE-TM望京ADS MAN E2集群通讯口1000Base-TX望京ADS SLAVE B E1集群通讯口1000Base-TX1000BASE-TM望京ADS MAN F1-F4集群数据通道SFP-GE-SX550-MM850望京ADS SLAVE A F1-F4集群数据通道SFP-GE-SX550-MM8501000BASE-SXMMF, LC-LCM望京ADS MAN F5-F8集群数据通道SFP-GE-SX550-MM850望京ADS SLAVE B F5-F8集群数据通道SFP-GE-SX550-MM8501000BASE-SXMMF, LC-LCM望京NTA Config管理口1000Base-TX望京C3560望京内网网管交换机1000Base-TX1000BASE-TM望京NTA Ext1FLOW接收口1000Base-TX望京M320-02 fe-1/1/2望京CMNET内网业务汇聚交换机1000Base-TX1000BASE-TM望京C3560互联传输1000Base-TX互联传输1000Base-TX1000BASE-T菜市口ADS MAN Config管理口1000Base-TX菜市口C3560菜市口内网网管交换机1000Base-TX1000BASE-TM菜市口 ADS MAN T1牵引回注接口XFP-10GE-LX10-SM1310CSK-T640-01 xe-0/2/0菜市口CMNET核心交换机XFP-10G-LR10GBASE-LR/LWSMF, LC-LCM菜市口 ADS MAN T2牵引回注接口XFP-10GE-LX10-SM1310CSK-T640-02 xe-0/2/0菜市口CMNET核心交换机XFP-10G-LR10GBASE-LR/LWSMF, LC-LCM菜市口ADS MAN E1集群通讯口1000Base-TX菜市口ADS SLAVE A E1集群通讯口1000Base-TX1000BASE-TM菜市口ADS MAN E2集群通讯口1000Base-TX菜市口ADS SLAVE B E1集群通讯口1000Base-TX1000BASE-TM菜市口ADS MAN F1-F4集群数据通道SFP-GE-SX550-MM850菜市口ADS SLAVE A F1-F4集群数据通道SFP-GE-SX550-MM8501000BASE-SXMMF, LC-LCM菜市口ADS MAN F5-F8集群数据通道SFP-GE-SX550-MM850菜市口ADS SLAVE B F5-F8集群数据通道SFP-GE-SX550-MM8501000BASE-SXMMF, LC-LCM菜市口NTA Config管理口1000Base-TX菜市口C 3560内网网管交换机1000Base-TX1000BASE-TM菜市口NTA Ext1FLOW接收口1000Base-TX菜市口M320-02 fe-1/1/2菜市口CMNET内网业务汇聚交换机1000Base-TX1000BASE-TM菜市口ADS-M Data Config管理口1000Base-TX菜市口C 3560菜市口内网网管交换机1000Base-TX1000BASE-TM菜市口ADS-M Portal Config管理口1000Base-TX菜市口FW菜市口网管网FW1000Base-TX1000BASE-TM菜市口ADS-M Portal E1Portal业务接入1000Base-TX菜市口C3560菜市口整合网接入1000Base-TX1000BASE-TM菜市口C3560, Fa 0/22数据网管网接入1000Base-TX菜市口数据网管FW菜市口数据网管接入1000Base-TX1000BASE-TM菜市口C3560, Fa整合网接入1000Base-TX菜市口整合网交换机8508-01菜市口整合网接入交换机1000Base-TX1000BASE-TM菜市口C3560, Fa整合网接入1000Base-TX菜市口整合网交换机8508-02菜市口整合网接入交换机1000Base-TX1000BASE-TM菜市口C3560 Fa 0/23互联传输1000Base-TX互联传输1000Base-TX1000BASE-TM九、 设备命名及IP地址分配9.1. 设备命名表名称描述望京1BJWJ-PB-CMNET-ADS-01ADS集群主设备2BJWJ-PB-CMNET-ADS-02ADS集群SLAVE A3BJWJ-PB-CMNET-ADS-03ADS集群SLAVE B4BJWJ-PB-CMNET-NTANTA5BJWJ-PB-CMNET-ADS-C3560内网网管交换机菜市口1BJCSK-PB-CMNET-ADS-01ADS集群主设备2BJCSK-PB-CMNET-ADS-02ADS集群SLAVE A3BJCSK-PB-CMNET-ADS-03ADS集群SLAVE B4BJCSK-PB-CMNET-NTANTA5BJCSK-PB-CMNET-ADSM-DATAADS-M数据存储6BJCSK-PB-CMNET-ADSM-PORTALADS-M Protal7BJCSK-PB-CMNET-ADS-C3560内网网管交换机网络设备命名表9.2. IP地址IP地址、设备名称、网卡对照表：内网管理地址在望京、菜市口使用两个网段，望京侧需要6个IP，菜市口需要8个IP，考虑扩容因素。在每个局址预申请32个地址；两台Cisco 3560使用一对互联地址对接。由于内网地址暂时未得到分配，临时使用192.168.0.0/24网段地址部署，望京使用192.168.0.0/27，菜市口使用192.168.0.32/27，互联使用192.168.0.252/30。十、 路由部署10.1. 牵引路由每个局址的ADS分别与四台T640建立IBGP邻居关系，发送路由通告时设置no-advertise community属性。10.2. 注入路由ADS根据各网段在核心层的接入位置，设置回注路由，保证清洗后的流量回注到目标网络接入的T640上。T640在回注子接口上设置路由转发策略，仅根据IGP路由进行转发，避免回注流量的转发受牵引路由影响。十一、 部署测试为对部署正确性进行验证，在设备上线后进行相关功能的测试。望京清洗系统入网时为经人工确认的清洗，调测入网后，对PS域CMNET上网对应的公有IP地址（117.136.0.0/24）进行验证l 首先由核心T640上验证测试IP的路由可达性l 在望京ADS上手工添加117.136.0.0/24的牵引规则l 由核心交换机使用loopback地址对测试IP进行PING测试l 在望京ADS上抓包，验证去往目标IP的流量已经过望京ADSl 确认由核心交换机到达测试IP路由可达，验证流量经ADS回注后正常到达目标网络