流量监控安全技术研究.ppt

中国移动集团重点/联合研发项目结题汇报报告,项目名称：流量监控安全技术研究项目编号：,一.开题计划完成情况,目 录,二、主要研究成果,1.1 研究背景及目标,研究背景,一、CMNET互联出入口带宽拥塞，流量管控迫在眉睫,二、攻击技术迅速发展,CMNET互联出入口带宽拥塞，公司进行了流量控制设备的直路部署，初步缓解了基于P2P等带宽滥用所造成的流量拥塞。随着TD-SCDMA和TD-LTE的广泛使用，分组域数据流量明显上涨，终端智能化和IP化的进展，造成了DDoS攻击和僵木蠕病毒等异常流量呈现上升和难以抑制的趋势。攻击流量汇聚所造成的服务中断已经不能通过防火墙、IPS等安全设备控制。,2009至2010年DDoS所造成带宽占用增长1倍以上，“暴风影音”等重大事件凸显。随着移动互联网业务发展和新业务的产生，攻击和病毒技术有了新的提高，黑色产业链成熟，攻击类别和能力都有了新的提高。,1.2 主要研究内容及分工,流控系统,异常流量清洗,僵木蠕检测,单层流量调度,项目总体协调工作由研究院负责：1.协调项目，优化资源 2.把握整体技术发展方向,分流路由配置,DNS,多层流量协同,集中管控,多应用扩展,分场景路由配置单层方案组网验证-研究院与北京公司,DNS安全监控方法研究-四川公司,基于标记的流量调度方案,多标记方案-研究院负责,单包检测方法-研究院负责,标记与牵引共组网-研究院与北京公司,方案设计-研究院负责需求提供-四川公司方案验证-北京公司,基于业务类别流量调度由研究院牵头负责：省公司根据实际运营需求，进一步促进研究院技术研发，使得技术创新工作更有针对性场景分类和需求由省公司负责：研究院从技术角度提出方案建议，从总体上把握项目的研发方向,由研究院牵头负责,由研究院牵头负责,旁路DNS监控方法-四川公司,多层方案验证-北京公司,流控与异常流量互操作接口-研究院负责,异常流量清洗统一管理接口僵木蠕检测统一管理接口-研究院负责,1.3 开题计划完成情况总结(1/2),共计研究报告4份，方案规范13份，专利1项，并推动相关产品以及现网部署,一.开题计划完成情况,目 录,二、主要研究成果,项目主要内容,基于标记的流量调度方案,基于多层协同流量清洗方案,流量标记的方法和规则流量调度的策略和操作双向检测的路由策略下游加流控四层交换机路由器端口镜像快速以太网通道,标记分配的原则和方法多层异构流量调度分析全标记标记+牵引标记+牵引+静态流量回注策略异常流量清洗和流控的接口,集中管控方案,多应用扩展,异常流量清洗系统多厂家协同管理接口异常流量清洗系统多厂家协同管理接口安全DPI体系架构,基于不同应用类别的流量调度用于数据中心的流量调度基于用户特征基于业务特征用于实验室建设的流控方法,2.1基于标记的流量调度方案需求分析（1）,标记调度,集中管控,多层协同,应用扩展,旁路DFI+流量牵引,旁路DPI+流量牵引,直路全流量清清洗,适于解决小流量攻击较细粒度检测全流量串入骨干网络风险较高与既有的宽广设备有一定的功能交叉放在现有出入口方案中处在多次解数据包的重复工作,适于解决大流量攻击粗粒度检测节省成本Netflow-based检测中心可复用,适于解决小流量攻击较细粒度检测有一定光衰影响与既有的宽广设备有一定的功能交叉放在现有出入口方案中处在多次解数据包的重复工作,2.1基于标记的流量调度方案需求分析（2）,标记调度,集中管控,多层协同,应用扩展,综上，可以看出，骨干网出入口不适合简单使用直路部署方案，通过基于动态路由的牵引回注方式难以满足需求，需要一种新方案简化维护难度，提高效率。,NAT、虚拟化等业务方式受限制,逐链路部署，投资大,产生多次清洗，感受差,全流量分析，效率低,配置繁复多变，维护难,引入了新故障点,导致后果,技术难题,牵引回注缺陷,直路部署缺陷,2.1基于标记的流量调度方案技术方案,标记调度,集中管控,多层协同,应用扩展,流控设备依照流量基线与实际流量进行对比，当流量不符合基线形态，就判定流量异常。路由器根据标记，进行策略路由，将流量进行分发。,安全设备,安全设备,标记流量,分发流量,无标记流量返回,已决策,0跳采用流控专有接口输出1跳之内可使用VLAN标识2跳以上须使用TOS/DSCP,标记规划,2.1基于标记的流量调度方案双向检测,标记调度,集中管控,多层协同,应用扩展,1）下游增加流控设备,2）路由器换为四层交机,依据端口号区分业务并分流,3）启动路由器端口镜像,在路由器的上下游端口，对源/目的IP，以及port进行hash，根据hash值确定回来的流量发往哪个端口。,3）EtherChannel,1）判断准确但增加网元，增加投资,2）判断较准，无需增加网元但需增加投资,3）回流准确但需增加路由器端口，增加安全设备处理能力,4）无需增加网元，无需增加安全设备处理能力，判断较准,全流量镜像,安全设备,2.2 基于多层协同流量清洗方案总体方案,标记调度,集中管控,多层协同,应用扩展,如果使用两位预留位就可以达到多层拒绝服务攻击过滤的目的使用多层拒绝服务攻击防护方案可以避免单点防护投资过大的问题安全运维模式可能会有调整，安全策略的维护将专业性更强，数据专业的安全运维能力将加大。需要指出的是用户侧可能存在基于染色的攻击或绕开安全控制，只需将凡是来自用户侧的携带染色标记的流量过滤即可解决,其他运营商,互联出口标记,骨干网层防护,城域网层防护,接入网层防护,11,11,11,10,11,10,10,01,00,00,00,00,2.2 基于多层协同流量清洗方案分场景策略,一级应用场景,二级应用场景,骨干层，互联出口，安全级别最高级，流量检测及清洗设备要求大颗粒、高精度，高性能；,大区级省网出口、城域网出口，安全级别较高，流量检测及清洗设备要求大颗粒、高精度，高性能；,直辖市及普通省网出口，安全级别一般，流控及清洗设备精度及处理能力要求低于前两种场景；,分大区,分地市,安全级别,防DDos攻击四种典型应用场景,三级应用场景,四级应用场景,互联点,直辖市,地市级出口，安全级别一般，可以按需考虑部署流控及清洗设备；,防DDOS攻击五种关键元素,标记调度,集中管控,多层协同,应用扩展,2.2 基于多层协同流量清洗方案标记规划,使用预留位解决清洗问题复用QoS进行协议分类，并利用其它位创建小类共同规划,CMNet省网,核心路由器,业务接入控制点,业务接入控制点,BRAS,SR,BRAS,SR,业务接入控制点用户侧QoS配置流分类标记（安全）限速,核心路由器上行接口QoS配置队列调度&拥塞控制流量清洗,核心路由器和业务接入控制点网络侧QoS配置队列调度&拥塞避免专有协议安全控制,二层接入网络,根据802.1p优先级进行队列调度将DSCP优先级映射到802.1p优先级,标记调度,集中管控,多层协同,应用扩展,待决策,2.2 基于多层协同流量清洗方案标记分配,标记调度,集中管控,多层协同,应用扩展,2.2 基于多层协同流量清洗方案现网验证,基于标记分流,标记调度,集中管控,多层协同,应用扩展,多层协同流量清洗方案验证,单层协同流量清洗方案验证,基于标记分流,BGP牵引,基于标记分流,BGP牵引,静态路由,根据北京公司现网验证，ADS使用完全与现网一致的配置，采取多级DSCP标记，模拟了出入口、省骨干网和接入网多级多策略的流量牵引调度。策略包括基于标记的分流、BGP路由牵引和静态路由等三种不同规则。验证结果符合预期，未出现多次清洗和流量调度不准确情况。,回注流量DSCP标记还原为“0”,回注方式,2.2 基于多层协同流量清洗方案与流控接口,标记调度,集中管控,多层协同,应用扩展,divert_start（DST，TSD）,confirm,清洗指令,目标更新,threshold_update（DST，TSD）,confirm,清洗开始,divert_status（STA，AFg）,confirm,清洗遇忙,divert_running（CAP，DOID）,confirm,停止新任务,响应中断,confirm,confirm,停止标记,待决策,接口消息,消息处理流程,2.3 集中管控方案总体方案（1）,多,标记调度,集中管控,多层协同,应用扩展,安全态势特征数据库,IP信誉,数据包特征,用户行为特征,网络行为特征,待检测数据特征,安全态势评价模型,事件趋势预测模型,Internet,WLAN,3G/LTE,LAN,PON,个人客户,家庭客户,集团客户,BRAS,GGSN,DPI设备,接入层,承载层,终端,Web Cache,CDN,流量清洗,不良信息,僵尸/木马,流控,彩信计费,应用层,P2P Cache,流控,云安全平台,蜜网系统,客户安全组,AD攻防平台,FWIPSIDSSecurity Client,网络用户行为分析平台,接受控制策略,上报安全态势接受用户模板,待决策,2.3 集中管控方案总体方案（2）,多,标记调度,集中管控,多层协同,应用扩展,多点感知，多层感知是面对未来复杂安全环境的重要技术特征。通过对终端、接入、承载和应用部署分布式感知点，感知网络行为、应用内容和用户行为等多层信息，达到网络和信息安全的全面监控。,多点控制，多级控制是未来多网融合电信运营商复杂网络控制技术的发展方向。通过在网络侧出入口等集中位置和终端侧可控软件模块部署分布式控制点，可以达到安全控制策略精细化和防御纵深一体化，完成全网监控。,一点决策，一处维护是降低网络OPEX和加强网络集中管控的重要举措。通过在网络侧统一部署安全态势分析和策略控制平台，可以达到全网安全状态和趋势准确呈现和预测，安全策略及时下发，完成全网态势监控。,用户行为,应用内容,网络行为,流量清洗,不良信息,僵尸/木马,流控,云安全平台,蜜网系统,AD攻防平台,感知,控制,客户安全组,各模块现状,各模块演进,流控,调度&染色,先验感知,云安全平台,AD攻防平台,蜜网系统,态势感知流量控制,流量清洗,不良信息,僵尸/木马,客户安全组,对流量染色，各模块按照染色选取流量,2.3 集中管控方案僵木蠕现网部署方案,多,标记调度,集中管控,多层协同,应用扩展,Internet,WLAN,3G/LTE,LAN,PON,个人客户,家庭客户,集团客户,BRAS,GGSN,DPI设备,接入层,承载层,终端,Web Cache,CDN,流量清洗,不良信息,僵尸/木马,流控,彩信计费,应用层,P2P Cache,流控,互联出入口,已决策,2.3 集中管控方案僵木蠕检测原理,多,标记调度,集中管控,多层协同,应用扩展,监控服务器,检测服务器,僵木蠕特征库,Internet,CMnet,日志数据,云安全平台,IPS,特征检测,防病毒网关,目前共测试五个厂家产品，主要分为三类技术，现网流量情况较适合前两种。,IP信誉,+,+,+,2.4 集中管控方案统一管理平台部署和接口,分布式管理模型和接口,统一管理平台部署示意图,已决策,为适应不同厂家分别建设北、上、广三个不同出入口的需求，集团统一建设管理中心集中管理异常流量清洗和僵木蠕检测系统，使用FTP模式完成报表的收集，Syslog模式完成告警的实时采集，并统一呈现。,多,标记调度,集中管控,多层协同,应用扩展,2.4 多应用扩展方案应用分类安全管控,标记调度,集中管控,多层协同,应用扩展,发热门诊,挂号室,分诊台,A科,B科,C科,出院,DDoS流量清洗,流控设备标记（染色）,路由器分流,精细化检测,安全流量,基于标记的异常流量管控可面向复杂的应用，按照业务应用分类提供专业化的安全管控手段。,待决策,2.4 多应用扩展方案DDoS结合应用分类管控,标记调度,集中管控,多层协同,应用扩展,运营商网络,Internet,安全管控体系,异常流量清洗,管理中心,正常数据流,流量超限,DNS应用安全设备,DPI,DPI,DSCP：111100,DNS应用数据,DSCP：000100,DSCP：000100,DSCP：000000,DSCP：000100,待决策,数据标记变化,DDoS位,业务位,通过改变标记策略，可以同时实现DDoS防护和特定业务应用防护，并使得二者无冲突。,2.4 多应用扩展方案方案优势,标记调度,集中管控,多层协同,应用扩展,IP,TCP/UPD,APPLICATION,IP,TCP/UPD,APPLICATION,IP,TCP/UPD,APPLICATION,IP,TCP/UPD,APPLICATION,IP,TCP/UPD,APPLICATION,IP,TCP/UPD,APPLICATION,DDoS,流控,安全设备,安全设备,传统组网：DDoS设备需要检查IP+TCP/UDP层，以发现Flood攻击，检测应用层以判断是否有应用层DDoS攻击；流控设备需要检测所有层次，以精确判断流量类型；IPS设备需检测所有层次，判断业务类型，以检测蠕虫等流量；,本研究方案DDoS设备只检测IP+TCP/UDP层以发现流量型攻击。流控设备需要检测所有层次，以精确判断流量类型；安全设备仅负责检测Application层次，精细化检测安全威胁在DDoS层减少了对应用层的判断；在安全设备层面去了对IP,TCP/UDP层，以及应用类型的判断，同时进行精细化的安全防护。,DDoS,流控,2.4 多应用扩展方案数据中心的安全管控（1）,标记调度,集中管控,多层协同,应用扩展,数据中心B,数据中心A,防火墙隔离,集中数据中心,李跃总裁2010年总经理培训班讲稿第20页,传统的防火墙基于IP的安全控制策略已经成为阻碍数据中心集中化的技术瓶颈。推动云计算和虚拟化的发展，集中化数据中心的迫切需求，要求新的安全控制技术的出现。,2.4 多应用扩展方案数据中心的安全管控（2）,标记调度,集中管控,多层协同,应用扩展,27,基于用户的安全控制,基于业务特征的安全控制,针对数据中心融合需求，探索研究基于用户和业务特征等方式的安全控制技术，以简化防火墙部署体系，提高数据资源访问效率。,待决策,2.4 多应用扩展方案面向实验室建设方案,标记调度,集中管控,多层协同,应用扩展,FW IPS AV WAF+-+-+-+-+-+-+-+-+|DS5|DS4|DS3|DS2|DS1|DS0|/|/|+-+-+-+-+-+-+-+-+1 1 1 0 0 0,实验室建设示意图,流控标记策略,表示数据流穿过FW，IPS和防病毒网关,路由器流控入方向策略：DSCP31FW；DSCP15IPS;DSCP7AV;DSCP3WAF;DSCP1DSCP0根据不同入端口置位如FW：DSCP1,基于标记的流量控制方案的应用前景广泛，该建设方案可以使得实验室环境中，对环境的改变转变为对流控设备标记的改变，使得自动化的攻防研究成为可能。,2.4多应用扩展DNS安全防护（1）,四川公司CMNet域名解析系统采用缓存和授权分开组网模式，前端采用两台Cisco 5550防火墙作为DNS系统安全防护及访问控制。DNS安全实时监测平台为旁路的方式部署，通过镜像数据方式抓取前端8508上所有数据包进行分析，监测平台根据预设规则加以处理，对监控的异常IP通过通信口与防火墙和DNS服务器进行联动处理。这种部署结构适用于不同网络的DNS系统，不影响DNS系统的运行。,标记调度,集中管控,多层协同,应用扩展,系统组网图,已决策,2.4 多应用扩展-DNS安全防护（2）,预警环节：分析海量DNS请求攻击，建立一套对异常请求攻击的预警模型，包括DNS解析总量及失败量模型、单个域名解析请求增量模型。启动环节：系统实时关注DNS服务器运行状态，系统设定适当的启动条件，当DNS服务器符合达到一定压力时，启动DNS保护处理流程，对发起攻击的IP进行封堵。封堵环节：系统建立单一IP单位时间域名请求话务模型，通过模型可判断提取发起异常解析请求的IP地址。当某IP在单位时间的请求量骤增并达到设定条件，列入僵尸库，根据请求总量大小，按序封堵。保护环节：在封堵过程中，系统同时实时关注防火墙负载情况，当防火墙符合达到一定压力时，停止添加阻断策略，防止防火墙因过载导致退服风险，对防火墙及整个网络起到智能保护作用。还原环节：当攻击结束，DNS服务器负载逐步恢复到正常状态后，系统根据智能化策略老化机制，撤除防火墙上的阻断策略，使得整个网络运行状态恢复到攻击发生前的原始正常状态。,预警,启动,封堵,保护,还原,标记调度,集中管控,多层协同,应用扩展,海量DNS请求的安全防护机制,2.4 多应用扩展-DNS安全防护（3）,缓存投毒保护模型：,在DNS递归请求时，对于发往同一个递归DNS服务器的一个请求，正常的情况只产生1个回应包。当在10秒内收到来自该IP地址的多个相同事务ID的回应包时，说明这个请求链路之间被缓存投毒，系统将实时告警，并自动登陆缓存服务器进行数据清除。由于缓存数据清理后，DNS服务器通过递归重新获取该域名的IP列表，达到域名保护作用。,解析DNS请求包与回应包,否,DNS域名缓存清理,回应包的数量大于1,是,对每一请求包的回应包计数,不做处理,否,标记调度,集中管控,多层协同,应用扩展,DNS缓存投毒防护机制研究,域名劫持保护模型：,2.4 多应用扩展-DNS安全防护（4）,在DNS服务范围内，提取TOPN热点域名和重点域名，建立第三方热点/重点域名库，以此为标准进行域名解析正确性判断，发现解析错误时，借助人工判断确定是否发生域名劫持。当解析结果判定为正确时，可同步更新域名库。当解析结果判定为错误时，系统同步告警，并按照设定自动登录DNS授权服务器修复错误的解析信息，解除域名劫持。,正常,更新域名库,自动登录授权服务器修复错误解析信息,标记调度,集中管控,多层协同,应用扩展,DNS域名劫持防护机制研究,搭建与现网环境相同的模拟环境，采集点部署在DNS服务器前端交换机，并接入真实DNS请求数据进行实验。具体拓扑图如下：,模拟实验情况汇报,2.4 多应用扩展-DNS安全防护（5）,标记调度,集中管控,多层协同,应用扩展,总 结,本课题已完整覆盖开题计划中涉及的研究方向及关键研究点，并超额输出4份统一管理平台相关规范报告：4份；规范16份；专利1个。,后续工作计划：进一步促进综合安全管控能力平台的建设，在互联出入口试点成功后，继续支撑现网多级部署方案。,项目整体性,总体协调：牵头单位定期组织项目组例会，有效整合资源，有计划、有针对性的开展相关工作，把控项目整体进度和关键技术的研发方向分工：结合各自优势，将整体工作切块，实现项目组成员各司其职合作：研究院利用技术优势，对关键技术点进行把控；省公司及时反馈需求与实际验证，进一步促进研究院的研究工作,项目进度执行情况,本项目的进度与计划进度相符,项目工作总结,项目创新性,项目开展过程中，在流量调度和CMNET网络流量规划等关键技术点方面提出了创新性解决方案，主要成果成功申请了专利，并在全网推广应用，取得良好的效果,开题计划完成情况,请各位专家批评指正！,