网络流量监控-第1章网络流量监控概述.ppt

北京邮电大学朱洪亮,网络流量监控概述,北京邮电大学信息安全中心,教师信息,朱洪亮联系方式：邮箱：欢迎交流！,北京邮电大学信息安全中心,课程主要内容,基础知识：网络基础、异常流量攻击,单机流量监测技术及工具：Wireshark、Sniffer、Winpcap、MRTG等,专用网络流量监测技术：xFlow、RTFM、IPFIX、硬件流量监测等,流量监测应用：DPI、网络业务分析、用户行为分析等,网络流量控制技术：QoS流控、TCP反馈重发、旁路控制手段等,网络流量监控概述,北京邮电大学信息安全中心,推荐阅读书籍,1.刘芳等著，网络流量监测与控制，北京邮电大学出版社，20092.美桑德斯等著，诸葛建伟，陈霖，许伟林译，Wireshark数据包分析实战(第2版)，人民邮电出版社，2013。3.吕雪峰，彭文波，宋泽宇著，网络分析技术揭秘：原理、实践与WinPcap深入解析，机械工业出版社，2012.4.寇晓蕤，罗军勇，蔡延荣编著，网络协议分析，机械工业出版社，20095.高彦刚著，实用网络流量分析技术，电子工业出版社，2009,北京邮电大学信息安全中心,课程要求,目标：掌握网络流量监控核心思想开放式成绩：平时（期中）+期末成绩期末：论文（初定）,北京邮电大学信息安全中心,本节主要内容,北京邮电大学信息安全中心,名词释义,名词网络：本课所说的网络，主要指宽带互联网。实际上更多的是以宽带网作为场景，相关方法理论也适应于其他信息网络。流量：来自英文traffic，翻译不太准确。流字比较贴切，量字的定义比较窄，实际上不只是其大小的一个量，我们提到的流量指网络上传输的数据信息。监控：是监测和控制的意思。监测指针对网络流量采用特定手段进行长期不间断的监视和测量；控制是指按照特定目的针对网络流量进行特定的动作，如进行限制或者限速等监听：一般指采取比较特定手段或设备等技术手段，对相应的声音或事态的发展进行探听的一种行为。如果手段比较隐蔽则为窃听。监听范围一般比较广，不局限于网络，包括电子信号等。用于网络主要指被动监视。与监测英语均可对应monitor,北京邮电大学信息安全中心,本节主要内容,北京邮电大学信息安全中心,网络流量监控意义和价值,国家层面,网络管理,安全管理,增值服务,北京邮电大学信息安全中心,国家战略需要,网络内容管控意识形态方面，如GFW非法内容过滤，如暴力色情等舆情内容监控，除可爬取外也可流量监听还原，取证等 情报搜集分析 渗透与反渗透、网络监听是重要手段之一 赛搏空间战传统战争形态及战争观发生急剧变化，崭新形态的网络政治、网络经济、网络文化、网络军事、网络外交等形成各国成立网络司令部，宣布网络主权，如美国确立的核、太空、赛搏空间三位一体的国家安全战略。各国均通过各种手段占据网络高地,北京邮电大学信息安全中心,科学规划和扩容,网络流量监测前如果流量长期过大，最简单的方法就是扩容缺点：一味扩容投资巨大、重复建设、投入收益比很差、网络扩展性差等 网络流量监测后可以通过对流量历史数据的趋势分析，能够提前预测何时流量会增加到需要扩容的地步，从而提前采取措施通过对流量的分析，还可预测某处扩容后对于其他各处的影响等推测因为流量过大对用户上网体验的影响，以及不同业务的不同QoS的保证可针对性提出具有全网动态实时监测与自校正能力的拓扑的优化设计与管理,北京邮电大学信息安全中心,计费和公平分配资源,现状少量用户占用大部分网络资源，而大量用户占用资源却很少，即使同一类付费用户，流量也可能十倍百倍的差别 按流量收费的弊端计算机动作的自动化（流量产生）与用户愿望的不一致计算机接受的信息可能不是用户想要的，如病毒计算机发送的信息也可能不是用户想发的如吸费软件、或作为肉鸡被动发送的，所以完全按流量付费不太合理 流量监测分析的作用可以统计出业务类型、服务等级、通信时间、时长等参数，可为基于IP的计费应用和服务等级协议（SLA）的校验服务提供数据依据（如抖动延迟、传输速率等）,北京邮电大学信息安全中心,网络运行维护,在网络运维的作用流量异常的监测可以作为网络故障分析的一个辅助手段，网络中某部分出现问题，就会有相应的流量异常 方法正常情况下的流量模型作为基线在汇聚一定量主机的网络出口，以一天为一个周期，每天的时间流量曲线有很好的相似性工作日和周末、节假日有显著不同通过对网络中一些特定流量的长期监控，有助于了解网络流量模型，形成的基线数据供分析网络使用状况，并能即使发布异常警报,北京邮电大学信息安全中心,提高网络资源利用率,流量监测可以发现：可以发现信息流动的路由不合理：某些链路很忙而其他可能很闲；有便宜的路线没有用却用了贵的；分析网络内部访问其他外部网络的业务特点和主要去向，从而掌握用户访问的热点某些用户访问的数据却在遥远的某个服务器等等 基于监测数据可以：修改路由配置或网络连接减少支出，增加收入调整多出口流量负载均衡，重要链路带宽设置，设定QoS等网络优化措施提升网络资源利用率合理部署热点服务器，包括内容分发策略等等,北京邮电大学信息安全中心,发现和防止网络中的“坏”行为,“坏”行为：对网络中的设备、网络业务、使用网络的用户及网络本身造成损害的行为；包括攻击、病毒、僵尸网络、垃圾邮件、间谍软件、流氓软件等；呈现逐年变化和有增无减的趋势 发现“坏”行为的方法：滥用检测：如防火墙、杀毒软件、IDS等，通过发现“坏”行为特征的信息流完成检测异常检测：通过建立正常流量的基线，发现与之偏离的异常行为来判断“坏”行为滥用检测准确率高，能判断具体“坏”行为；异常检测能检测未知攻击，有时可能不能具体确定,北京邮电大学信息安全中心,用户行为分析,针对性营销是目前主要的商业手法如线上广告：互联网领导者google 2013年线上广告占整个行业1/3，为其主要营收运营商去管道化，通过用户行为分析为其增值业务提供主要支撑 用户行为分析方法通过对网络流量数据的积累、分析、挖掘，如用户上网时间习惯、关注的热点内容，可以了解用户的真正需求，分析处用户的价值和增值点利用网络资源，制定相应的营销策略，提升用户对网络的依赖性和忠诚度，构建较好的盈利模式例如通过搜集到的用户上网行为数据，采用大数据分析，了解用户喜好，针对性推送广告是目前网络广告的主要模式,北京邮电大学信息安全中心,网络业务分析,业务类型可盈利业务和非盈利业务不同业务运行模式如P2P模式和C/S模式，对网络流量的占用量差异很大以及对运营者的价值等各类业务如：搜索、门户、游戏、影视、购物、聊天、邮件、VoIP电话等 网络分析目的可以了解相关业务的主要受众、最受欢迎部分和最具价值部分等等利用这些信息可以做网络业务分析，从而可以有针对性地开发出有吸引力的业务,北京邮电大学信息安全中心,本节主要内容,北京邮电大学信息安全中心,宽带网络的构成,目前国内的宽带网络体系结构已基本定型 几大运营商差别不大，和国际上也基本一致基本的分级结构 包括国家骨干网、省骨干网、城域网、接入网4个层级，基本与行政区划分重合 国家骨干网采用全连接或部分连接的网状网，连接各个省网，国际出口和到其他运营商的网络出口 国家骨干网-国际出口和省网-国家骨干网的连接一般多于一条，为保证链路冗余，安全节点设备用高速路由器，节点间互连一般用10G或2.5G速率的SDH通道，一般采用波分复用技术在一条光纤传输多路SDH,北京邮电大学信息安全中心,宽带网络的构成,省骨干网（省网）与国家骨干网不同的地方很少，如果合并，虽可减少网络层次，但骨干网节点太多（50个左右）因各省规模相差很大，可变通措施：一些大型城域网和一些大型IDC可直接接入国家骨干网不同运营商之间省级一般没有互连，虽构造管理更简单，但资源利用不好。如天津网通连到天津电信，需从天津到北京再到天津兜一个圈子，可能要访问的服务器就在隔壁机房在国家骨干网和省网上的流量监测主要服务于网络的运维和资源调配，包括监测链路及设备是否有流量负担，是否有异常流量等,北京邮电大学信息安全中心,宽带网络的构成,城域网城域网比较复杂，不像骨干网只使用路由器做节点，其设备种类较多一个城域网往往连接几十万甚至上百万用户，而骨干网的外连线路最多不会过百城域网往往还会再分级：城域骨干网，接入网分级后，城域骨干网就成为一个纯路由器网络，和省网大同小异与骨干网区别：一个运营商很可能建设几个不同的宽带骨干网，用来提供不同的业务质量等级服务；但建设几个宽带城域网的可能性极小，因此下一代城域网要能区分不同业务、不同质量等级，会导致其复杂性,北京邮电大学信息安全中心,宽带网络的构成,接入网骨干网到用户终端间的连接，一般几百米到几千米，称为“最后一公里”骨干网采用光纤结构，速度快；接入网接入方式：DSL、LAN、Cable Modem等，成为网络瓶颈，目前也向FTTB、FTTH演进国内DSL占据大部分，家庭宽带如ADSL方式：PC（家庭用户）-ADSL Modem-(电话线)DSLAM（运营商端局集中器设备）-（百M或GE LAN）BAS或BRAS接入服务器，接入层至此结束企业或者单位：使用专线接入，不需DSLAM和BAS接入网一般采用双归（冗余）树形结构，各DSLAM通信量很少。BAS一般接入一个由三层交换机构成的网络，该网络可叫做汇聚层,北京邮电大学信息安全中心,宽带网络的构成,接入网例子CMNET接入层,北京邮电大学信息安全中心,宽带网络中的主要设备,主要包括：骨干路由器、交换机、DSLAM、BAS、认证服务器 骨干路由器 报文路由转发，需保证系统高稳定性和高可靠性 交换机二层和三层两种二层交换机只根据自学习得到的MAC地址（记录源MAC地址或广播）进行MAC帧的转发；三层具有一定的IP路由能力，但这种能力主要用作增强设备的学习MAC地址的能力 DSLAM安装在运营商（俗称端局）的第一个设备汇聚DSL线路，可连接数百上千台Modem，另一端以以太网接口接入BAS或三层交换机,北京邮电大学信息安全中心,宽带网络中的主要设备,BAS完成宽带用户的身份认证和IP地址分配工作目前ADSL用户使用的IP地址都是动态分配身份认证一般由宽带接入服务器根据用户提供的账号和密码向认证服务器确认 认证服务器一个城域网甚至省网才会集中配备一套认证服务器，因此它的规模一般较大目前认证协议一般采用RADIUSRADIUS采用C/S模式，不仅指服务器上认证软件，还包括BAS和RADIUS认证服务器之间通信协议在认证服务器或BAS都可以记录用户认证过程，该过程分析也构成流量监测的重要组成部分,北京邮电大学信息安全中心,国内骨干网情况,目前国内有四大骨干网：中国教育和科研计算机网（CERNET）、中国科技网（CSTNET）、中国金桥信息网（CHINAGBN）、中国公用计算机互联网（CHINANET）CERNET 1994年启动，1995年完成首期，教育部负责管理。分四级管理：全国网络中心清华；地区网络中心和地区主结点；省教育科研网；校园网。CSTNET 1989年由中科院开始建设CHINAGBN 又称国家公用经济信息通信网，是由中国信息产业部（原电子工业部）负责管理的公用计算机信息网。金桥信息网于1994年开始建设，1996年9月正式开通,北京邮电大学信息安全中心,国内骨干网情况,CHINANETChinanet是原邮电部经营管理的基于Internet网络技术的中国公用计算机互联网，是国际计算机互联网(Internet)的一部分，是中国的Internet骨干网，始建于1995年骨干网逻辑上分为两层：核心层和大区层核心层由北京、上海、广州、沈阳、南京、武汉、成都、西安8个城市的核心节点组成，主要是提供与国际internet的互联，以及提供大区之间信息交换的通路。其中北京、上海、广州核心层节点各设有两台国际出口路由器，负责与国际internet互联，以及两台核心路由器与其他核心节点互联；其他核心节点各设一台核心路由器全国31个省会城市按照行政区划，以上述8个核心节点为中心划分为8个大区网络，这8个大区网共同构成了大区层。每个大区设两个大区出口，大区内其它非出口节点分别与两个出口相连。大区之间通信必须经过核心层,北京邮电大学信息安全中心,国内骨干网情况,CHINANET拓扑图北京负责地区：北京、河北、内蒙、山西、沈阳、河南、吉林、黑龙江、山东上海负责地区：上海、浙江、江苏、安徽、湖北、天津、江西、陕西、甘肃、青海、宁夏、新疆、广西广州负责地区：广东、福建、湖南、海南、四川、云南、贵州、西藏、重庆,北京邮电大学信息安全中心,本节主要内容,北京邮电大学信息安全中心,流量监测的手段,流量监测的手段主要有：主机内嵌软件的手段 主机内安装监测软件实现 基于SNMP的手段 主要利用SNMP协议获取的数据进行的流量信息重构 基于xFlow的手段 通过路由等网络串联设备进行网络流量的监测分析通过硬件探针的手段 通过分光或流量复制等方式引流至专门设备进行分析处理,北京邮电大学信息安全中心,流量监测的手段,主机内嵌软件 方法在主机内安装流量监测软件完成流量监测功能通过套接字（Socket）嵌入软件截获来往通信流量多种工具软件可实现相关功能，如：Winpcap、Sniffer、Wireshark（Ethereal）等 优点能截获所有通信报文，进行各种协议层面的分析工作，功能丰富，能深入分析至应用层 缺点处理能力不足，丰富的功能不能同时使用。插入硬件板卡可增强处理能力不能看到全网范围的流量情况，只能看到流经本机的流量信息,北京邮电大学信息安全中心,流量监测的手段,基于SNMP的手段 方法SNMP协议在提供对网络设备进行管理的基本功能的同时，也提供了一组网络流量参数通过SNMP协议的流量参数重构网络流量情况的软件，如：MRTG已广泛使用 优点软件方法实现，可安装在一般的PC机上，因需要处理的SNMP协议数据不多，对于处理能力要求不高流量信息直接来自网络设备，不需要对网络改造或增加网络部件，配置简单，费用低 缺点只包括字节数、报文数等最简单的信息，不能满足复杂的流量分析功能处理功能。主要应用于流量监测要求不高的场合，如校园网、企业网；运营商网络一般不用,北京邮电大学信息安全中心,流量监测的手段,基于xFlow的手段 方法Cisco提供专用于流量监测技术标准Netflow，实现在思科自身制造的网络设备中；HP等公司提出类似的sFlow技术，以及IETF制定的IPFIX等标准，因一般厂家有自定义流量监测标准，此类统称为xFlow提供的信息扩大到基于五元组的流，可区分各个逻辑通道的流，而不只是设备的物理端口 优点提供更加细化的流量监测技术，能够配合网络设备做流控 缺点不同厂家不同标准，各自为政；由于功能的复杂性，支持xFlow就需要在网络设备（如路由器和交换机）上附加单独的功能模块,北京邮电大学信息安全中心,流量监测的手段,基于硬件探针的手段 方法xFlow相对于流量监测种种复杂需求仍然远远不够，某些场合需要专用的流量监测硬件探针通过分光器或者网络节点设备的复制功能获得原始数据，传送给流量分析平台可根据目的的不同提取不同的信息 优点具有更强的灵活性和适应性。能够适应各种不同的流量监测的需求，处理能力强大，可部署于网络出口监测全网流量情况，目前广泛应用于各大运营商网络及较大型网络的流量监测 缺点部署相对复杂，投资会增加很多,北京邮电大学信息安全中心,流量控制的手段,流量控制的效果有：丢弃，阻断，整形，限速等流量控制的手段包括：基于网络及传输协议的流量控制TCP面向连接的协议，其自身的流控措施包括滑动窗口机制、确认策略和重传策略等ICMP destination/protocol/port unreachable；Source quenching；PMTU等基于IntServ（RSVP协议）和DiffServ（通过IP包头DS标记）的QoS机制 基于网元设备的流量控制路由器中通过队列调度、漏桶和令牌桶等流量整形算法设备联动方式，如按照流量分析的结果对路由器发出停止某些流量转发的指令达到控制目的 应用级流控通过应用层协议的终止逻辑发送控制数据包，如HTTP 404,北京邮电大学信息安全中心,本节主要内容,现实中的流量监控,北京邮电大学信息安全中心,“棱镜门”事件,现实中的流量监控,北京邮电大学信息安全中心,现实中的流量监控,北京邮电大学信息安全中心,棱镜监控等级地图,北京邮电大学信息安全中心,现实中的流量监控,棱镜项目相关缘起缘起一个此前从未公开过的“星风”（STELLARWIND）监视计划。2004年，时任美国总统小布什等政府核心层通过一些司法程序手段，成功绕开了有关“公民隐私”等法律困境等监视内容“星风”监视计划分拆成了由美国国家安全局（NSA）执行的4个监视项目，除“棱镜”外，还包括“主干道”（MAINWAY）、“码头”（MARINA）和“核子”（NUCLEON），这些都只是项目的代号，具体名称及含义仍属美国国家机密。“主干道”项目负责监视电话通信元信息，包括通话或通信的时间、地点、使用设备、参与者，但不会窃听通话内容“码头”项目负责监视互联网元数据信息（Metadata）,北京邮电大学信息安全中心,现实中的流量监控,监视内容（续）“核子”项目负责监视电话通话者对话内容及关键词“棱镜”项目负责监视互联网内容信息数据搜集方式搜集方式包括上行和下行-棱镜两种方式“上行”收集是指“数据流经时在光纤和网络基础设施上的收集活动”，以及4个代号分别为“Fairview”、“Stormbrew”、“Blarney”、“Oakstar”的监控项目棱镜方式是指直接从包括微软、Google等9家高科技企业服务器上收集信息两种方式同时使用,现实中的流量监控,北京邮电大学信息安全中心,泄密文件-数据搜集方式,现实中的流量监控,北京邮电大学信息安全中心,泄密文件-棱镜数据流,现实中的流量监控,北京邮电大学信息安全中心,泄密文件-棱镜任务处理流程,现实中的流量监控,北京邮电大学信息安全中心,棱镜运行流程解读,现实中的流量监控,北京邮电大学信息安全中心,棱镜项目信息标记方式,现实中的流量监控,北京邮电大学信息安全中心,政府监听项目列表（1）,现实中的流量监控,北京邮电大学信息安全中心,政府监听项目列表（2）,现实中的流量监控,北京邮电大学信息安全中心,政府监听项目列表（3）,北京邮电大学信息安全中心,现实中的流量监控,其他应用DPI国外如Sandvine、Cisco、Allot、Qosmos、Ipoque、CloudShied、Evicsson、Hillstone等国内如华赛SIG、宽广BTM、南京信风QQSG、Panabit(主要企业网)主要应用于各运营商，如华赛SIG在中国移动、电信、联通、此外在沃达丰（Vadafone）、西班牙电信（Telefonica）、南非MTN、日本EMobile、泰国True Move、马来西亚Maxis、英国Talktalk等知名运营商也有应用，主要为业务管控及增值业务服务上网行为管理国外如BlueCoat、Macafee；国内如深信服Sinfor AC、网康 ICG、ITM、华赛SWG等主要用于企业上网管控,扩展查阅,搜集与网络流量监控相关的事件或产品或在现实环境的应用,北京邮电大学信息安全中心,网络流量监控,Thank You!,