tma流量监控产品交流材料.ppt
TMA宽带网络流量监控产品,北京宽广电信高技术发展有限公司,宽广电信KUAN GUANG,2,宽带网络运营机遇和挑战,中国宽带市场迅速扩大，网民数目保持多年高速增长，其中大部分都是宽带用户宽带应用逐渐丰富，多样化的全媒体、互动性、高附加值业务成为网络热门，更多的新型业务及应用还在不断涌现宽带网络市场氛围已经成熟，在可预见的将来，国内宽带运营市场的用户和业务都将进入一个持续发展的黄金时期面临转型压力的主流运营商愈加重视提高数据业务收入，而宽带网络经营正是数据业务增收的重点,3,宽带网络运营机遇和挑战,宽带用户争夺日趋激烈，如何在发展新用户的同时，尽量减少已有客户的流失？带宽扩容压力始终存在，如何挖掘现有网络资源潜力，发挥更大效益？网络业务纷繁复杂，如何拓展高价值业务，有效抑止低效垃圾业务流量？运营商面临转型压力，如何实现宽带领域的精细化运营，推出新的业务亮点？,？,4,解决途径？,5,6,宽广的产品线,TMA-UA 用户行为分析系统TMA-SSS 用户业务流量控制系统TMA-VoIP非法VoIP监控系统TMA-Flow基于xFlow的流量监测系统TMA-AL 应用层流量监测探针系统TMA-LL 二层流量监测探针系统,7,宽广产品线通用硬件平台,所有产品线共用硬件处理平台基于高速芯片处理，实现对报文的解封装、协议识别、业务识别和用户识别提供从FE、GE、2.5G、10G的线速双向流量监测、控制能力通过更换芯片程序及嵌入式软件，可以实现不同产品的功能互换,8,硬件体系结构,9,硬件体系,功能模块A：依据五元组或其扩展、深度报文观测所定义的业务、或者用户帐号等进行的流分类和流汇聚；对于这些流的转发或丢弃、流量控制、内容替换、首部截取；指定参量的统计功能模块B：流转发要求远小于功能模块A，可以提供更复杂、精细的统计分析能力，比如流的分类和汇聚，基于连接的流量统计等MPU模块：接口于硬件平台的外部网络，执行复杂而不适宜在硬件系统完成的功能，比如数据存储、Web GUI等,10,硬件处理的优势,11,硬件处理的优势,高速信息被送到一片超大规模的高速集成电路后，它被立即复制为若干个所有需要的分析处理在硬件中多路并行分布地进行硬件电路以最基本的处理单元为单位，按照预先设定的程序组合成各种专门的处理功能，以最为经济有效的方式完成处理工作可以达到纯软件方式不能企及的效率和性能系统还能提供无损透传、镜像等基于CPU体系无法实现的功能,12,系统体系,13,业务识别,突破传统的“协议端口号”识别业务限制利用内置在设备中的智能业务识别模块，综合协议指纹和连接特性等多种检测技术，逐报文进行协议特征识别和流量分析,可以识别当前主流的应用协议和业务，包括使用可变端口的P2P及VoIP业务采用专用硬件引擎可以对报文进行多业务并行识别，系统性能不因识别业务的种类数目增加而下降智能业务识别模块支持在线远程升级，以支持对新出现业务的识别,14,P2P业务识别技术,同时采用多种协议指纹对不同的P2P协议进行识别和标识对于已知特征的P2P连接创建硬件缓存表项对整个连接进行标识记录特定的P2PID对于某类P2P协议，在整个通信过程持续匹配和收集一种或多种协议特征不断进行特征累积后续的报文可继承原有连接特征或加强特征,15,P2P业务识别,可以识别BT、eMule、POCO、DC、Kugoo等十余种国内外常用的P2P下载应用支持识别BT等主流协议的最新版本，如BitComet、BitSpirit等在TCP受阻后转为UDP传输支持识别PPLive、PPStream、QQLive等基于P2P技术的流媒体应用也支持迅雷等常用的P2SP下载协议识别,16,VoIP业务识别,标准的H323、SIP、MGCP协议 基于标准协议进行简单修改、变换的“私有协议”对标准协议进行加密的私有协议，破解加密算法，如世纪网通、GBPhone、RedVIP、COSCOM等十余种识别QQ、MSN、Yahoo等即时通信软件的语音通信过程,17,Skype识别,通过流量模式和通信特征来识别强加密的Skype、SkypeOut信令及媒体通信的内容指纹呼叫信令报文的交互规律报文长度分布和比例、报文速率和字节速率语音编码规律，连接级的特征匹配度已经实现对Skype的识别能力Skype、SkypeOut的媒体通话详单SkypeOut网外网关列表,18,VoIP封堵,支持从信令和媒体通话两个层面进行封堵发送伪造甚至丢弃特定的信令报文实现信令层面的封堵对媒体通话报文实行按比例丢弃、随机替换、增加时延等方式劣化其通话语音质量支持设定黑白名单和各种封堵策略,19,流量控制技术,提供2.5G和10G 线速转发和业务管控能力采用标准令牌漏桶算法实现对流量精确控制处理能力不依赖于用户、业务和策略的复杂度全硬件架构设计，无条件实现线速业务识别和控制在用户、业务、策略满配置方式下不影响处理性能在满带宽、满流控策略情况下，报文转发时延小于50us支持并发50万用户，最大2K个用户分群支持灵活的流控策略，最大16K个策略,20,“一拖N”检测,目前通过检测单用户帐号报文中如下特征发现疑似“一拖N”：多种的TTL值不同的起始TCP序列号不同的TCP起始窗口号同时活跃的用户连接数上、下行带宽占用比例后续研发方向多种主机操作系统和版本不同浏览器版本和Cookie列出疑似用户帐号清单，供运营商后续处理,21,TMA-UA宽带用户行为分析系统介绍,22,用户行为分析的重要性,用户行为分析和基于用户行为分析的营销活动已经成为很多传统消费行业提高收益的重要手段在传统电信网络中用户行为分析起到很大作用与传统的单一业务电信网络相比，目前宽带网更象一个纷繁复杂的集市。对于集市的经营者来说，了解用户行为规律有助于更好地经营集市。需要了解集市上的买卖双方。即用户和业务。运营商具有的独特优势,23,用户行为分析的意义,积累运营商独占的信息资源深入了解宽带用户的消费行为，掌握其内在规律了解用户和市场的差异和变化，促进有针对性地面向用户的市场营销活动为自身产品的定位和销售策略制订提供足够信息为保持良好的运营环境提供足够的信息，为用户业务流量管控提供科学依据向各类不同的客户提供适宜的增值服务,24,应用举例,发现特定类型的用户上网习惯，进行针对性营销。例如：针对特定客户群，发现上网喜好。针对特定喜好用户的资费产品设计针对某种喜好的用户，推销相关电信业务。例如：针对影视爱好者，推销IPTV。开发针对用户的网络或信息服务，以及改进电信产品内容的设计针对特定用户的广告投放对于网页拥有者（特别是广告），提供用户分析。使其对于网页效果有明确的印象。,25,宽带用户行为分析体系的建立,建立宽带用户行为分析的基础设施长期积累数据进行用户行为分析实践，推出现实的具体应用并积累经验扩充和完善基础设施形成业务流程,26,TMA用户行为分析系统逻辑结构,27,TMA用户行为分析系统典型部署,汇聚交换机或BRAS的上联链路采用镜像或分光方式接入采集设备的重点部署vs全面部署,28,系统基本采集能力,链路级整体流量采集基于帐号或固定IP地址集合的用户识别多种网络业务识别基于用户分类的特征提取用户使用业务的深入分析异常流量的发现用户上网喜好的提取和分析重点网站的深入分析,29,全局分析能力,链路级的总体流量分析总流量、封装类型、协议类型TOS、TCPFlag、ICMPCode、TTL异常流量：Option、分片、疑似扫描,30,用户上网基本情况分析,灵活定义动态用户的类型用户在线数、在线率、上下线次数、在线时长、流量、报长分布用户业务分布访问的地域和运营商分布排名对比分析和历史趋势分析,31,用户分布分析,按照特征的用户数区间分布分析各区间的用户列表收发流量、收发报文数、带宽占用率收发流量比和报文比上线次数、在线时长,32,用户活跃度分析,活跃度特征：流量、上网次数、在线时长活跃度的二维分类：流量 上网次数流量 在线时长上网次数 在线时长,33,动态用户登录分析,登录次数的趋势分析和时间分布成功登录和失败登录的次数及比例关系识别或异常登录的分析和定位失败原因、帐号、MAC,34,逐用户分析,流量、报长分布上下线记录和在线时长、时段使用的业务种类TOSTTL、TCP Seq num、TCP Window size异常流量：非法TCPFlag、Option、分片、特征字串匹配用户质量分析,35,业务分析,业务流量比例及趋势Port/ICMP流量比例及趋势网内业务分析提供业务的用户网外的业务使用者分布质量分析网外业务分析服务器地域分布网内用户分析质量分析,36,深入业务分析WEB业务,用户上网喜好的分析，流量不能完全说明问题，结合点击次数、频道等附加信息重点站点、频道的深入分析，比如了解互联星空具体内容的用户群，定位忠实用户网站访问量排名分析,37,深入业务分析搜索关键字分析,发现当前网络热点，比如当前流行时尚、热门话题，把握不同网民群体关注热点发现当前热门搜索的电影视频、流行歌曲、Flash和博客等具体内容，充实运营商的服务内容，比如增加相应的IPTV节目、下载手机铃音、MP3曲目等和网页浏览一样，用户的搜索关键字也能体现其专注点，可以结合其他特征信息找到有特定喜好的用户群体。比如运营商想推广IPTV业务，就可以通过这些条件来找到喜欢影视内容的潜在用户群体：1，通过P2P大量下载影视文件；2，在线时间比较长，也喜欢在线观看流媒体节目；3，经常搜索热门影视节目,38,用户特征属性分析,系统将用户的上网行为抽象提取为活跃度、使用业务个数、业务质量、异常流量情况、上网喜好等几类特征每类特征包括具体多个特征属性，如活跃度包括上下行流量、上网次数、上网时长等具体属性系统支持依据上述特征属性，建立综合数据分析模型，从多个方面的上网行为来刻画某类用户特征，准确找出目标用户群比如可以用“上网活跃度高、使用业务单一、IM业务使用频繁”的条件找出上网主要是使用IM的用户群,39,分析数据导出和报表,所有分析界面可以导出为Excel数据文件系统按运营商习惯，预制了涵盖基本需求的报表模板可定制多种类型的报表支持定期自动生成报表,40,41,42,43,44,TMA-SSS用户业务流量控制系统介绍,45,SSS系统,TMA-SSS系统是专门的用户流量控制系统串接在城域网/省网核心链路或出口链路自2005年起已经大规模商用支持GE、2.5G POS和10G POS设备,46,SSS系统部署,47,OptiSwap,采用无源光器件，自身无需供电在SSS设备故障/掉电、光纤中断等异常情况下，自动将SSS设备旁路，恢复链路到直通状态，切换时间小于10ms可以通过指令控制OptiSwap在直通/控制状态间切换预留旁路流量监测接口,48,现网发挥的作用,链路P2P业务总流量压制非法VoIP语音质量劣化支持时间调度策略和VoIP劣化的黑、白、灰名单提供集中式带宽管理手段，可以通过中心服务器同时配置多台SSS设备在抑止P2P业务流量占用过多链路带宽和打击地下VoIP运营方面发挥了重要作用,49,SSS系统功能,业务识别用户分群 流量控制流量统计黑白名单时间调度集中管理,50,业务识别,综合协议指纹、流量特征、序列化累积等识别技术支持P2P、VoIP、VideoStream、Web、eMail等各类业务大类业务下细分为小类业务，如P2P下载业务下区分BT、eMule、迅雷等，P2P流媒体业务下区分QQLive、PPLive等系统支持对按业务大类和某个子类业务同时实施流量控制业务也可以和用户群组结合，按用户实时针对性的流量控制策略持续跟踪各种主流P2P应用和其他应用的发展和演进，形成协议分析识别的标准流程，可轻松应对新出现的P2P业务,51,业务识别,纯硬件架构，提供链路双向线速处理识别能力逐报文进行协议特征识别和流量行为分析 适用于各类复杂的网络环境和协议封装 支持PPPoE、VLAN、NAT、MPLS封装支持各类VPN隧道协议，如GRE、L2TP等负载均衡链路或单向链路报文过滤和特征识别,52,业务识别,识别流程是一系列递进叠代的分析过程，通过一般疑似、重点分析、高度疑似、疑似排除或疑似确认自学习分步骤的方法进行多维度分析和筛选综合协议指纹、通信模式和流量特征进行识别基于协议握手信令的解析和状态机跟踪基于流量统计特性的分析基于时间序列累积特性的分析,53,P2P业务识别,同时采用多种协议指纹对各类P2P协议进行识别和标识主板芯片对于已知特征的P2P连接创建硬件缓存表项对整个连接进行标识记录特定的P2PID对于某类P2P协议，在整个通信过程持续匹配和收集一种或多种协议特征不断进行特征累积后续的报文可继承原有连接特征或加强特征,54,P2P业务识别,特征字识别并非只匹配识别内容净荷的前几个字节或固定偏移位置，而是对整个报文的净荷进行滑动匹配一个或多个协议关键字，在2.5Gbps线速下逐报文匹配。以BT为例，HandShake特征字为.BitTorrent Protocol协议指纹报文的应用层格式符合特定的约束条件，以eMule为例包括Marker、Message Type、Message Length等。大多数P2P协议的应用层封装中都呈现出类似TLV的格式，而且有些协议在内容净荷的头和尾部还有一些特殊的字符，例如|，$等,55,P2P业务识别,协议状态机P2P的客户端在Peer和Peer的交互过程中大多采用特有的“信令”过程，以BT为例，如Handshake,Bitfield,Unchoke,Interested,Request,Piece等。即使在数据传输阶段也有类似的握手报文，例如Peer申请下载哪个Piece，通告其他Peer自己有哪些Piece等，通过这些特殊报文的识别进行特征增强 通信特征包括TCP/UDP比例，对端Peer的个数，上下行流量的对称性，报文长度分布等进行特征辅助识别,56,用户分群,以IP地址段按类别划分用户群每一种类别刻画用户的一维特征按行政区域划分：海淀、朝阳、崇文按用户类型划分：公客、商客、个人按接入类型划分：ADSL、LAN、专线支持按类别属性来定义用户群组二维特征标识用户群，例如海淀ADSL客户支持按IP地址、网段、范围等定义用户群，每个用户群支持多个地址条目,57,流量控制,按大类或小类业务实施流控比如对P2P和BT分别设定流控阈值按用户群或用户分类实施流控比如对网吧设定总流量阈值用户群和业务的组合控制能力定义的用户群大类业务，如设定海淀ADSL用户的P2P总流量定义的用户群小类业务，如设定朝阳商客用户的病毒流量支持基于任意IP五元组的流控支持源/目的IP、协议类型、源/目的端口的任意组合适应各种复杂多变的用户流控需求支持支持对数据流同时进行多维控制（并发策略）,58,流量控制,支持黑、白、灰名单策略流控支持基于时间调度的流控时变策略支持TOS/DSCP重标识功能针对异常和未知业务的控制能力可按端口或地址设置流控参数，有效抵御各类病毒和泛滥攻击将未知业务的流量控制在设定范围内保证有效业务带宽，防范突然出现的病毒或是DDoS攻击，保护网络不至于彻底瘫痪2006年Q4提供基于宽带用户帐号组的流量控制能力,59,流量控制,使用令牌桶技术实施流控 对检测出的P2P业务流量进行带宽限制和流量整形 两种流控方式 总流量控制方式独立流量控制方式业务管控策略 随时间变化的管控策略对出入境流量分别实施控制可灵活设置不同的流控参数按用户群制定和实施不同的管控策略,60,流量统计,链路全局的流量统计各类用户和业务的流量统计各类流控策略的流量统计灵活设定策略流的流量统计指定IP地址或用户群的流量统计提供实时和历史流量统计,61,系统性能,高速硬件引擎前端过滤提取P2P连接对于P2P业务逐连接进行缓存和标记最高支持并发512K个P2P下载连接对于搜索探测和无效的P2P连接快速删除在复杂网络环境连接泛滥的条件下有效识别和控制P2P流量P2P连接溢出时优先删除长时间不活跃表项，同时保证业务数据流直通,62,系统性能,提供2.5G和10G 线速转发和业务管控能力处理能力不依赖于用户、业务和策略的复杂度全硬件架构设计，无条件实现线速业务识别和控制在用户、业务、策略满配置方式下不影响处理性能采用多个自主设计的大规模高速数字专用芯片转发时延50us，OptiSwap切换时延10ms支持并发50万用户，最大2K个用户分群支持灵活的流控策略，最大16K个策略,63,大类业务分析,64,具体业务比例,65,具体业务比例,66,周流量曲线,67,P2P流量压制效果,68,SSS系统应用价值,带宽精细化管理充分挖掘现有网络潜力以精细化的带宽管理节约网络投资，提高网络有效利用率让网络流量为运营商创造更多的价值,69,SSS系统应用价值,结合宽带用户行为分析系统进行客户带宽管理对大流量客户实施针对性控制对伤害性客户实施流量限制按对收入贡献合理调解不同用户群占用带宽比例优化用户体验，减少客户投诉,70,SSS系统应用价值,强化对业务的控制能力优先保证给运营商创造价值的业务流量带宽通过特定业务的策略限制来引导用户行为区分“好”的P2P和“坏”的P2P业务,71,SSS系统的应用价值,开辟新的增值业务基于使用P2P的增值业务基于使用VoIP的增值业务大客户病毒流量抑止的增值业务,72,Skype通话劣化效果,原始语音,丢弃40的语音效果,73,TMA-VoIP业务监控系统介绍,74,VoIP协议识别能力,标准的H323、Sip、MGCP协议 基于标准协议进行简单修改、变换的“私有协议”对标准协议进行加密的私有协议，破解加密算法，如世纪网通、GBPhone、RedVIP、COSCOM等十余种识别QQ、MSN、Yahoo等即时通信软件的语音媒体过程,75,Skype,通过流量模式和通信特征来识别强加密的Skype、SkypeOut信令及媒体通信的内容指纹呼叫信令报文的交互规律报文长度分布和比例、报文速率和字节速率语音编码规律，连接级的特征匹配度已经实现对Skype的识别能力Skype、SkypeOut的媒体通话记录，源目的IP地址、端口号、通话时长及流量SkypeOut网外网关列表,76,负载均衡及多出口链路监测,目前IP网出口多数为负载均衡的多出口拓扑结构单一链路上可能只有部分信令报文，容易造成识别障碍TMA-VoIP系统支持部署在多条链路上的探针交互各自识别的信令报文，提高识别准确率,77,多样化的封堵劣化手段,发送伪造信令报文封堵信令连接按指定比例丢弃媒体通话报文按指定比例随机替换媒体通话报文支持单向/双向媒体通话报文劣化支持黑白灰名单，支持逐策略配置劣化方式和劣化比例语音质量劣化需SSS系统配合,78,基于主被叫号码和IP地址的分析,通过主被叫号码来识别PC-PC、PC-Phone、Phone-Phone和Phone-PC等不同呼叫类型通过被叫号码及IP地址识别被叫区域，统计国际长话、港澳台长话和国内呼叫国内呼叫细分到各省，省内呼叫细分到地市，国外细分到国家,79,统计分析功能更丰富,功能强大、便于使用的统计分析能更好的发挥系统功能，在监测、控制和管理方面发挥重要作用着重加强了地域、运营商、呼叫类型等的关联分析提供呼叫次数、通话时长、网外区域、VoIP类型、呼叫类型等的图形化统计分析功能提供自动封堵功能提供自动报表功能,80,VoIP呼叫和次数历史曲线,81,按省份分析,82,按国际国内呼叫分析,83,按呼叫类型分析,84,按国家区域分析,85,按VoIP类型分析,86,按不同时段分析,87,VoIP网关TopN分析,88,Skype媒体通话详单,89,自动生成的省份统计报表,90,自动生成的呼叫时长统计报表,91,VoIP封堵效果,92,帐号分群业务管控,系统发展路线图,06Q3,07Q3,07Q2,07Q1,06Q4,10G PoS监控系列产品,镜像业务分析,用户业务自服务系统,VPN和大客户专项监控,业务流量的跟踪识别,93,应用案例中国电信出口链路,在广州国际出口2.5G链路上放置VoIP系统，长期进行非法VoIP监测、统计、封堵等实验在电信网通互联互通2.5G链路上放置AL探针、SSS系统（旁路方式），监测并分析链路中的流量流向、流量组分、流量时变规律等特征，积累了大量数据有力支持了中国电信、广东电信研究院在VoIP、P2P等流量监控方面的相关工作,94,应用案例深圳电信,95,应用案例海南电信,96,应用案例陕西电信,97,应用案例浙江电信,在地市城域网的出口2.5G链路部署VoIP系统，对非法VoIP运营实施打击采用轮换部署方式绍兴单独采购了VoIP和SSS设备，长期监控城域网流量,98,谢谢！,
