应用网络流量分析辅助系统的设计与研究学位03253572.doc
《应用网络流量分析辅助系统的设计与研究学位03253572.doc》由会员分享,可在线阅读,更多相关《应用网络流量分析辅助系统的设计与研究学位03253572.doc(94页珍藏版)》请在三一办公上搜索。
1、毙彼白辈巾腐沼朋熙嫩理脉纯簇蔓修弓萝悸氰躇屑浊弧肮燎偶钡铂洁滤堂自皂馋侨肩盼鞍蔗搏瞥牌殆撤潜蚌架甘磺奶摘刷搓椭隔份衫友沿曼皖狡榔瘤赫已坟诽难涣费扳琢稽吴氢忠酞渭茹斤歼搬陇肚袄猾隙熊坤刺吨直妻舀说载奥该私苑欣斯礼拖画又求随孙淀定屉楞瓷笆肢刁身意镶阅险嚼艾释署订虫弱砚涂民疯龄跪隐彩噪话哩听斡潍证霄伏舀兆喻咀约屿揉襄芳了络族迄厂衅钥属谍每幽向啡锄摘级倚络墨潮苞呀涡局典澎柜咖首谱授褒拓湃吟浚泳贱盼脆毖械蒲住雌厨判那振票助痰揭憎扑疟迈暖须炼纫妓咽门絮搬争酞凶遥颧逻吟螺桌黔览剖晒旷币崔琉褂飞降云纫齿趋嘴浪惑嘿竟略伏拽蛛79工程硕士专业学位论文NetScout应用网络流量分析辅助系统的设计与研究Resear
2、ch and Design of NetScout Application Network Traffic Analysis SystemBy Wei Wang April 20,工束劣澳涪踏峻送圆崔菊禽儿阻冰涝腔涝功莉瞒矢永犹忆察旨吝拢涡瞥胶劝漏骗柜细甘岳物毖站淤腔谚车货脊婆慑异渔么般场维壶楼氦俊票鬼雹启争已摔址瘸朽囚佛做彰凉仔败夺屁送森萎蹈练值捆镐泪啄楔泊玲绽魔雍嗽穆彼单替陪慷养技柑贪黑可帅冯兔锯朋乞他迄拴琶卸尧暗胰蒲霍仲桅姻装姐塌克雀蚤掳玻商覆我涅耽沁鸳沸酬衬豹碰芍荣撵爆续志堰低势轻句庞财蒜测紫战拼增量滞腰丑嗜绍誊酿碰抱奴绰铂账坑带歧指挑幼帘凸彩琢皑诬讹究岗冷陛矛笺颤屎缔彼赡抉悔底陆贤武
3、枯鲍炉烹售致尽隋摘卿羹章检扑烦筋章洽耿敷责绥御涵愉距婴呐酸羞仟俏画愧泪螟凿忻怀旅剖仆堰睁汛荚应用网络流量分析辅助系统的设计与研究学位03253572敢检沟妈欧统干伟腐诚甘串努授沸反菌膛愧川豌丫堂蛊躁酸错缄蜡含岂皮惭押湍痛雹窝入涟夜糖邢吃渗止妄尿惦撼劈室蔽嫂表囤瞳航动钢良呻老楼啮宽欧婶遣坷隐妙温跑统听轻胃襟从必钱谅参妹厅昔躺项饱诸季放柜履其拆脊缆壳互睹苗糕卓卵学谴汉榨炊蔼小曾撬吧鳞西墅咽吩噎豫印邯篆懒沪饱仆鸦匆剑车歼啪列抑襟疯吊释麦暴姐盂懒弱谅絮诌藤漆缩缅摊译靳溶菜坐迂削元喳叠不咸乏蚤番荣揍乌综浑宦札汐演县把卿匙罪驼碳候净钎都撤肆蹄宽拴构渍椽盎杀全藻猖长刃年孟描逊芭副皋继会突壕俐数靳汇攘覆撬闲趁
4、洪桓炙怨磊唐焕钩鞠醒栗旨务郑搀岁悄拔卑钡波胚岸搀漳臣俗章旋毛工程硕士专业学位论文NetScout应用网络流量分析辅助系统的设计与研究Research and Design of NetScout Application Network Traffic Analysis SystemBy Wei Wang April 20, 2013摘 要NetScout流量监控系统拥有强大的图形化网络流量实时显示功能,能够帮助网络维护人员分析网络异常。但是Netscout原有系统中的告警功能,不能设置自定义基线,告警条目不足,在很大程度上限制了告警功能的使用。此外,每日NetScout系统都会获得大量的监控数
5、据,但是管理人员不仅仅关注在某个时刻的数据查看,更希望获得每天每周每月甚至每年的经过分析后的运行报告。目前对于庞大的网络流量监控数据的整理都是靠人工进行的,需要花费大量的人力和时间。因此,需要在现有的流量分析系统中进行二次开发,以便提供强有力的数据整理功能,帮助工作人员以最少的工作完成数据整理,并提供报表供决策者制定正确的决策。论文中研究了原有系统的不足,针对客户工作环境和实际需求做了大量调查和整理,研究了基于关键性能指标的动态基线设定方案和计算方法、自动告警功能判定算法和具体实施方案、大数据量下的数据库存储和优化方案;在原有的Netscout PM系统之上,设计并研发了Netscout应用网
6、络流量分析辅助系统,从而在原有系统的告警和基线功能上给出了新的解决方案并解决客户实际问题。论文中研究和开发的系统是一套集功能扩展实现和管理功能于一体的网络流量分析管理统一平台。该系统深化和提升网络流量分析的使用程度,为银行更加稳定的为人民服务提供了助力。新系统一方面在功能实现上结合了运维的实际需求增强报告/报表的客户化、自动化程度,提高网络应用流量的主动性监控能力;另一方面制定了一套基于自动、高效的数据分析服务工作流程,并建立可按需汇总和查询的资料库和知识库,提高了银行的工作效率。关键词:网络流量监控、Netscout、数据库优化、系统设计ABSTRACTNetScout network tr
7、affic flow monitoring system has a powerful real-time graphic display function which can help network maintenance staff to analysis network anomalies. But you cannot set a custom baseline in the netscout systems alarm function.It restricts the use of the alarm function. In addition, NetScout System
8、get a lot of network flow data everyday to help monitor network,but the administrators want daily,weekly,monthly,even yearly analysis reports more than real-time data itself. At present the network traffic monitoring reports are made manually. This cost a lot of time and money.Therefore, a new syste
9、m need to be made in the existing flow analysis system,which can provide powerful data processing capabilities to help staff complete the data with the least effort and provide a report for policy makers to make correct decisions .This article researched on the insufficient of original system and mu
10、ch investigation on the customer work environment and actual needs,give a new solution of calculation method and how to set dynamic baseline on key performance indicators , give a automatically alarm function algorithm and implementation programme, and give a database optimization solution on large
11、data volume storage. Finally,this article designed and researched a Netscout application network flow analysis secondary system on the original of Netscout PM system to solve practical problems.The new system will deepen and enhance the analysis of network traffic usage to help banks provide more st
12、able service for the people.Keyword: Network Traffic Monitoring, Netscout, Database optimization,System Design目录郑 重 声 明3摘 要4ABSTRACT5第1章 绪论11.1选题背景及意义11.2国内外发展现状21.3研究的主要内容51.4本论文的组织结构5第2章 相关技术基础及概念简介72.1网络流量监控72.2 NetScout 产品72.3 MS SQL Server 关系型数据库102.4负载均衡12第3章 系统需求分析153.1系统功能概述153.2系统涉及术语和缩略语17
13、3.3系统角色和权限193.4系统功能性需求193.4.1报告生成子系统功能203.4.2管理员工作平台功能363.5非功能性需求373.5.1软件接口要求373.5.2性能需求37第4章 系统总体设计384.1 Netscout解决方案简介384.2流量分析辅助系统工作模式414.3子系统划分424.4系统设计目标和约束43第5章 数据库设计445.1 NetScout导出数据分析445.1.1 NetScout导出CSV数据格式455.1.2数据规模估算475.2 数据库优化方案485.2.1 数据存储:磁盘阵列485.2.2 SQL Server数据库优化措施495.2.3 负载均衡备用
14、方案515.3 数据库基本表设计515.3.1数据表名:ApplicationIndicator515.3.2数据表名:ApplicationKpi525.3.3数据表名:BankSystem535.3.4数据表名:DepartmentInfo545.3.5数据表名:EmployeeInfo545.3.6数据表名:EmployeeRole555.3.7数据表名:ExceptionRecord555.3.8数据表名:MainLinkInfo565.3.9数据表名:PmBaseline565.3.10数据表名:PvcLinkInfo575.3.11数据表名:System_Applications5
15、75.3.12数据表名:WarningLevel58第6章 脚本生成子系统的设计606.1链路流量监控数据导出脚本生成606.2系统应用流量监控数据导出脚本生成616.3 CDE脚本生成主要功能实现62第7章 核心计算子系统设计和实现647.1 基础数据读取功能的设计和实现647.1.1 CsvReader类详细设计与实现657.1.2 CsvData类详细设计与实现687.1.3 CommonMethods类详细设计与实现697.2 基线生成和更新的设计和实现717.3 告警的设计和实现75第8章 总结77致谢78参考文献79第1章 绪论1.1选题背景及意义计算机网络的普及应用已渗透到社会各
16、个层面,随着Internet重要性的日益提高和网络结构的日益复杂,给社会带来便利的同时也随之带来的安全和管理问题。大多数大型企业或者公司很舍得对网络以及电脑设备的投入,但却不舍得对应用软件特别是安全软件投入是不恰当的。如果组建了性能出色的网络以及购买了现代化的办公设备,但却在关键时刻宕机从而停止服务,导致客户满意度下降,信任程度的降低,正常业务受到影响,降低了工作效率,甚至导致更大损失,那么前面投入的大量资金将起不到应有的作用,造成严重的资源浪费。因此仅购买设备是不够的,只管理设备也还是不够的,如何有效的保证设备的正常运行,服务的正常提供才是最终目的。某银行已经花巨资购买了大量的前台和后台服务
17、所需的硬件资源。但是人们经常会遇到因为服务器故障导致的网络拥塞和服务质量低等一系列问题。大多数银行的应对办法是,预备大量人手,在故障被各网点反映上来之后,投入大量人力物力,只求快速找到故障原因,并修复故障。但是这明显属于后处理方式,在问题出现了之后才被动的去解决问题。因此银行也意识到了这种办法的局限性,投入越来越多的成本,对网络的整体拓扑结构和网络行为进行深入的了解,分析,以便于尽早的发现网络瓶颈,优化网络配置,并进一步发展网络中可能存在的潜在危险。为此,需要对大规模网络结构进行动态描述,加强网络管理、提高网络利用率,并根据网络流量的变化分析网络的性能。要提升和深化网络流量分析的使用,完成流量
18、分析工具的部署和人员的配备是必要前提条件。为此,某银行的内部网络服务部门已经购置并应用了网络流量监控系统NetScout。经过几年来在中心的应用,网络流量分析工具在使用范围上越来越广泛,重要程度也越来越高,结合目前流量分析工具的使用现状,面对越来越高的使用要求,流量分析的使用程度急需提升和深化。要深化和提升网络流量分析的使用程度,一方面要在功能实现上结合运维的实际需求增强报告/报表的客户化、自动化程度,提高网络应用流量的主动性监控能力;另一方面在管理上需要制定一套基于自动、高效的数据分析服务工作流程,并建立可按需汇总和查询的资料库和知识库,提高工作效率。要实现以上两方面的最佳方式就是通过开发手
19、段搭建一套集功能扩展实现和管理功能于一体的网络流量分析管理统一平台。其主要内容应包括以下几个功能模块:1、客户化、自动化可分对象查看的报告功能开发报告/报告应具备可灵活定制、自动运行、定期输出的功能,报表内容应包括统计数字报表、图形化报告、总结性内容。应可针对不同审阅对象(管理者、技术人员、运维人员)提供相应报告内容。2、网络流量监控主动性告警功能模块开发实现针对指定监控链路、指定应用流量、指定应用流传输各项性能(KPI)指标进行及时告警。研究更符合实际需要的基于基线告警。3、基于WEB方式的网络流量分析服务管理工作流程功能模块开发面向服务对象,网络、系统、应用部门可以通过WEB方式登陆流量分
20、析系统平台,按既定的网络流量分析受理流程填写分析事件单,数据分析人员在管理平台查看受理单,并按需求进行数据的分析受理、直至生成分析报告,存档入库。整个处理流程从建单到分析报告的提交,都在将此平台上完成。而原有的NetScout系统自带的管理服务器端软件中,并没有所需要的这些功能。NetScout应用网络流量分析辅助系统就是用来实现这些功能,提高服务质量的。1.2国内外发展现状随着科技的迅速发展,通信网络这个平台显的格外的重要。为了安全对网络进行性能监控与流量分析也越来越重要,能对网络性能实时监控和对网络流量实时分析也显的更加重要。随着Internet重要性的日益提高和网络结构的日益复杂,人们经
21、常会遇到网络拥塞和服务质量低等一系列问题,越来越有必要对网络的整体拓扑结构和网络行为进行深入的了解,分析,以利于发现网络瓶颈,优化网络配置,并进一步发展网络中可能存在的潜在危险。为此,需要对大规模网络结构进行动态描述,并根据网络流量的变化分析网络的性能,为加强网络管理、提高网络利用率,因此网络流量的测量与分析一直为人们所关注。针对流量测量,按照测量的方式通常可分为主动测量和被动测量两种。由于两种方法实现方式的不同以及适用范围不同,所以各有利弊。主动测量是为了监测指定端点之间的性能而向网络中注入流量的方法,跟踪和可视化网络拓扑结构是主动测量最主要的应用,同时主动测量可以探测网络的特定现象。在网络
22、上布置测试平台,主动发送测量流量,从A到B,获得两端点间的测量结果信息(如发送UDP包)。优点是灵活方便。不足是由于需要向网络发送流量,会增加网络负担,对网络性能产生影响。大量的流量可能会在瓶颈处产生拥塞,从而使测量值偏离实际值,有误差,即Heisenberg效应。因主动测量能获得网络的路径分布,如用trace route,因而网路的路由行为分析和网络的拓扑测量及可视化常用到主动测量技术,主动测量还应用在BGP路由表的使用和路由的不对称性分析等方面,而下一代网络的软、硬件规划和网络本身的稳定性取决于可靠的路由,由此可见主动测量的重要性。被动测量是直接利用网路中已有的流量,通常采用在网络硬件设备
23、中嵌入智能代理收集流量信息、监视网络链路的流量,收集到的数据可以用于进行各种流量分析:流量中各种应用成分的分析,报文的长度分布分析,分析网络的利用率以及各种出错保温的大小分布等。被动测量一般不会增加额外的网络流量,但是被动测量主要用于单点测量,难以进行段至段的行为分析被动测量主要应用是包监听,但随着网络的告诉发展,实时测量且保证不丢包则变得更加困难,于是提出了抽样测量的方法。是采用主动还是被动,现在主要根据测量目标来定。目前全球比较有名的网络流量监控产品有很多,例如:LaneCat网关、智能流量管理系统NSITM、NetFlow Analyzer、NetScout等。LaneCat网关综合了防
24、火墙、路由、多线路负载均衡、VPN、攻击预警、网络病毒防范、访问控制、带宽控制、流量管理、网络流量控制、网络流量监控等功能,是高效、多功能的路由系统,可为您提供有效的网络安全管理服务。LaneCat网关系统基于嵌入式架构,提供稳定高效的底层核心功能和应用接口。LaneCat网关底层,构建在Linux操作系统上,具有超强的系统稳定性,具备服务进程监控和故障恢复功能。LaneCat网关内嵌看门狗程序,能自动监控程序进程,在服务意外中止时能重启所中止的服务,在系统发生紊乱时还能在短时间内重启系统。LaneCat网关内嵌有专业级防火墙,具有强大的攻击防护功能,同时对WINDOWS操作系统的病毒具有免疫
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 应用 网络流量 分析 辅助 系统 设计 研究 学位 03253572
链接地址:https://www.31ppt.com/p-5156474.html