互联网业务质量指标体系及测试评估系统.docx

《互联网业务质量指标体系及测试评估系统.docx》由会员分享，可在线阅读，更多相关《互联网业务质量指标体系及测试评估系统.docx（14页珍藏版）》请在三一办公上搜索。

1、互联网业务质量指标体系及测试评估系统互联网业务质量指标体系及测试评估系统一、项目背景互联网作为全业务发展的重要基础，业务质量直接影响3G、WLAN和有线宽带 业务的发展。然而当前网络指标无法反映业务质量、用户业务感知无法量化评估、 优化工作只能围绕网络指标分段分层开展的问题，凸显出互联网业务质量指标不完 善、监控手段的匮乏。网络性能指标 实际业务质量ffl网络指标与用户感知不对应:尽管网内时延、抖动等各项指标优秀，但是用户 实际上网感知网速慢的问题突出；业务感知无法定量评估:用户业务质量感知、和竞争对手的业务质量对比、各 种优化手段对业务质量的提升效果无法定量评估；业务质量劣化无法预警：日常维

2、护优化工作主要围绕网络指标分段分层开展， 无法通过数据统计分析对业务质量劣化进行预警。各种问题说明互联网业务质量指标体系不完善，不能反映真实的业务质量状态 和用户感知。指标体系不够全面:现有监控指标体系侧重于网络性能指标监控，无法反映现 网业务的真实情况，单靠网络性能指标无法准确反应用户的真实感知。故障发现速度慢:现有指标监控体系不完善，不能快速发现业务质量故障和性 能劣化情况，不能根据指标波动对业务质量进行预警。本课题从互联网业务感知角度出发，对主流互联网业务流程深入分析提炼，建 立了互联网业务质量指标体系，对主要业务指标、采集方法、评估标准进行了规 范。同时为使指标落地，自主开发了互联网业

3、务质量测试评估系统，通过软探针采 集数据，在服务端呈现报表，构建了完整的互联网业务质量监控系统，通过全网各 种业务质量数据自动采集和监控，实现分业务、分地区、分时段业务质量评估，解 决了监控手段不足的问题。二、技术方案（一）概述本项目研究的目标在于量化互联网用户体验感知，形成可采集、可监控、可提 升的业务质量指标体系，并通过开发业务质量测试评估系统，达到持续监控优化互 联网业务质量、提高用户感知的目的。V（1融缗性能指标.时业务朝吹项目从网络、业务、用户感知等层面现状分析，梳理出影响用户业务感知各项 主要因素，并且在对各项目主要业务应用协议流程深入分析的基础上，总结对用户 感知关联密切的项目，

4、整理制订了互联网业务质量指标集。为了实现指标的落地， 本课题开发了业务质量监控系统，通过业务测试探针和集中管理系统，实现对业务 质量指标的采集和监控。后续围绕业务质量监控系统，以质量指标的提升为目标， 将逐步优化互联网运维管理流程，建立业务质量预警机制，实现由被动维护向主动 维护的转变。（二）方案介绍本项目的总体研究思路和步骤为：第一步，用户感知分析:从投诉分析、用户回访等渠道，分析用户对网络的感 知以及影响用户业务感知的各种因素。第二步，建立指标体系:全面分析互联网业务类型，总结主要业务，从应用协 议流程分析入手，总结对用户感知关联密切的项目。第三步，开发应用系统:开发互联网业务质量采集与测

5、试评估系统，实现业务 质量指标自动采集，以自主开发软件方式为主，在全网分级、分层部署软探针，实 现覆盖范围广、成本低的业务质量监控体系。第四步，形成一体化运维体系:将监控系统融合到已有网络优化运维流程中，形成质量监控、质量优化、质量评估与提升的互联网业务质量运维管理体系。以下重点介绍两部分内容:0互联网业务质量指标体系;中互联网业务质量测试评估系统的研究情况。1、建立标准:互联网业务质量指标体系为了衡量用户感知，量化互联网业务质量，我们对互联网业务类型进行了深入 分析，从信令协议过程入手，制订了完整的互联网业务质量指标体系;另一方面为 了将互联网业务质量指标落地，与现实网络维护工作相结合，从网

6、络的实际拓扑和 维护分工，互联网质量指标体系从管理上同样采取分层结构。(1)、业务质量指标体系通过对当前互联网主要业务的梳理，对各项主要业务协议流程、网络层次建立 了评估模型，并且按照不同的业务类型，分别定义了各环节的指标及指标分层组合 关系，随后通过现网模拟，确定了各项指标的测试获取方法;最后为了使评估结果 更加直观，通过各项KPI指标的加权组合，为各项业务制订了综合评分的规则，并 且对测试结果对应的业务质量等级确定了取值范围。fltau 1KL TTH * fVa* J_&_u上H-BAK.i niU 祁 , lTar i - i twi e!* Rrw- /通过模型描述评估对象SAP_A

7、SAP_ZService Link,网络/业务,，明确评估范围,Service定义指标及层次关系，约定网络及业务存量对定义指标 计算规则，象命名规则及权重设置规则等Layered Networks规范测量方法及参数，以及测量结果处理规则，0 = SLA符合度SLA符合度SLA 良好控制线SLA中控制线= SLA中控制线二100,即没有=SLA符合度SLA符合度 规范测量设备或，即有Critical 一项Critical. -JI.4A业务质量评估和报表主要包括业务质量指标变化趋势、竞争对手质量评估对比、网内不同区域业务质量横向对比，典型示例如下:例1:江苏移动，中国移动的HTTP业务质量评估例

8、2:江苏移动，中国电信的HTTP业务质量评估孙1右如上，.寸对花邪*中厦wj u *：叩 mepuii i julbi曲m g.Y ift ；二 Ki =姓：宣4里时0笔 n耶眼二此吓m s w 京抽柯呻口MTTFVi心点3B11raw利X顷町必心行爬fV.Lfies.iSTSJfl祯W用-TWUBbCTAD例3:常州各区域探针的质量比较MiCMEfrfftUiUStr irtit.ftti E0J ，IV.k4dE-VB ilAH MW rJli* f 日HB：:奶土Mil 里超以娉ii* (J; irilff * 3H： |IAH .D Tmm. j n四凹5 心的甜3： LB V Mn

9、-ur 点HH神M衲际心4b10LB1K-JJTOW心Sflira-i )阻油U73bMKliPU叛卜*回iknr就硝H.1I2、互联网业务质量测试评估系统试点应用情况在互联网业务质量测试评估系统开发测试阶段，对系统功能逐步验证的同时， 进行与竞争对手质量专项对比评估，并且对产生质量差异的原因进行了初步分析;此外，针对内容引入、缓存加速、第三方出口三种典型的优化加速手段的实际效果 进行了评估，获取了大量测试数据。按照质量评估办法，对网站进行业务质量评 分，按优、良、中、差分级，对业务体验差网站进行分析。请点击下方文件查看四份分析报告。网络竞争性评估根内容引入完整性评缓存加速效果评估第三方出口效

10、果评因分 析.doc估分析.doc分析.doc估分析.doc五、应用推广情况本项目中制定了互联网网络与业务质量指标集和互联网业务质量指标体 系，已经由集团公司组织在天津、黑龙江、上海、江苏、福建等5个省公司进行了 试点验证。目前在申请中国移动企业标准，并在2010年中国移动网络年中工作会 上进行了介绍。本系统7月份开始由常州开发实施，实现互联网业务质量自动测试和监控，并 利用探针实施了互联网业务质量专项评估（如TOP5000网站质量评估、运营商对比 分析、视频引入完整性评估等），9月份开始试点推广，目前已完成在全省12个地 市的推广，共部署探针43个。在推广简易性上，该系统推广简单，需引进的单

11、位只需准备一台可部署探针的 电脑（可利旧）进行相应配置后，即可使用该系统进行网络质量监控，适合于在全集 团内进行推广。六、经济和社会效益1、经济效益分析本课题制订了一套互联网业务质量指标体系，并在此基础上开发了质量测试软 探针和监控系统。课题经济效益从产品的省内推广价值测算。中目前市场没有业务质量监测产品，参考华为公司网络质量测试系统集及探针报价。全省探针数量按照市场部2010年宽带小区覆盖1万个，探针配置覆盖30%，需 要3000台探针;高校WLAN按照每热点部署1台，全省约需要1000台;3G网络覆盖 热点区域全省约需要监控1000点测算。争产品全部独立设计开发，整体开发成本约100万互联

12、网业务质量监控系统按照全省推广的经济效益约为2000万。随着后续产 品在集团范围内推广，产品实际经济效益将会进一步提升。2、社会效益分析本课题社会效益主要体现在三个方面：第一，完善了目前互联网网络和业务维护优化的支撑手段，弥补对互联网业务 质量监控手段的不足，为维护优化工作目标和效果评估提供了量化依据。第二，围绕质量指标监控系统优化互联网运维流程，建立客服、市场、网络联 动机制，通过对业务质量数据的波动分析实现业务质量的预警，由被动维护向主动 维护过渡，提高维护优化的整体工作效率。第三，提升中国移动互联网业务品牌口碑:互联网业务感知的提升，有助于维 系中国移动网络质量优于竞争对手的口碑，开创全业务竞争的新局面。