江苏移动集中监控培训交流(1).ppt

,2008年全国集中监控培训交流 标准化值班管理,中国移动通信江苏有限公司2023年2月,中国移动通信有限公司江苏分公司网络部监控室,3,目录,1,标准化的交接班管理,2,标准化的现场管理,3,标准化的信息报送,4,标准化的故障调度,中国移动通信有限公司江苏分公司网络部监控室,4,1、标准化的交接班管理,7*24小时值班,实时故障处理,关注重大事件,遗留问题跟踪,网络故障的处理不分时段，涉及不同班次，值班人员需要全面掌握网络运行情况。,对暂时无法解决的网络问题的处理进行跟踪，督促解决。,全天候但是分班次的值班方式决定了需要进行交接班。,为什么要进行交接班？,对各类重要事件（重大社会活动、异常天气、重大网络工程等）的情况需要持续关注。,“网络监控与值班管理是重要的日常工作，是当前工作的重中之重。”,中国移动通信有限公司江苏分公司网络部监控室,5,1、标准化的交接班管理,“在全网范围，交接班不认真，责任不明确，出现问题找不到人的情况还普遍存在。”-李跃副总裁,中国移动2008年网络工作会议,标准化交接班,中国移动通信有限公司江苏分公司网络部监控室,1、标准化的交接班管理,总体思路,1、开发交接班模块，固化在EOMS中，监控人员都可以填写、查询。,2、按照交接班要求，规范交接班内容。,待归档工单,挂起工单,紧急告警,突发情况,严重主要告警事件,实时故障处理,关注重大事件,遗留问题跟踪,工程信息,1、标准化的交接班管理,3、利用IT手段，提高自动化程度，减少简单重复的劳动量。,自动统计待归档和挂起的各类工单数量,当前需要关注的工单总体情况一目了然，不再需要手工统计汇总。大大减少了工作量。,中国移动通信有限公司江苏分公司网络部监控室,中国移动通信有限公司江苏分公司网络部监控室,8,1、标准化的交接班管理,自动汇总并直接链接到挂起工单，并可直接查看、填写跟踪处理情况,自动汇总挂起的告警工单（52号）和故障工单（1号）。,点击标题可直接链接到工单。,查看历史处理情况。,本班次的跟踪处理情况。,把处理周期较长的挂起工单从工单海洋中拎出来，加以关注跟踪，15天内必须有处理结果，结束工单。发挥监控的控制能力。,中国移动通信有限公司江苏分公司网络部监控室,9,1、标准化的交接班管理,工程情况交接：要求只对重大工程情况进行交接。哪些是属于重大工程情况，制定了标准化细则，日常工作中对照执行。,4、对交接班内容的填写制定标准化细则，杜绝随意性。,仅对以下工程情况进行交接：1）GSM专业：核心网BSC及以上，干线组所有网元的工程调测、割接入网、版本升级、补丁装载等重要工程和历时较长的工程；2）数据网：本地骨干层以上包括城域网骨干层、WAP、短信（含网关）、彩信（含网关）、MISC、IP承载网（含CE、AR、BR、CR等）、省级数据平台等；3）传输：传送网本地骨干层以上4）动环：机房类相关工程。,关注最重要的信息,中国移动通信有限公司江苏分公司网络部监控室,10,1、标准化的交接班管理,严重主要告警事件交接：监控人员按照手册中国移动江苏公司集中监控严重主要告警事件定义，对本班次内发生的严重主要告警事件进行交接。,查看历史处理情况。,本班次跟踪处理情况。,严重告警事件定义：指造成业务影响的告警事件（包含业务阻断、业务指标劣化、接到用户投诉）。该类故障已导致用户无法或较难使用相关业务。主要告警事件定义：指设备产生的告警使网络存在较大故障隐患，（如信令链路组阻断、中继群阻断，但有迂回路由的情况；及系统宕机、大启动，但有热备份设备，且正常倒换的情况）如果不妥善处理有可能造成业务影响。,已经或者可能对业务产生影响的告警,中国移动通信有限公司江苏分公司网络部监控室,11,1、标准化的交接班管理,5、进一步提高对突发事件的关注程度，保证处理的连续性。,专门设立突发事件交接部分，使全体监控人员都能及时知晓突发事件的进展情况。,这里的突发事件主要是指集团电话通知、领导视察、应急调度等事件。对于重大社会活动、异常天气等重要事件的持续监控是通过保障场景来一一实现的。,中国移动通信有限公司江苏分公司网络部监控室,12,目录,1,标准化的交接班管理,2,标准化的现场管理,3,标准化的信息报送,4,标准化的故障调度,技术水平不高，责任心不够怎么办？,传输专业的工程可能引起核心网大量告警，核心网监控人员花费大量精力去检查。,由各市分公司上报灾害天气对网络的影响情况,分专业监控引起的信息交流不畅，监控人员无法快速分辨告警的有效性,2、标准化的现场管理,我们的目标是,“让故障缠住值班维护人员”,过去,现在,故障发现,各专业间信息交流,灾害天气的网络保障,主要依赖监控人员的技术水平和责任心,省监控无法第一时间掌握全省情况,开发网络告警提示牌，重大告警在大屏上实时呈现，想不发现也难。,开发工程信息提示板，各专业监控人员都能看到所有工程情况。,开发全省天气预报、基站退服场景、基站环境监控场景，省监控掌握第一手资料。,IT开发大屏呈现,2、标准化的现场管理,监控大厅的大屏呈现,网络告警提示牌,网络工程调整信息,基站退服监控场景,国际国内新闻频道,全省天气预报,需要共享的、需要关注的重要信息,中国移动通信有限公司江苏分公司网络部监控室,15,2、标准化的现场管理,话务网管系统,告警信息,EOMS,告警工单短信接口,主体设计,告警匹配,1,2,3,字段拆分,大屏呈现,地区网元名称告警标题采集时间,大屏最新呈现的告警采用绿色字，20分钟后转为红色字,网络告警提示牌设计思路,紧急告警预处理告警,2、标准化的现场管理,1）EOMS 上开发工程信息发布功能：工程内容、时间、网元、影响业务情况。,2）开发工程网元设置功能：进行工程的网元设置成工程状态。,3）开发工程信息大屏滚动显示。,4）EOMS开发工程结束确认功能，保障工程的闭环管理。,IT开发，规范工程管理,EOMS信息发布、话务网管告警标记、工程人员电话通知、大屏实时提醒,让工程信息包围监控人员,工程调整信息的IT开发和共享,1,2,3,4,5,6,7,2、标准化的现场管理,四、工程结束，确认工程无遗留问题。,三、告警被自动标注成工程中,二、工程开始设置工程状态,一、工程前发布工程信息，省监控确认。,工程信息发布管理平台实现方案,2、标准化的现场管理,1、5小时后即将开始工程信息滚动提示,2、当日全省工程信息数量,监控大屏自动呈现即将开始的工程：监控工作区域的每个人员可以通过大屏实时、全面、自助的了解全省各专业的工程开展情况。,3、点击查看工程详情,结合天气预报掌握全省基站运行情况,实时掌握全省天气情况,2、标准化的现场管理,LED轮巡显示全省天气预报,基站退服监控四级门限大屏实时提醒,基站局房烟感高温水浸四级门限大屏实时提醒,省监控人员变被动为主动,灾害天气下的省监控统一调度,突发事件1：7月31日我省受8号热带风暴“凤凰”外围和冷空气的共同影响，淮北地区（宿迁、淮安）出现大面积基站停电，省监控中心通过该平台在第一时间发布，并在24小时内紧急调集临近油机缓解大面积基站退服的压力。突发事件2：8月14日我省受突发雷电暴雨电气影响，全省13个地区总计出现停电基站1000多个，省监控中心在第一时间发布，进入应急状态。,集团下发的中国移动重要事件及客户业务监控保障机制要求对灾害天气等情况做好业务监控保障,2、标准化的现场管理,全网基站运行情况，大屏实时更新，状态一目了然，发现故障可立即启动应急调度,4、图表结合提供全面信息,5、15分钟准实时刷新统计全省19750基站数据,1、场景标题可以灵活定义,2、归纳出6类（退服、下电、蓄电池电压、蓄电池供电、传输中断）基站保障信息,3、设定四级门限，动态呈现预警颜色,中国移动通信有限公司江苏分公司网络部监控室,21,2、标准化的现场管理,全省基站、局房环境监控场景，实时呈现烟感、高温、水浸等情况，可直接点击查询详细情况,设定四级门限，绿色安全门限。黄色、橙色、红色预警门限。,基站、机房的烟感、高温、水浸,中国移动通信有限公司江苏分公司网络部监控室,22,目录,1,标准化的交接班管理,2,标准化的现场管理,3,标准化的信息报送,4,标准化的故障调度,省监控在信息报送中的枢纽作用：,客服人员,中国移动通信有限公司江苏分公司网络部监控室,3、标准化的信息报送,HLR,网络设备,维护人员,上级领导,监控人员,监控人员在信息上传下达中的枢纽地位,省监控负责对维护人员、相关领导报送网络故障信息。,1,省监控负责在故障、批量投诉发生时与客服中心间信息互报,及时反馈网络部处理情况并了解用户投诉情况。,2,省监控是省网络部与省客服中心的唯一接口,3,中国移动通信有限公司江苏分公司网络部监控室,24,3、标准化的信息报送,客服中心,过去,现在,集中统一的客服中心沟通机制,客服中心,多点报送，信息混乱，责任人不清,中国移动通信有限公司江苏分公司网络部监控室,25,3、标准化的信息报送,如何保证信息正确有效的传送？,故障信息的三级报送,一般故障报送,紧急故障报送,客服预警报送,汛期、高温、大雪等特殊天气的信息报送,特殊保障期间、节假日的信息报送,+,故障分为三种级别采用短信方式报送预先制定信息模板特殊时期特别报送,中国移动通信有限公司江苏分公司网络部监控室,26,3、标准化的信息报送,三、是否启动紧急调度：不启动紧急故障调度流程。,一般故障报送,一、发送原则：客服未发预警通报，影响时间短或影响范围小的故障。例如：交换机启动、批量基站退服、单平面阻断。,二、发送范围：网络部（专业室经理、技术骨干）,第一条抬头为“一般故障报送：.”后续报送至恢复为“一般故障报送（续报）：”,中国移动通信有限公司江苏分公司网络部监控室,27,3、标准化的信息报送,三、是否启动紧急调度：启动紧急故障调度流程。,紧急故障报送,一、发送原则：客服即将发出预警通报。虽然客服暂未接到批量投诉，但是监控判断故障影响面可能很大，可能即将触发预警门限，例如交换机宕机，BSC阻断。,二、发送范围：紧急故障上报组（部门所有领导+各专业室经理及主要人员）、相关分公司,监控支撑人员确认后由监控人员启动紧急调度,中国移动通信有限公司江苏分公司网络部监控室,28,3、标准化的信息报送,采用标准格式的短信快速准确发送故障信息,紧急故障报送：.。监控调度人，故障反馈86550313,第二联系方式139*，故障处理牵头专业室为、现场负责人139*。,是否启动紧急调度一目了然,现在启动紧急调度流程，监控调度人，故障反馈86550313，第二联系方式139*，故障处理牵头专业室为、现场负责人139*，请省网管相关人员到6楼集中处理。,采用续报方式发送故障处理进展及结果,紧急故障报送（续报）：.。,中国移动通信有限公司江苏分公司网络部监控室,29,3、标准化的信息报送,客服预警报送,黄色预警,橙色预警,红色、黑色预警,紧急故障上报组,客服必选组（公司办公室、新闻中心、客服中心、客服部正职级别）,+,黄色预警上报组,+,省公司客服分管领导,客服人员发现批量投诉后电话通知省监控，省监控负责将故障处理情况报送维护人员、相关部门及领导。,橙色预警上报组,+,省公司网络维护分管领导,等级,低,高,1,2,3,中国移动通信有限公司江苏分公司网络部监控室,30,3、标准化的信息报送,汛期：截止2008年*月*日7：30（或17：30），全省基站停电数如下：南京*个，。，合计*个。全省基站退服数如下：南京*个，。，合计*个。,汛期重点关注基站停电、退服情况,高温：截止2008年*月*日17：30，全省基站高温数如下：南京*个，。，合计*个。核心机房高温数*地区*个。,高温重点关注基站、机房的高温情况,雪灾：将基站按照一级VIP、二级VIP、普通等级别，每2小时上报停电退服数量。,灾害天气重点关注VIP基站停电退服情况。,汛期、高温、大雪等特殊天气的信息报送,“采取定时短信报送方式发布全省基站及机房情况。”,中国移动通信有限公司江苏分公司网络部监控室,31,3、标准化的信息报送,截止*月*日11时全省移动网络运行正常，全网无重大告警，未发生批量投诉。*日20：00*日11：00性能指标情况：短信全程接通率南京容灾SMSC2达到黄色预警线；中继每线话务量徐州到电信方向达到红色预警线，泰州到网通方向、南京MSC8到BSC方向达到黄色预警线。,特殊保障期间、节假日的信息报送,“采取定时短信报送方式发布全网运行情况、重大故障情况、批量投诉情况、性能指标情况。”,黄色预警是指达到了较低门限值，表示业务繁忙，需要引起关注。,红色预警指达到较高门限值，业务相当繁忙，需要进行人工干预来缓解。,中国移动通信有限公司江苏分公司网络部监控室,32,目录,1,标准化的交接班管理,2,标准化的现场管理,3,标准化的信息报送,4,标准化的故障调度,中国移动通信有限公司江苏分公司网络部监控室,33,4、标准化的故障调度,分散式维护,监控人员、维护人员、网络设备都在同一个地市分公司。,集中式维护,监控人员、维护人员在省公司，网络设备在地市分公司。,分散式维护转向集中式维护带来的新挑战,本地调度,省监控调度,调度方式,调度方式,监控人员和维护人员在同一个办公室，信息交流十分方便。监控人员只需通知本地人员，人数较少，上报环节少。市公司领导能较快获得故障信息。各市分公司直接和客服进行故障通报。省公司需要由分公司上报故障情况。,特点,特点,监控人员、维护人员分布在省公司各个专业室。省监控需要通知全省相关人员，数量较原来有很大的增加。网络故障影响各地市通信质量，因此要快速通知到分公司。省监控统一和省客服进行故障通报。,中国移动通信有限公司江苏分公司网络部监控室,34,4、标准化的故障调度,1、如何加强省监控与省维护人员间的信息交流？,在监控大厅开辟了应急故障处理区。发起紧急调度时，各部室处理人员集中到应急故障处理区进行操作。EOMS上开发了故障信息发布平台、BBS。,2、如何快速准确通知到全省数千名维护人员？,开发了13800250240移动热线值班电话，实现了全省维护人员的“一号调度”。,3、如何统一的向省客服进行故障通报？,在EOMS上开发客服通知平台，并打通了到客服CSP平台接口，客服人员在自己的平台上就能实时查询到故障处理情况。,中国移动通信有限公司江苏分公司网络部监控室,35,4、标准化的故障调度,监控大厅的应急故障处理区,在应急故障处理区，为各专业都配置了维护终端，可以连接到全省网元进行操作。,核心网,1,2,3,4,5,基础 增值 无线,面对面随时交流处理进展,中国移动通信有限公司江苏分公司网络部监控室,36,4、标准化的故障调度,共享的故障信息发布平台,故障处理专业室,故障处理情况,现场负责人、联系方式,故障信息发布平台、BBS,全省维护人员登录EOMS就能了解故障处理情况。进入聊天室，实时进行技术讨论。,维护人员的变动与调整带来不便，无法考核响应情况,4、标准化的故障调度,查询近千个维护包机人号码,建设13800250240移动热线值班电话，实现集中维护后一号调度,您好全省热线值班电话,南京01,徐州02,省网管中心00,苏州13,建设标准化方式,1,交换值班1,无线值班2,无线维护值班,值班A角,值班B角,无锡维护中心00,核心网维护值班,增值网维护值班,原电话调度方式,13800250240调度电话设计思路,配合调度电话，建设调度电话调度管理平台,2,4、标准化的故障调度,1,统一管理全省近千个维护包机人通讯录,2,灵活完成值班A、B角设置,3,统一自动记录调度信息,4,规范调度电话响应考核,通过调度管理平台向数据库中加入维护人员信息,中国移动通信有限公司江苏分公司网络部监控室,39,4、标准化的故障调度,13800250240调度电话技术方案,拨打13800250240,南京关口局,添加局数据：13800250240指向省客服排队机,省客服排队机,各地市关口局,维护人员,4、标准化的故障调度,标准化,灵活性,双向监督,一号接入全省178个热线值班人员，具有通用性,13800250240,随时调整值班A、B角，短信提醒值班人员。,省监控发起调度、分公司响应，全部透明,中国移动通信有限公司江苏分公司网络部监控室,41,4、标准化的故障调度,客服通知平台,EOMS中开发客服通知平台,故障影响实时通报、处理进展阶段更新,历史记录可以随时查询,1,2,客服CSP平台,客服人员在CSP平台上可以实时查询到网络故障情况，并填写反馈,EOMS客服通知平台打通了到客服CSP平台的接口,中国移动通信有限公司网络部网管中心网络监控处,42,以严谨认真、求真务实、精益求精的工作精神，不懈努力，为实现快速发现、及时响应、闭环管理的监控工作目标而奋斗！网络监控处,