中国移动省级NG规范培训-数据质量管理分册(1).ppt
中国移动省级NG1-BASS2.0规范培训-数据质量管理子系统分册2023年2月26日星期日,目 录,本期规范修订目的,增强功能,加强管理,完善数据质量监控检查，提高数据质量监控水平增强数据质量对外服务能力，充分利用数据质量信息完善数据质量知识库，提高数据质量知识库的应用能力建设数据质量评估功能，发现数据质量潜在问题及问题的发生规律,明确数据质量问题处理相关机构与角色，完善数据质量问题处理流程，保证数据质量问题能够及时有效地得到解决 完善关键指标波动告警处理流程，提高数据质量告警处理能力,目 录,数据质量管理子系统在经营分析系统中的定位,数据质量管理子系统功能结构,本期新增内容,本期加强内容,数据质量管理子系统功能（1）,数据质量监控,数据采集：采集经营分析系统数据处理状态，作为监控检查的输入监控检查：从元数据库中读取检查规则及检查对象，输出检查结果监控报告：根据检查结果，生成不同级别的报告（如通知或告警）规则配置：配置采集规则、检查规则、告警规则和告警订阅规则,数据质量问题处理,问题生成：数据质量监控发现的问题、数据质量评估发现的问题和业务人员发现的数据质量问题问题分析：利用数据质量拓扑图、元数据分析工具和数据质量知识库对问题进行分析及定位问题处理：制定问题的解决方案及时有效地解决数据质量问题问题总结：对单一问题的总结、对阶段问题的总结，总结产生数据质量知识,数据质量管理子系统功能（2）,数据质量评估,数据质量问题状态评估：对一个阶段内的数据质量问题汇总与梳理，发现数据质量问题发生的规律数据源接口质量评估：评估一个阶段内的数据源接口质量，提高源系统接口质量指标关联性分析：验证及分析关键指标间的关联性，发现指标波动的变化规律,数据质量知识库,知识的生成：问题总结形成知识、知识评价与协作编辑完善数据质量知识知识的应用：数据质量知识的生成与利用是一个闭环过程，应用于数据质量检查规则的优化,数据质量管理子系统功能（3）,数据质量对外服务,数据质量信息查询：查询某一对象在某个时间段的数据质量信息；查询某个时间段内的数据质量信息汇总（如在经营分析门户显示的本月数据质量问题汇总信息）数据质量问题交互：经营分析业务人员或运维人员提交数据质量问题及问题反馈等,数据质量管理子系统技术结构,本期新增内容,本期加强内容,数据质量管理子系统与其它模块交互,基于元数据，元数据库存储检查对象、检查规则等,检查规则-规则引擎问题流转-工作流引擎,与经营分析门户的交互：数据质量信息查询及数据质量问题交互,调用信息推送接口发送SMS与EMAIL信息,数据质量管理子系统,数据质量基于元数据。在元数据库中存储检查对象、检查规则等,与经营分析门户的交互：数据质量信息查询及数据质量问题交互,目 录,与上期规范主要区别点,数据质量监控是由系统自动完成的过程数据质量监控过程包含三个环节：数据采集监控检查监控报告,数据质量监控过程,数据质量监控发现的问题数据质量评估发现的问题经营分析业务人员与运维人员提交的数据质量问题,数据质量问题生成途径,强调数据质量管理子系统基于元数据元数据变更必然导致数据质量需求的变更，如增加检查对象、修改检查规则等数据质量需求变更流程始于元数据变更通知,数据质量变更流程,新增关键指标加权波动检查,应用场景：设A指标11月份的波动情况如下表所示：,从指标的基础检查上来看，指标数值检查和环比波动是正常的，但同比波动率的检查是异常的，通过加权波动检查得出A指标加权波动值为0.8，在预设阈值上下限之间，是正常的。分析其原因，应该与节假日的影响有关，而不一定是数据质量问题。,指标加权波动检查权组：利用指标基础检查结果，如指标数值、同比波动率、环比波动率等指标的影响因素：业务变更影响、节假日影响、业务竞争影响等适用指标：需从多个角度进行综合检查的指标受多种因素影响或干扰的指标,新增指标波动告警处理,指标波动告警处理说明,指标波动告警不一定存在数据质量问题，告警原因有可能：检查规则中的阈值设置不当指标受业务因素影响,指标波动告警类型指标数值检查告警指标波动率检查告警指标加权波动检查告警,新增数据质量评估功能,为什么连续三个月话单接口抽取及时率只有80%？为什么每日彩铃订购接口传输延迟均在30分钟以上？,为什么同一个问题老发生？为什么A问题总是与B问题同时发生？为什么阿春仔处理问题的效率这么低？,为什么A指标每增长10%，B指标反而减少20%？为什么去年C指标与D指标同步增长，而今年C指标增长D指标反而减少？,数据质量问题状况评估,数据源接口质量评估,指标关联性分析,数据质量需求变更控制流程,增强数据质量知识库的应用（1）,数据质量知识产生与应用闭环,应用于问题处理过程,问题生成：检索知识库，预先生成供参考的解决方案问题分析：在知识库中检索相同或类似的问题，有利于问题的定位问题处理：利用已有的解决方案，及时有效的采取处理措施解决问题问题总结：采用归纳、演绎和推理等方法把问题与解决方案组成知识内容；检索是否存在相同的知识，避免产生相同的知识,增强数据质量知识库的应用（2）,应用于检查规则的优化,数据质量知识应用于检查规则原理：数据质量知识的内容组成由检查规则、数据质量问题和问题解决方案组成数据质量问题可关联到检查对象数据质量知识数据是结构化的,新增数据质量对外服务功能,数据质量信息查询,数据质量问题交互,A指标本月是否存在数据质量问题？,本月数据源接口有多少数据质量问题？,B指标波动异常，存在数据质量问题？,短信话单接口修改完毕，可正常抽取。,其它数据质量信息查询,其它问题提交、问题反馈,数据质量管理子系统（内部）,谢谢！,
