如何利用ODSEDW提升企业数据质量.ppt

《如何利用ODSEDW提升企业数据质量.ppt》由会员分享，可在线阅读，更多相关《如何利用ODSEDW提升企业数据质量.ppt（28页珍藏版）》请在三一办公上搜索。

1、如何利用ODS/EDW提升企业数据质量,IBM2023年7月11日,ODS/EDW系统 IBM机密|11-Jul-23,2,汤传俊个人介绍 MSN:,IBM业务咨询服务部的信息技术架构师，专业集中在信息系统架构设计，业务流程分析和设计，应用系统设计和开发，数据架构设计，数据建模和项目管理。十二年电信行业经验，93年进入电信，从96年就开始参与电信九七工程的建设，足迹覆盖大部分省份，参与或领导的项目、产品有九七工程、本地网计费系统、移动计费系统、联通综合营帐系统、宽窄带系统、IP网管系统、radius认证计费系统、大客户系统、邮政BOSS系统等，以及目前正在进行的EDA/ODS项目。所参与的系统

2、涉及的运营商包括中国电信、中国移动、中国联通、中国网通等。,主要的项目：云南电信ODS系统武汉电信计费帐务系统长沙电信九七/计费系统乌鲁木齐电信计费帐务系统安徽全省本地网计费系统宁夏全省本地网计费系统上海移动综合计费帐务系统河南网通大客户系统中国联通综合营帐系统（联通BOSS）广东邮政综合服务平台（邮政BOSS）河南电信互联网客户管理与认证计费系统IP网管系统企业级VoIP网关,Name:汤传俊(Tommy)MSN：Mobile:13908470717Office:020-87553828-2686Email:,ODS/EDW系统 IBM机密|11-Jul-23,3,文档内容,数据质量问题产生

3、原因与分类ODS/EDW在数据架构层面对数据质量的支撑ODS/EDW在应用功能层面对数据质量的支撑ODS/EDW在管理层面对数据质量的支撑ODS/EDW数据质量管理案例（穿插）,ODS/EDW系统 IBM机密|11-Jul-23,4,数据的重要性不亚于业务功能,为什么我的电话这么久没装好？,客户投诉我不是我的错！,两个系统的报表怎么不一致？,目标完成没有？未来趋势怎样？,客户,客户经理,管理者,领导,实际发生的损失资金的流失客户的流失生产效率的影响提升的障碍客户服务质量提升市场的扩展利润的增长,不同的系统数据不一致不知道数据应该以谁为准数据的混乱状况处于发散状态,ODS/EDW系统 IBM机密

4、|11-Jul-23,5,问题数据产生的原因架构上,前期建设重功能轻数据前期采用统一规划分步建设思路，对如此庞大的系统这是唯一可行的方法，但谁建设谁管理的做法造成部门/系统割据，系统接口复杂，数据流向不清，缺乏像功能业务系统一样对数据的整体规划,我们需要像功能系统规划一样来规划数据，确定数据的整体架构，确定数据的归属划分，确定数据交互与共享规则，制定数据质量评价规则，建立完整的数据管理体系,ODS/EDW系统 IBM机密|11-Jul-23,6,问题数据产生的原因系统功能支撑上,虽然每个系统多少有一些数据质量管理的功能但没有一个系统能够完整地、系统地提供数据质量管理的机制与功能同时由于各系统数

5、据是分离的、割据的，他们的数据质量管理功能受到本身机制上的制约,我们需要一个能够覆盖完整数据范围的系统提供相关的数据质量管理功能，以便能够在日常运营工作中进行数据质量的管控、操作、量化考核，以及数据的沉淀积累等,ODS/EDW系统 IBM机密|11-Jul-23,7,问题数据产生的原因管理上,缺乏专门的数据管理组织与相关的制度经常性的临时突击对数据质量进行清理，但清理过后数据问题暂时缓解，随着时间的推移，数据又出现问题，如此反复数据管理工作就像警察一样，需要长期存在，一直存在,我们需要专门的数据管理组织，将数据管理工作作为日常的工作，就像订单受理系统每天受理订单一样每天进行数据管理的日常工作利

6、用系统提供的功能，在工作流程上建立闭环机制：发现、分析、规则、执行、修正、考核,ODS/EDW系统 IBM机密|11-Jul-23,8,数据质量多重检查维度,数据的完整性,数据的一致性,数据的唯一性,数据的连续性,数据的完备性,数据的准确性,数据的逻辑性,数据的可用性,数据的清晰性,数据的正确性,数据质量保证体系,数据质量问题中的职业道德和法律问题,数据质量,ODS/EDW系统 IBM机密|11-Jul-23,9,数据质量问题分类技术层面,单一系统数据质量数据缺失、错误数据非空、唯一数据关联完整性跨系统数据质量数据关联完整性（无主帐单）不同系统数据一致性汇总指标数据质量原始数据质量问题汇总算法

7、问题（非质量问题）,ADB单一系统数据质量保证ODS跨系统数据质量保证EDW数据汇总指标关联质量ODS可以作为以上三类数据质量问题的最终管理者,ODS/EDW系统 IBM机密|11-Jul-23,10,文档内容,数据质量问题产生原因与分类ODS/EDW在数据架构层面对数据质量的支撑ODS/EDW在应用功能层面对数据质量的支撑ODS/EDW在管理层面对数据质量的支撑ODS/EDW数据质量管理案例（穿插）,ODS/EDW系统 IBM机密|11-Jul-23,11,企业数据架构(EDA),EDA,ODS/EDW系统 IBM机密|11-Jul-23,12,ODS,EDW,EDA/ODS/EDW关系数据

8、质量管理的基础,ODS/EDW可以成为EDA的主要承载系统拥有电信业务运营所需的完整的统一的数据视图数据归属划分清晰数据流向清晰数据更新相对及时，反映数据最新状况满足日常运营所需的数据交互与共享可以扮演数据质量管理的关键角色在此基础上建立所需的数据管理体系组织机构系统功能支撑考核评测机制,可以看成数据的消费者，业务运营系统的一部分,系统数据交互、共享、沉淀的中心,没有单独建设ODS的省公司，可以将其功能纳入到EDW。主要在stagearea开放性、数据交互性加强,ODS/EDW系统 IBM机密|11-Jul-23,13,ODS/EDW数据架构工作内容,确定数据范围，建立统一数据视图：参与者、产

9、品、帐务、市场营销、地域、资源、事件、财务确定数据所有者以及数据单向流动原则，只有所有者能够修改数据建立源数据到目标模型的数据映射关系根据数据分类建立数据同步机制建立数据关联、稽核机制，建立异常数据检测修正机制，随着时间的积累数据逐步逼近正确确定数据访问机制，建立统一数据平台上的应用,所有这些是数据质量管控的基础，只有在这些工作完成后，数据走向混乱的趋势才有可能从根本上得到控制,ODS/EDW系统 IBM机密|11-Jul-23,14,ODS/EDW数据库,订单受理/业务开通,案例：确定了数据所有者以及数据单向流动原则，只有所有者可以修改数据,计费帐务系统,渠道系统,112系统,10000系统

10、,网管系统,产品定单工单静态表卡片客户,商品套餐用户帐户帐务资源,故障投诉咨询,故障,客户群客户经理客户区域渠道用户群,帐务资费红黑名单销账信用度预存,资源(小灵通基站),ODS/EDW系统 IBM机密|11-Jul-23,15,文档内容,数据质量问题产生原因与分类ODS/EDW在数据架构层面对数据质量的支撑ODS/EDW在应用功能层面对数据质量的支撑ODS/EDW在管理层面对数据质量的支撑ODS/EDW数据质量管理案例（穿插）,ODS/EDW系统 IBM机密|11-Jul-23,16,数据质量处理流程-闭环处理,发现问题,分析问题,规则方案,执行,异常数据,修正,工作考核,业务人员,经验积累

11、,规则积累,归属系统,数据工位,数据管理组,数据工位,控制论，正反馈达到一定的程度，电路会产生自激而崩溃，保证电路的稳定性需要建立负反馈机制,目前数据质量在各个环节不断被放大、增加，处于发散的状态，通过闭环管理确保数据质量处于收敛的状态才能控制数据质量问题,ODS/EDW系统 IBM机密|11-Jul-23,17,案例：ODS系统数据修正闭环流程,参与人,产品,帐务,事件,资源,指标,统一数据视图,ETL,总控台,数据支撑,数据查询,异常数据处理,统计报表,外围属主系统,EAI,VIEW,规则检查,异常数据,ODS/EDW系统 IBM机密|11-Jul-23,18,案例：数据规则检查形成的汇总

12、报告与异常数据详细记录，包括数据库逻辑异常和业务逻辑异常,ODS/EDW系统 IBM机密|11-Jul-23,19,案例：建立异常数据检测修正机制（规则可根据业务需要不断扩充），随着时间的积累数据逐步逼近正确,三户类用户无所属客户帐户无所属客户用户应有对应帐户用户应定义所有帐目类型的帐户归属用户有效记录唯一性帐户客户有效记录唯一性托收用户稽核产品服务类产品服务收费不一致无主帐单无主投诉无主故障欠费停机缴费复机免停用户停机临时电话(专线)时限、业务要求拆机需冷号一定时间,收费类下半月新装用户月租减半减免收费信息不一致计费状态信息不一致费用未缴清不能办理业务,汇总指标类数据质量需要经业务分析后形成

13、对原始数据的效验规则如果本身平衡公式不存在，则不能作为数据质量问题,跨系统数据质量问题,单一系统数据质量问题,ODS/EDW系统 IBM机密|11-Jul-23,20,案例：考核，建立了修正效果对比机制，可量化评测数据质量修正工作,数据检查规则的定义与维护规则的执行与报告提供异常数据对比跟踪,ODS/EDW系统 IBM机密|11-Jul-23,21,文档内容,数据质量问题产生原因与分类ODS/EDW在数据架构层面对数据质量的支撑ODS/EDW在应用功能层面对数据质量的支撑ODS/EDW在管理层面对数据质量的支撑ODS/EDW数据质量管理案例（穿插）,ODS/EDW系统 IBM机密|11-Jul

14、-23,22,数据质量管理的组织机构,数据质量决策小组主管业务的领导牵头确定数据质量的目标数据质量管理小组市场部主任企化部主任与数据打交道的关键业务人员熟悉现有系统数据的关键技术人员提出数据质量具体要求确定数据检查规则逻辑决定数据冲突解决方案数据质量执行小组具体的工位根据系统提供的功能生成异常数据报告组织、监督、推动数据修正工作考核数据修正指标,决策,管理,执行,反馈,需要管理和系统的结合很多环节需要人为介入,将数据管理当成日常的工作来做,ODS/EDW系统 IBM机密|11-Jul-23,23,案例：异常数据处理流程,A：EAI异常处理B：ODS的ETLC：ODS的规则检查D：ODS异常处理

15、E：MBOSS系统管理F：其他系统管理员,ODS/EDW系统 IBM机密|11-Jul-23,24,案例：异常数据处理流程EAI,A：EAI异常处理B：ODS的ETLC：ODS的规则检查D：ODS异常处理E：MBOSS系统管理F：其他系统管理员,ODS/EDW系统 IBM机密|11-Jul-23,25,案例：异常数据处理流程ETL,A：EAI异常处理B：ODS的ETLC：ODS的规则检查D：ODS异常处理E：MBOSS系统管理F：其他系统管理员,ODS/EDW系统 IBM机密|11-Jul-23,26,案例：异常数据处理流程规则检查,A：EAI异常处理B：ODS的ETLC：ODS的规则检查D：

16、ODS异常处理E：MBOSS系统管理F：其他系统管理员,ODS/EDW系统 IBM机密|11-Jul-23,27,数据质量提升的关键点总结,建立合理的企业数据架构，形成统一数据视图，规范数据数据范围，数据模型，数据流向，确定冲突解决规则（基础、根本）需要有相应的系统提供功能支撑（ODS/EDW）建立闭环机制：发现、分析、规则、执行、修正、考核（系统加管理手段）有专门的组织负责数据质量管理工作（管理）要让数据质量管理成为一项日常的工作，就像订单受理系统每天受理订单一样（执行）数据质量不会一夜之间解决，通过闭环保证数据质量问题随着时间的积累逐步收敛（积累）,ODS/EDW系统 IBM机密|11-Jul-23,28,谢谢！,