数据治理与大数据平台设计.ppt
数据治理,大数据平台设计,议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计,1,数据治理背景大数据时代凸现数据重要性,数据治理是大数据的基础,2,信息孤岛现象严重数据质量问题严重,34,5,数据应用未得到有效管理,6,数据安全问题日益严峻,数据治理,意识到了问题的严重,1,数据治理现状,2“维持”代替“管理”3 历史“包袱”沉重4 相关方利益交织，协调困难5 方案规划容易，落地困难6 过度依赖技术工具7 对于数据没有明确区分,议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计,数据治理要素,数据治理策略,获得支持,引入外援,找到“痛点”,确定“起点”,责任到人,持之以恒,绩效评估,实事求是确定方法做好绩效,标准先行使用工具奖惩机制,经验总结数据治理,实施建议*数据质量提升是目标,*主数据管理是关键,*元数据管理是基础,议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计,什么是元数据,元数据的定义,技术元数据 业务元数据 操作元数据,为什么要进行元数据管理,Why?,123456,数据的参考框架解决数据模糊性可视化数据流动影响和血缘分析推进标准化建设规范化数据审计,1.2.3.4.5.6.,经验分享标准先行全局治理尽快见效高层支持业务参与奖惩机制,数据定义标准化,数量,月销售量,月,销售,量,标准单词对象,词素,词素,词素,词素分析,原属性名(标准化对象),标准域数量类型：数字型长度：19，0分类词,标准用语月度销售数量类型：数字型长度：19，0修饰词,标准单词月度,标准单词销售,标准单词数量,标准单词月度销售数量分类词(域),标准体系,数据定义标准体系标准单词,标准域,标准用语,数据模型标准化,结构,实体、属性、关系、主键，范式化等命名规则、用语词典、标准域等,管理,数据管理政策、方针等配置管理、版本管理等,质量,准确性、完整性、实时性、一致性,应用,查询结果的准确性、使用便利性、查询结果的迅速性,模型设计标准,实施路线,模型优化,模型诊断,设计规范,设计指南,按照模型设计规范和指南统一设计企业内部数据模型,元数据管理系统,可使用,可管理,可控制,模型,要素,关系,定义规则,应用系统,注册元数据,库脚本同步,指导数据库设计,审核、评估、发布,提交,反馈,元数据服务,标准规范,标准化体系（数据定义&模型设计）制定完善,引用,元数据管理工具的选择元模型易于扩展界面友好安全和系统管理配置管理发布、查询、报表功能平台开放提前试用,议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计,什么是主数据,企业主数据分散存储在企业各系统内，对,企业至关重要的核心业务实体的数据，比如客户、合作伙伴、员工等,关键 分散 缓慢 共享,主数据类型当事人,事物,地域,财务和组织,主数据与参考数据,参考数据可以是主数据，但不一定是主数,据,为什么要作主数据管理,数据冗余,难亍应变,阻碍业务,数据冲突,Why?,如何做好主数据管理,经常遇到的问题,如何做好主数据管理,识别并管理主数据相关方,整理并分析主数据的生命周期,识别主数据含义、上下文、类型,主数据实施流程,运行维护,项目实施,主数据识别,数据梳理,项目实施要点选择工具定制开发制定标准规范,确定组织架构,申请维护,主数据管理系统注册 准入审批,访问服务,查,询,安全管理,匹配查重CRM,数据校验人事,管理流程,组织机构,统一数据共享标准规范,强化决策支持,主数据 管理体系提升数据质量,数据导入ERP,数据分发,版本管理财务,通知废弃,议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计,数据质量问题数据质量,1、数据的值域3、数据的完整性5、业务规则7、数据转换,2、数据的定义4、数据的有效性6、结构完整性8、数据流,业务部门统计部门（业务部门）负责业务规则的制定，在业务层面统管数据质量和安全。,技术主管部门技术部门负责数据集成、使用等过程中的数据质量，并对数据质量报告进行定期发布。,评审委员会技术部门设置评审委员会，对数据方面的变更进行管控，具备技术方案否决权。,组织架构设计 业务与技术部门各司其职，共同做好数据质量管理工作,应用服务,数据质量管理规范 二级检控,数据质量治理流程,数据录入/质量检查,生产库 后台库,一级检控,复制,数据仓库,ETL,短信通知,短信通知,录入修改,确认,技术主管部门,业务部门管理员,策略,Description ofthe contents,方法,策略和方法反面影响和正面的效果征得了领导层关注,改进工作分布实施，循序渐进,数据质量报告定期发布,应用系统需求和架构经过严格评审,系统的数据结构变更需要进行严格评估,数据发生变更时，通报所有相关方,Description ofthe contents,技术手段,从源头改起，形成良性循环24小时监控，及时按照预案处理问题多环节设置数据质量监控功能,短信及时通知相关业务人员核对问题BI系统不断整合不断改进工具软件,最佳实践,从数据剖析（Profiling）开始,尽量使用工具进行数据剖析,数据剖析工作需要持续开展,数据集成过程也需要进行数据剖析,数据质量评估和改进需要被动和主,动两种方式,最佳实践,得到高层的支持,关键数据先行，渐进开展,在数据的“上游”解决质量问题,“防患于未然”优于“后期治疗”,数据质量报告要大范围发布,议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计,关于大数据的几个问题,什么是大数据,大数据与传统数据仓库是什么关系 Hadoop与MPP数据库,数据采集,传统数据仓库数据存储计算,数据展现,ERP,CRM财务,人事,数据挖掘,报表展现,数据集市,多维分析,EDW,抽取转换清洗加载,分析人员,管理员,源数据,数据转换,数据仓库,业务用户,数据展示,ODS,
