数据治理之数据模型管控方案课件.pptx
. 数据治理需求发展趋势. 数据治理成功关键要素. 数据模型管控方案. 成功案例,I. 数据治理发展趋势,I. 数据治理发展趋势,4,BPM,SOA,DW,BigData,BI,MDM,Mobile,CRM,SCM,Smart BI,ERPCIMSISMRPDSS,Web2.0 ERP2.0ITSM,Social,Cloud,Data GovernanceIT Governance,DB,Mainframe,1 1960199060年代 : 以简单的业务处理为目的70年代 : 以信息提供为目的80年代 : 以提升企业市场竞争力为目的,DummyTerminal,DB,MCI,Open System,EAI,3 2000201000年初 : 系统数量增多，数据量暴增数据仓库建设开始(DW)数据统计及简单分析,Client,DB,移动应用及互联网等应用扩大，数据 量暴增，数据分析需求增加大数据处理技术增多企业数据质量要求提高,Open System,4 20102020,Client,SOA(ESB),90年代初 : 电子商务开始, 大规模系统建 设开始(ERP)90年代末 : 综合业务支撑系统建设开始,Mainframe,EAI,2 19902000,DB,Client,Open System,存储,整合,存储,管理,整合存储,应用 分析 管理 统计 整合 挖掘 存储,分析,数据治理范围,数据治理范围应用,数据治理范围应用,数据治理范围应用,恩核（北京） 信息技术有限公司,I. 数据治理发展趋势,AS of July 2015,恩核（北京） 信息技术有限公司,I. 数据治理发展趋势,Data quality problems,45%46%,恩核（北京） 信息技术有限公司,I. 数据治理发展趋势,试验阶段认知阶段,发展阶段,成熟阶段,了解数据资产或数据治 理概念。学习数据资产中包含的 技术要素及内容。思考数据资产化项目带 来的价值，及所在单位 应当如何实施。,设立小型项目，尝试数 据资产化项目，确认项 目价值。大数据时代的到来，数 据的重要性被重视，在 数据应用过程中发现数 据质量问题较多。试图通过治理提升质量。,较大范围启动数据资产 化项目，开始设计数据 资产产出物。采购工具，设置岗位， 构建流程，一定范围扩 大应用。,数据治理体系比较完善将数据治理体系引入系统 开发中，严格遵循数据治 理体系，并构建自动化的 校验体系。在设计、开发、测试等阶 段保障数据质量。,2014,恩核（北京） 信息技术有限公司,2016,2018,2022,. 数据治理成功关键要素,.数据治理之我见,确保治项目成功的关键要素,项 目 成 功 要 素,项 目 背 景,项 目 目 标,缺乏统一数据标准,未对数据标准、数据模型、数据质等内容进梳,数据资产管缺乏有效体系,数据应用、系统品开发及数据质受影响,元数据内容明确，元数据未进分类元数据有待通过专业方式进 梳,数据应用难大新系统开发受影响,支持难 大数据质低数据获取、共享、数据规划 难大,缺乏数据标准化未构建数据标准化知识库缺乏数据标准化管及自动 应用体系,数据标准管控体系缺失数据模型管控体系缺失业务元数据管控体系缺失元数据应用及校验体系缺失,数据标准、数据模型、,数据质等内容设计、,加载、管方法,管组织、程 的产品化程,管控型数据治软件平台构建,自动化应用及校验体系,构建数据标准、数据模型、数据质等 管内容、组织、程,4,恩核（北京） 信息技术有限公司,构建基于数据治平台的数据治体系,. 数据治理成功的核心要素,核心成功要素,保障措施,措施1,实施人员必须具有丰富项目经验， 且提供可落地方案,措施2提供基于数据架构的数据治理,措施3,提供管控型管理流程和自动化 应用数据治理平台,措施4,提供可视化和共享知识库的 元数据治理体系,要素1,初期数据标准、模型、元数据、 数据质量等内容的彻底加载,要素2构建持续性数据治理运营体系,要素3,构建前置型数据治理管理体系,要素4,构建自动应用的数据治理系统,数据治理项目成功的核心要素,16,恩核（北京） 信息技术有限公司,方案1,效果,构建了元数据知识库实现了数据的标准化应用及管理实现了对数据模型的管控提升了数据质量构建了企业级数据资产管控体系,效果,数据标准和数据质量收集及分析,管控和验证方案,通过了使用搜索引擎实现元数据收集自动化基于专业的数据建模工具实现数据标准应用自动化基于元数据工具和建模工具的统一应用，实现数据标准、 数据模型等元数据校验自动化,具有丰富的项目成功实施经验,成功案例,数据标准化，数据模型，数据质量等共享统一知识库的专业化工具,成功案例,实施人员必须具备丰富项目经验，提供可地方案,. 数据治理成功的核心要素,17,恩核（北京） 信息技术有限公司,措施2,提供基于数据架构的数据治理体系,. 数据治理成功的核心要素,25,恩核（北京） 信息技术有限公司,25,恩核（北京） 信息技术有限公司,措施2提供,基于数据架,构的数据治理体,系,层级,构成,业务架构,应用架构,数据架构,技术架构,概念层,逻辑层,物理层,企业整体业务架构,子模块业务架构,详细业务流程,业务规划说明手册,企业整体应用架构,子模块应用架构,详细开发流程,应用设计说明手册,2 层级,1 层级,2 层级,3层级,4,层,级,4层级,4层级,4层级,4层级,4层级,综合管理,综 合管 理 执 行,业 绩管 理,疗养机构分类和管理,疗养机构仲裁活动疗养机构仲裁活动实际业绩管理,综 合管 理 规 划,综合管理制度基本计划制 定和变更,疾病，患者分类体系管理审查效率分类基准设定和 技术开发,综合管理支付指标开发和 标准方案制定,综合管理制度成果 管理,继承关系模型,概念模型,逻辑模型,物理模型,技术整体模型,基础构造关系图,基础构造设计图,软硬件产品目录,Planner,Designer,Builder,. 数据治理成功的核心要素,基于数据治理架构管理策略，构建元数据管理体系，其中包括组织、流程、 元数据管理策略和内容。综合数据治理体系架构,组织,规划方向,原则目标,元数据治理架构管理策略,元数据管理系统,元数据管理策略,流程,CWM内容,元数据 元数据 数据 质量 标准 模型 管理 管理 管理 体系 规范 规范,管理元数据组织管理,数据 结构管理,分类 体系,数据标准,继承概念,DA 内容,分类,体系,数据模型,业务 元数据,逻辑单词/用语域代码 物理标准标准标准,DWETLDMReportingRDBMS,. 数据治理成功的核心要素,24,恩核（北京） 信息技术有限公司,业务功能(大),业务功能(中),业务功能(小),信息项,继承关系模型,概念模型,逻辑物理模型,属性字段信息,技术元数据,数据模型,DB对象（大）,DB对象（中）,表,字段,应用功能（大）,应用功能（中）,应用功能（小）,字段映射,应用功能（大）,应用功能（中）,应用功能（小）,信息项,DBMS,ETL,OLAP,REPORT,应用功能（大）,应用功能（中）,应用功能（小）,信息项,元数据节点之间的整合,业务元数据,业务信息,业务元数据和技术元数据矩阵图,. 数据治理成功的核心要素,25,恩核（北京） 信息技术有限公司,措施3,提供管控型管理流程和自动化应用数据治理系统,运维,支持型数据治理管理体系开发测试上线,设计,数据标准业务元数据 数据模型,数据库对象模型管理 数据标准管理应用影响度分析,模型变更标准变更,模型管控标准管控 质量管控,. 数据治理成功的核心要素,措施3,设计,运维,开发,测试,提供管控型管理流程和自动化应用数据治理系统管控型数据治理管理体系,分析,数据治理平台,标准,模型,概念模型,逻辑模型 DDL 物理模型,DDL,DDL,. 数据治理成功的核心要素,25,恩核（北京） 信息技术有限公司,单词,+,单词,+,域,标准用语,. 数据治理成功的核心要素,恩核（北京） 信息技术有限公司,词素 解析,单词 转化,用语 拼接,数据类 型定义,标准化自 动应用,逻辑数据模型,物理数据模型,基于数据标准知识库自动转化,单位信息,# 单位编号* 名称* 上级单位,岗位变更,# 岗位名称员工编号(FK)开始时间结束时间,员工信息,# 员工编号* 姓名* 性别年龄出生年入职时间单位编码(FK),DEPT_INF# DEPT_NO* DEPT_NM* HGH_LVL* DEPT_NO,PSTN_CHG,# PSTN_NOEMP_NO(FK)STRT_TIMEEND_TIME,EMP_INF,# EMP_NO* NM* SEXAGEBRTH_DATEETY_TIMEDEPT_NO(FK),. 数据治理成功的核心要素,措施4,模型视图,API,可视化,综合分析,数据标准 数据模型 BI / OLAP其他元数据信息,REST API,共 享 知 识 库,提供可视化和共享知识库的数据治理系统,. 数据治理成功的核心要素,25,恩核（北京） 信息技术有限公司,标 准 词 典,单词,标准,同义词,员工,Y,职员，管理员,职员,入职,Y,服务员,入职_员工_编码,入职员工编码,入职_职员_编码,入职_管理员_编码,【标准】,【非标准】,推荐【员工】,入职员工编码,入职职员编码,入职管理员编码,申请,入职职员编码,入职_职员_编码,词素 分析,入职_员工_编码,入职员工编码,推荐异音同义词,推荐,支持同义词,属性名校验,词素解析及校验,通过词素分析 自动检索和更新 顺序不一样的 异音同义词,数据标准化的自动校验及应用,. 数据治理成功的核心要素,26,恩核（北京） 信息技术有限公司,独立型知识库架构,整合型知识库架构,要点, 数据库信息集中管理, 元数据相关关系分析和应用,1 以数据模型和DB为中心的设计,2,3, 专业数据建模技术应用,4,数据 质量,应用 影响度,DB目录,数据 模型,数据 标准,单一/整合 知识库,数据 质量,应用 影响度,DB目录,数据 模型,数据 标准,. 数据治理成功的核心要素,26,恩核（北京） 信息技术有限公司,数据模型管控必要性及问题分析数据模型管控解决方案数据模型管控核心价值,. 数据模型管控,.数据模型管控- 数据模型管控必要性及问题分析,数据模型变更缺乏事前审计、事中监控、事后管理等体系化的管控措施，致使数据模型逐渐变成“黑盒 子”，给系统建设和数据应用带来严重影响。,事后弥补措施缺失,生产库中存在大量字段和表没有注释、含义模糊不清、同名不同意、同意不,同名、冗余字段和表、枚举型字段中的值使用不统一等现象，直接影响对数据的识别和应用。,审计工作及指标缺失,数据模型变更变更前的合理性缺乏专业人员评审，大部分企业缺乏专业的数,据架构师，对不同系统的数据模型，在变更时从数据设计、业务合理性、数据治理、 数据库性能等方面进行综合性评审。,管理流程缺失,辅助性工具体系缺失,问题汇总,1,2,26,恩核（北京） 信息技术有限公司,4,针对数据模型管控方面存在的诸多问题，我们应从相应岗位设置、管控工具构建、管理流程设计等 三个方面着手，构建适合的数据模型管控体系。,事后弥补措施缺失,设计事后弥补流程，对未按照流程发起的变更，设计及时 发现及事后弥补方案。,审计工作及指标缺失,设置数据架构师岗位，设计模型变更合理性审计指标,管理流程缺失,设计适合的管理流程及数据架构师、模型设计人员、数据标准管理、开发、运维等角色分工,辅助性工具体系缺失,构建数据模型管控平台，实现辅助管理,1,2,3,4,岗位设置,1,管控工具,2,管理流程,3,改善 目标,改善 方案,+,+,数据架构师（制定制度及流程）数据模型（模型设计及管控）数据标准（标准管理及应用）,模型管控数据标准变更监控,人员交互流程事前、事中审计及管理流程事后弥补及共享流程,.数据模型管控- 数据模型管控必要性及问题分析,26,恩核（北京） 信息技术有限公司,事前,事后,事中,流程监控,审计岗位审计流程审计指标 审计工具,合规检查,一致性检查,DBMS对象变更监控DBMS对象版本比对 模型与DBMS比对 差异弥补,.数据模型管控- 数据模型管控方案,No,No,1,5,6,2,7,9,8,4,3,.数据模型管控- 事前数据模型管控方案,.数据模型管控- 数据模型审计指标,.数据模型管控- 事后数据模型管控方案,. 数据模型管控-价值,32,模型变更有流程可遵循,模型事后变更及时弥补,模型审计有据可依,数据标准确保落地,提升数据质量,核心价值,直接效果,设置数据模型审计专职岗位和设计审计指标,构建自动化强，落地性好的软件工具,设计及实施数据模型管控流程,设计数据架构师、数据标准、数据建模人员、开发人员 交互流程设计事前、事中、事后审计及校验流程设计数据模型及数据库对象变更流程,设置专职数据建模或数据架构师岗位培养数据架构师，掌握建模技术及业务知识设计符合实际情况且可落地的审计指标,数据变现保障,模型透明化管理,数据架构师、数据标准、数据模型等管理流程配置功能数据标准管理及应用、数据模型管控功能审计校验功能，内置审计校验指标数据库对象自动搜集及差异比对功能,数据资产化,变更数据共享并公开,实现模型数据动态化管理,. 成功案例,1。. 某移动公司案例2. 金字工程案例,现况问题搜集当前管方式分析报表及关键字管现况分析设计改善方案,标准单词、域、用语、及命名规则制定数据标准定义指南数据架构定义DQI, CTQ设计BR管程定义,质检测原则设计标准程定义组织、角色、职责定义系统需求定义,报表元数据管指南定义报表元数据管组织、角色、职责定义报表元数据程定义关键字元数据管程定义,报表及关键字元数据管系统构建,数据质管 体系构建,韩国银外汇管 系统数据标准及 数据质标准定义,现况诊断及 设计改善方案,. 成功案例,6,恩核（北京） 信息技术有限公司,主数据,数据存储,数据仓库,数据集成 (ETL),商务智能/联机分析处理,数据标准词典,业务规则,单词,域,用语,应用程序 用语,用户界面,过程控制,业务控制DAO,业务用语词典,数据模型,业务架构,数据架构,应用架构,数据标准,联合属性,验证规则,B R,数据治理平台,业务规则验证,数据流动,Report,. 成功案例,8,恩核（北京） 信息技术有限公司,. 成功案例,8,恩核（北京） 信息技术有限公司,. 成功案例,8,恩核（北京） 信息技术有限公司,. 成功案例,8,恩核（北京） 信息技术有限公司,主数据,数据存储,数据仓库,数据集成 (ETL),商务智能/联机分析处理,数据标准词典,业务规则,单词,域,用语,应用程序 用语,用户界面,过程控制,业务控制DAO,业务用语词典,数据模型,业务架构,数据架构,应用架构,数据标准,联合属性,验证规则,B R,数据治理平台,业务规则验证,数据流动,Report,. 成功案例,8,恩核（北京） 信息技术有限公司,谢谢,
