-企业数据治理方法设计思路-.docx

“企业数据治理方法设计思路”1、2023-11-27数字化技术加速进展，成为引领新一轮科技革命的主导力气数字化技术加速进展，成为引领新一轮科技革命的主导力气主机客户端/服务器互联网LO数字化认知文件系统批处理和在线事务处理个人电脑图形化用户界面关系型数据库软件包B2BB2C电子商务ERP社交网络,移动设备,大数据,云计算物联网自动化技术机器学习人工智能虚拟化机器人自动化数据处理学问型工作;企业重构互联的客户;全球化的IT选购；数字化业务人工智能，决策系统;预警认知；机器人员工197OS1980sl990s2000s2022202220222030核心驱动技术新的商业模式技术进展浪潮新技术驱使企业商业模式和运营方式发2、生变化新技术驱使企业商业模式和运营方式发生变化客户更加互联、信息灵通，参加度更高自适应性流程客户驱动的交互模式协作型生态系统虚拟团队开放式创新自由职业者供应商一体的内、外部数据孤立的客户孤立的数据僵化的流程简单的层级架构不敏捷、单一界面界面结实的壁垒供应商在开放化、服务化、生态化的企业运营模式下，数字化技术引领企业的商业模式在开放化、服务化、生态化的企业运营模式下，数字化技术引领企业的商业模式进展进展IT时代计算机+软件互联化时代云服务+数据服务模式单一、重复建设、各自为阵一切皆服务（XaaS）、万物互联、灵敏云化的平台式架构烟囱式孤立系统服务化组件化池化自动化集成化互联互通体验全都资源开3、放成本节省数据共享企业需捷的数字化生态环境，驱动并引领业务创企业需捷的数字化生态环境，驱动并引领业务创要引入云架构及平台化思想，建要引入云架构及平台化思想，建立创新敏立创新敏新进展新进展IT平台化进展，实现面对互联网+模式的转型采纳全新的厚平台微应用架构设计理念,从竖井式的系统建设向云计算架构转变建立前店后厂灵敏的数字化架构体系，前台应用灵敏化、共享化，后台技术平台标准化建设数字化统一平台（中台）供应高质量、可重用的平台服务通过标准化组件，模块化快速开发部署“厚平台互联服务计算资源存储资源网络资源数字化技术平台生态型企业应用数据服务集成服务应用运行服务企业业务应用向云端迁移，企业数据架构4、也要从以前以应用为中心的架构模式，企业业务应用向云端迁移，企业数据架构也要从以前以应用为中心的架构模式，向以分析为中心的架构模式转变向以分析为中心的架构模式转变云模式将各个分散业务应用的数据资源集中在一起,形成统一的数据资源池,为集中、高效的数据分析供应了可能，推动了企业数据架构由以前应用为中心的模式，向分析为中心的模式转变企业数据架构由以前应用为中心的模式，向分析为中心的模式转变业务应用数据分析业务应用数据分析业务应用基于业务应用的数据分析（仅分析来自于本业务应用的数据）面对应用的分析人员面对应用的数据管控数据分析业务应用业务应用业务应用从以应用为中心到以数据分析为中心驱动力：云业务应5、用的数据资源统一集中到云综合性数据分析平台专业的数据分析团队统一的数据管控机制需要构建集团统一的数据管控体系需要构建集团统一的数据管控体系统一数据平台包含三个方面：统一的数据分析平台、集中的数据管控组织、统一的数据管控工具统一的数据分析平台、集中的数据管控组织、统一的数据管控工具，其中，统一的数据分析平台是组织和工具发挥作用的基础和核心数据分析平台数据存储与分析ERPCRM物联网数据移动设备数据社交网络数据日志数据经营管理类应用客户服务类应用生产营运类应用传统数据分析大数据分析实时数据分析数据接入数据分析服务投资项目管理风险管理智能企业智能工厂电商平台支付与金融.数据组织数据管控工具风险猜测分6、析服务绩效分析服务项目组合优化服务设备猜测性分析模型运行状态优化服务生产动态分析客户细分服务营销活动优化服务行为分析服务生产运营数据分析服务经营管理数据分析服务客户服务数据分析服务企业数据治理方法论与设计思路数据治理的范畴数据治理的范畴数据治理战略组织和角色政策和标准项目和服务问题估值数据架构管理企业数据模型价值链分析相关的数据架构数据质量管理规范分析度量改进元数据管理架构整合掌握交付文档和内容管理猎取和储存备份和恢复内容管理检索保留数据开发分析数据建模数据库设计实施数据操作管理猎取恢复调优保留清除数据平安管理标准分级管理授权审计参考数据和主数据管理外部规范内部规范客户数据产品数据维度管理数7、据中心和商务智能管理架构事实培训和支持监控和调优数据管理框架数据管理框架从上至下指导，从下而上推动，形成一个多层次、多维度、多视角的全方位框架。技术支撑领域机制数据发觉与分类数据采集与清洗工具数据管理系统质量检查工具数据平安管理数据建模数据模型数据平安主数据元数据数据存储数据分布数据交换数据集成数据质量数据服务组织制度流程角色目标规划战略数据治理整体思路数据治理整体思路重新组织数据重新组织数据，让数据变得更好用。主数据建设真实世界模型数据仓库数据标签和画像盘点数据资产让数据成为资产，了解企业有哪些数据，在哪里，有多少量级。业务流程梳理数据流程梳理数据识别与分类让资产变得8、洁净，少歧义通过数据ETL,建立数据标准化。数据采集与清洗数据标准化数据治理的延长：数据管理数据治理的结束是数据管理的开头。数据资产透视智能搜寻和发觉主数据管理数据治理长久化对数据治理工作长久化,一次治理，永久治理。数据治理工作日常化元数据和标准化治理维护更新新类型数据的自动化治理数据资产盘点数据资产盘点在数据治理的实际操作中，只有先发觉数据，对数据进行有效分类只有先发觉数据，对数据进行有效分类，才能避开一刀切的掌握方式，也才能对数据的平安管理采纳更加精细的措施，使数据在共享使用和平安使用之间获得平衡。0402业务流程梳理03业务流程分解梳理业务与业务之间的流程关系，业务流程9、本身的输入输出上下文情况；补充每个业务流程涉及的属性；识别各业务环节涉及的人、事、物，输入、输出、组件和数据沉淀；输出业务流程图；依据梳理好的业务流程图，转换成对应的数据流图；Ol业务系统调研调研业务系统状况：建设目标、系统类型划分；系统运行架构、硬件支撑状况；使用者、用户来源和规模；06数据分级分类依据行业标准和特点对于数据资产进行分类；将数据资产划分为公开、内部、敏感等不同的敏感等级；数据标准梳理05业务关系梳理梳理业务与业务之间的关系业务流程规律、业务交互数据；业务权限安排、输入输出掌握；访问权限掌握、操作流程规范；风险规范要求等；对于业务数据根据主体、参考、交易、统计进行分10、类，并梳理出数据的技术标准和业务标准；补充和整理完整的数据字典；让数据变得更洁净，少歧让数据变得更洁净，少歧义义如何让数据变得洁净可用？主要从三个方向入手：数据采集与清洗、对元数据进行管理、数据标准化治理数据采集与清洗、对元数据进行管理、数据标准化治理数据采集与清洗数据同步数据交换数据整合数据标准化治理技术标准数据标准管理标准元数据管理理解元数据需求开发和维护元数据标准标准化元数据评估指标创建和维护元数据整合元数据分发和交付元数据查询、报告和分析元数据数据采集与清洗达到的效数据采集与清洗达到的效果果数据同步实现实时、准实时的数据采集;保证数据源与目标端的数据全都性；11、不影响源业务系统；支持多种数据源的数据采集（如常用的关系型数据库、大数据平台等）；数据交换不同部门的数据协同，猎取到数据并完成业务规律；敏捷地进行数据转换规则设计；数据整合将不同来源的数据，经过清洗转换后变为统一格式，存储到数据中心或者数据仓库，用于供应数据共享、数据分析等服务；支持界面话工作流调度数据清洗、转数据清洗、转换换数据源ETL转换数据目的数据迁移：将数据进行转移数据同步：保持两个同构或者异构库的数据一致增加抽取：对于发生转变的数据进行更新列映射：数据类型转换、列名变换、删除列、增加列数据库查找器：过滤所需数据，并且依据规则进行数据的替换自定制转换：调用java程序执行特12、殊的数据处理数据质量检查：专业的数据质量分析、清洗、验证和监督引擎元数据管理元数据管理元数据是关于数据的数据。元数据标注、描述或者刻画其他数据，以使检索、解读或使用信息更简单。对数据上下文背景、历史和起源进行完整的记录并管理，建立元数据标准，提升战略信息（如数据仓库、CRM等）的价值，关心分析人员作出更有效的决策。元数据管理方法如下：理解元数据需求确认企业元数据管理环境、范围、优先级、元数据内部标准、企业基于元数据的服务等；标准化元数据评估指标评估指标主要应实行定量指标，包括：元数据存储库的完整性、元数据的质量、元数据的使用/引用、元数据血缘分析/影响分析等；整合元数据把来源库中抽13、取到的元数据，与相关的业务元数据和技术元数据进行整合，最终存储到元数据存储库中；查询报告和分析元数据指导如何使用数据资产，体现在商务智能（报表和分析）、商业决策（操作型、运营型、战略型）以及业务语义方面使用。指导如何管理数据资产：具有前端应用程序，并支持查询和猎取，满足以上各类数据资产管理的需要；开发和维护元数据标准依据行业或共识标准，以及国际标准，再结合企业范围共识建立元数据标准；创建和维护元数据通过元数据创建和更新工具定期扫描和更新存储库；采纳审计流程验证各项操作活动并报告特别；发布元数据将元数据从存储库分发到最终用户和其他需要使用元数据的应用或工具；数据标准化治数据标准化治14、理理数据标准化治理旨在遵循国家及本地相关标准化规范的基础上，依据实际需要制订一套完整、统一的标准规范体系，实现信息高度共享、系统运行高度协调的保障。标准规范包括技术标准、数据标准和管理制度三类：技术标准管理标准重点解决数据整合、交换接口标准业务数据库建设规范、数据整合规范平台接口规范、环境配置规范数据接入实施规范、编码规范等标准规范企业统一标准的数据规范标准对企业现有业务系统进行梳理根据数据标准规范的构成进行数据标准规范的制定以此为依据进行规范化的升级、管理以及日后的变更维护主要包括数据元、数据元代码集和信息实体等建立有用、高效、统一的管理体系制定信息系统运行维护管理制度、平安保障制度、数15、据平安管理规范、数据共享交换管理规范等管理规范。数据标准重新组织数重新组织数据据重新组织数据包括：基础工作：主数据建设，真实世界模型；扩展内容：数据仓库，数据标签和画像；主数据建设真实世界模型数据仓库数据标签和画像建立企业数据资产统一口径、统一标准从实际动身，用数据描述业务资源整合、统一数据，企业决策支持用户信息标签化，支持多场景业务应用（如战略分析、产品运营、用户服务等）主数据建设主数据建设建立主数据是一个浩大的工程，结合DAMA理论体系和详细实践阅历，提出了以下主数据建设中详细的操作流程，以及在这些流程中所需要完成16、的详细工作内容：数据梳理数据问题确认数据标准定义数据管理方案管理流程确认业务系统接口改造识别主数据：结合目标数据所涉及到的业务部门与业务系统，呈现数据标准梳理与对应。系统与数据问题：针对梳理过程中消失的各种数据问题与相关业务部门与业务系统进行确认。主数据定义建模：针对数据问题反馈结果，完成目标数据技术规章、业务规章、CRUD标准定义以及与业务部门的确认。主数据利用与管理：针对目标数据的管理方案与管理流程完成与相关业务部门的确认。主数据利用：针对目标数据的业务规章和技术规章，与相关业务部门和系统管理员确认，要求数据源改造。真实世界模真实世界模型型真实世界模型建模方法论，主见从数据的角度反映17、真实业务的原来面目,建立规范的建模体系；根据业务原来面目去组织、集成和交换数据黑盒子分析方法标的物和输入输出分析方法流程、组件和资源标准化全面数字化运营，运营信息整合监管质量和合规性运营流程改善，提高服务建立用户主数据，统一业务档案构建用户画像，精准化服务360视图模型管理层驱动的问题发觉改善精益团队驱动的流程改善员工自我驱动的工作改善真实世界模型精确精益模型360视图模型平衡计分卡模型真实实时全面数据中心真实世界模型平衡积分卡模型360视图模型精益模型数据仓数据仓库库数据仓库架构图：数据治理长久数据治理长久化化有必要对数据治理工作长久化，一次治理，永久治理。一次治理，永久治理。元数18、据和标准化治理维护更新不断的更新元数据和标准化治理以反映当前的诉求。新型数据的自动化治理超过原先治理范围的数据，需要经受暗数据发觉和分类,数据质量清洗和重新组织数据的全过程；在生产过程中，实时识别这部分数据，将其引入数据治理流程，使新类型在产生的初始环节就是可识别，高质量，可理解和可利用的。数据治理工作成果日常化把数据治理工作利用自动化引擎实时或者准实时自动化运行。数据治理的延长：数据管数据治理的延长：数据管理理数据治理的结束是数据管理的开头！数据资产透视反映数据资产状况，有哪些数据、数据在哪、数据量级、数据业务逻辑关系等；智能搜寻和发觉款速检索企业数据、内容语义理解、用户爱好识19、别，智能信息化过滤和推举等；主数据管理主数据集中管理，一体化的主数据提取、审查、发布机制，数据质量掌握；数据模型管理规范定义、模型架构设计、数据组织和存储方法、数据模型生命周期管理；数据中心管理监控数据中心运营状况、数据标准化建设、数据质量体系建设等；元数据更新和维护元数据完整性监测、元模型增加、修改、删除、发布等；数据生命周期管理静态数据从创建、使用、备份、再利用、销毁过程;动态数据溯源;数据台帐和审计数据资产记录,数据使用审计等；数据治理体系架数据治理体系架构（示例）构（示例）示例企业只有建立了完整的数据治理体系，保证数据内容的质量，才能够真正有效地企业只有建立了完整的数据20、治理体系，保证数据内容的质量，才能够真正有效地挖掘企业内部的数据价值，对外提高竞争力挖掘企业内部的数据价值，对外提高竞争力企业数据难管理无标准质量低企业数据难管理无标准质量低企业的IT系统经受了数据量高速膨胀的时期，海量的、分散在不同角落的数据导致了数据资源利用的简单性和管理的高难度。企业无法从统一的业务视角去概览整个企业内部的数据信息。暴露出来的只是一个个独立的系统，系统与系统之间的关系、标准数据从哪里猎取都无从知晓。数据是企业争夺优质客户的关键数据是企业争夺优质客户的关键数据是企业的生命线,谁把握了精确的数据谁就获得了先机。在当前竞争日益激烈的市场上，企业都在不同的细分市场上争夺优质客户。21、如何在在这样的市场环境中选择市场的经营策略？企业每一笔资金的来源与利用、每一次经营管理决策都必需基于精确的数据分析推断。只有基于精确的数字，才能够关心企业在激烈的竞争中取得竞争优势。高质量数据是业务创新的基础高质量数据是业务创新的基础企业在市场中的竞争领域已经从同一领域市场份额争夺，进展到开发新竞争领域的创新性竞争阶段，这从客观上对企业的创新力量提出了更高的要求，现在企业的创新在很大程度上要借助科技的手段，在业务数据的开发和利用基础上进行创新，数据为企业实施有效的创新供应了丰富强大的动力。企业数据管理成熟度模型评估企业数据管理成熟度模型评估企业数据成熟度评估让企业的项目目标更明确。我们的项目22、不是每个都从头做起，企业对数据建设的重视程度与现状都是不同的。数据治理项目会为企业评估现阶段的企业数据进展在行业内所处的位置。企业数据治理从影响因素等若干维度进行全面的评估。人员组织流程制度技术支撑随机阶段临时人员或无人员无无认知阶段科技人员兼职项目方式的临时流程OffiCe文档数据分散存储成长阶段有专职或兼职人员有明确的职责系统内、部门内固化流程系统内数据管理数据集市没有或者分散的数据管理平台成熟阶段有固定专职人员人员分工细化跨系统、跨部门的固化流程数据仓库企业级数据管理平台创新阶段专职组织人员、分工常态化数据服务常态化优化的企业级管理流程优质数据仓库大数据仓库把握企业数据、业务需求，联动23、的、常态化的数据管理平台企业数据成熟度阶段划分找到差距、制定方案找到差距、制定方案依据企业的现状得分制定近期、中期、长期的战略方案，急用先行。依据企业的现状得分制定近期、中期、长期的战略方案，急用先行。I了解企业近期以及中长期在业务和技术上的策略及目标，特殊是与数据治理相关的信息。I通过书面访谈和现场调研等方式在企业内部营造数据治理的氛围、让相关人员数据治理目标普遍达成共识。I依据现实的差距制定方案，制定企业将来3-5年的数据规划。数据规划的过程业务战略业务需求IT需求差距分析信息科技规划差距分析差距分析行业趋势和最佳实践评估当前环境路线图实施方案技术突破约束条件优化过程3-5年实施方案复核、24、监控和更新万事开头难:建立数据管理团队万事开头难：建立数据管理团队I依据业界先进的数据治理阅历，建立企业的数据治理要素体系、组织架构等。I结合企业自身的管理架构，一般需要如下角色：领导决策层、业务部门主管角色、IT部门主管角色、执行项目经理等。可以是专职人员，也可由各部门抽调兼职人员。决策层1.数据资产管理委员会管理层2.数据资产管理工作小组3.各业务部门数据管理责任岗执行层4.数据集成小组5.数据管控项目组6.各业务部门数据管理综合岗123456管理制度是保障：制定管理方法与认责划分管理制度是保障：制定管理方法与认责划分数据需求管理方法元数据管理方法数据质量管理方法I结合企业的现状，为25、数据治理的开展供应有据可依的管理方法、规定数据治理的业务流程、数据治理的认责体系、人员角色和岗位职责、数据治理的支持环境和颁布数据治理的规章制度政策等。I规定了工具产品的使用方法与产品使用流程。书同文、车同轨：数据标准书同文、车同轨：数据标准数据标准供应了一整套规范，目的是为了业务人员、技术人员在提到一个词的时候有规范的含义。要适应业务和技术的进展要求，优先解决普遍的、急需的问题：开发数据标准，以业务数据为动身点。经过具体的数据调研、访谈、涉及、评审等严格的标准定义流程。遵循''循序渐进、不断完善的原则。可落地的数据标准产品。支撑完整的数据标准创建过程、确保每一个数据标准对应企业的数据需求26、，做到数据标准有理有据。也可作为数据质量的发觉问题的依据。数据标准绝不孤立存在。目标规划公司业务策略信息规划蓝图项目目标定位标准设计标准审议和发布标准执行标准维护现状调研现有定义搜集为题梳理现状分析参考文档收集标准定义标准分析标准数据项标准值标准口径审议流程发布工具数据映射规章映射执行建议标准管理制度实施管理业务与业务与ITIT的桥梁：元数据的桥梁：元数据元数据管理能够增强数据理解，可以架起企业内业务与元数据管理能够增强数据理解，可以架起企业内业务与IT部门之间27、的一座桥梁。部门之间的一座桥梁。I无论是企业的业务部门还是IT部门，很少能完整地拿出一套企业各项数据的业务含义、口径、技术标准、分布情况等的说明，使用元数据管理可以自动化地获取整个企业的数据业务含义，帮助理解数据，增加分析的敏捷性。I使用元数据产品能够方便内部管理、审计或外部监管的需求追溯业务指标、报表的数据来源和加工过程，追28、还数据的来源。I元数据管理还可以针对企业内部、外部的数据需求，快速建立业务与技术之间的衔接，为企业管理提供重要的保障。元数据管理提高了信息的透明度、有效性、可访问性、一致性及可用性。它有助于依靠节约成本、提高资产价值、利益相关者满意度和卓越运营来调整IT投资。源系统数据模型数据集市商务智能工具哪些源系统数据清洗技术定义运算业务定义形成报告信息使用数据沿袭追溯系统间信息生命周期包括对数据进29、行的操作和流程数据增长尤其重要的是满意更新的合规性一些厂商供应该领域不同的产品业务与业务与ITIT的桥梁：元数据的桥梁：元数据一个元数据管理全面框架的关键在于：降低简单性提高基础设施的可重用性让用户更简单理解数据含义理解跨环境的数据沿袭关系元数据管理体系规章元数据管理团队管理者全部者使用者元数据管理制度元数据管理方法元数据管理考核方法元数据管理流程元数据定义元数据变更元数据同步元数据权限申请元数据检查和报告元数据管理系统常用的业务数据先统一：主数据常用的业务数据先统一：主数据审批修改扩展归档创建结清使用申请主数据管理123具有共性的数据，客户数据、产品数据等关心企业构建单一、精确、权威的数据来30、源。供应360度的主数据模型，大大增加交叉销售的机会，提升市场效率。可落地的面相SOA的主数据产品。随着企业信息化程度的不断深化，自跨业务、跨部门、跨业务系统的业务连贯性需求越来越迫切，很多已经实施或者正在实施的ERP.CRM或Bl应用对企业系统数据的全都性、完整性和精确性提出了新的要求。目光纷纷投向主数据产品。组织和流程数据标准数据平台数据价值的重要保障：数据质量数据价值的重要保障：数据质量为什么企业内部的数据质量总是不高？其实只要有数据存在就有数据质量问题存在。我们供应行业专业的数据问题管理方法。I全面梳理企业的数据质量问题I全面的通俗易懂的数据质量检查手段I供应数据问题修改的最佳方法技术人流程信息元数据数据质量数据传递流程实施管理激励培训基础设施架构产品模型加工定义变化频度掩盖率有效性完整性精准性漏传配置测试优化设计复查准时性责任心目标优先级嘉奖反馈进修上岗培训网络硬件OS设计工具缺陷性能数据质量问题数据质量的改进是一个持续不断的过程