元数据管理与数据质量平台.doc

《元数据管理与数据质量平台.doc》由会员分享，可在线阅读，更多相关《元数据管理与数据质量平台.doc（36页珍藏版）》请在三一办公上搜索。

1、1.1.1 数据质量管理架构数据质量问题一直是困扰数据仓库发挥积极作用的重要因素，在数据仓库建设之初就应当从战略角度对数据质量体系进行规划。1.1.1.1 数据质量基础定义1.1.1.1.1 完整性数据的完整性：为实现业务目的而设计组织的数据模型是否完全，是否覆盖各个方面。例如：对一个业务，一个客户，一个产品，一个营销活动，一个客户的性质等进行缺失考察。例如，客户名称有姓无名等，客户档案是否齐全，是否客户所有业务都包含在内等。完整性破缺主要发生在实体或对象的属性上和整个数据缺失两种情况。完整性列表：数据完整性，例如属性数据是否残缺，数值类型数据是否有空数据业务完整性，例如是否有些业务没有包含在

2、内，是否涵盖所有生产系统和必要的外部数据（例如竞争数据，保监会数据），是否覆盖所有客户（例如是否覆盖全部客户）设计完备性， 设计是否完善模型的完备性数据字典完备性映射关系完备性业务规则是否完备元数据完备性加工层次完整性，加工过程中重要的中间数据是否保存，例如，有月统计数据，考察日数据是否存在？粒度完整性，重要经营指标各个粒度数据应该完善1.1.1.1.2 有效性指数据包含了一个有效的数据格式或值1.1.1.1.3 一致性数据的一致性是一个长期的困难。建立数据仓库的核心目的之一也是争取解决这个问题。一致性定义为各个系统数据的统一，定义为数据仓库系统内数据定义的统一。一致性还表现在定义和口径的一致

3、性。数据库一致性，设计上是否有多种存储并存，各类统计口径是否统一冗余和星型模型以及非第三范式一致性保证措施和源数据一致性 1.1.1.1.4 唯一性唯一性定义为系统数据定义的唯一性。由于数据仓库技术不一定受第三范式约束，可能具有相当的冗余，但数据冗余不能违反定义的唯一性原则。对于哪些既存在于关系数据库又在多维数据库中表现的数据和指标要特别注意，因为极容易由于生成的时间差造成不一致。唯一性至少应当向系统的用户说明最终的数据评判标准，数据的冗余和评判应当是元数据管理的重要内容。1.1.1.1.5 正确性数据正确是决策的关键，数据不正确，数据仓库项目就等于失败。但数据的正确性难以通过自身检查。应该对

4、重要数据和重要统计设立正确性检查。主要方法是: 数据自身统计检验 纵向对比检验 数据间按逻辑交叉检验 横向对比校验主要检查的内容：ETL过程正确性加工过程正确性数据整合正确性模型正确性展现正确性查询正确性核对过程是否充分1.1.1.1.6 准确性数据的正确性基础上才有意义讨论准确性。准确性包括精度和近似规则。精度：系统定义的数据必须满足的精确性要求。例如，客户生日，可以精确到年，或月，或日；全局收入统计或许到万元即可，也许到角分。1.1.1.1.7 可用性数据的可用性不是一个简单数据质量问题，而是系统质量问题，所有质量因素都可能影响到可用性。数据的可用性主要体现在使用的效率上1.1.1.1.8

5、 时效性1.1.1.1.9 清晰性数据的清晰性考验系统元数据的精度。元数据必须清晰定义每一个数据的来龙去脉。必须没有歧义。1.1.1.1.10 充足性数据的充足性定义在保证数据正确性和准确性基础上是否能对主要业务专题提供足够的数据进行足够精度的分析需求。例如，进行时间序列分析通常需要至少36个连续时间单位的数据，是否能够提供这个时间序列。数据积累是否足够广泛，例如设计上虽然包含了足够宽广的业务领域，但每项业务的数据是否真的收集到了足够多，数据积累是否足够时间，充足性的特殊情况，是否收集了足够时间长度的数据元数据和字典数据的充足性，描述性是否足够1.1.1.2 数据质量保证框架1.1.1.2.1

6、 战略战略 从企业战略方向主动的考虑数据质量状况。战略的意义： 提供了战略上的、可操作的数据质量保障方向 识别企业数据的关键因素 指明数据质量的范围战略的范围： 策略：包含以下方面的内容， 任务定义 与业务的关系 切入点 约束条件 可行性 关键方法：包含以下方面， 方向 使规范化 保障策略被顺利执行的手段 变更管理：为了适应企业变更而采取相应的数据质量管理变更机制1.1.1.2.2 组织组织 为了达成企业的数据质量目标，从企业行政管理以及职能设置上进行考虑 。组织指的是如何组织相应的人员、设立相应的数据质量机构对数据质量进行管理，包含以下方面： 组织机构规划 人员及其职责设计 制定考核制度1.

7、1.1.2.3 管理管理 对于企业中元数据以及业务规则的维护上予以管理管理包含以下范畴： 定义完整的元数据集 定义无二义性、易于理解的业务规则 建立一个健壮的、高可扩展的数据模型1.1.1.2.4 架构架构 从整体上(数据、应用程序、技术架构)对改进数据质量予以考虑架构的建立应从以下方面进行考虑： 数据架构 应用程序架构 基础架构1.1.1.2.5 过程过程 过程的改进过程关注的是数据质量管理的过程，应从以下方面进行考虑： 数据质量管理的实施过程 过程控制点以及控制路线 （错误或异常的）补救措施1.1.1.2.6 验证验证 定义数据质量的评测标准并按所制定的标准对其进行验证，只有确立相应标准，

8、数据质量的控制才具有现实意义。验证包含以下内容：1.1.1.2.6.1 数据的重要程度，可以从以下方面进行判断： 对日常操作的影响 对一般业务的影响 对财务上的影响 对客户服务的影响 对决策的影响1.1.1.2.6.2 数据质量维度-数据质量问题域汇总序号数据质量问题细目备注1完备性是否涵盖所有生产系统和 必要的外部数据是否涵盖所有业务是否覆盖所有客户是否覆盖所有产品系统设计完备性数据字典完备性映射关系完备性业务规则是否完备元数据完备性2完整性数据完整性业务完整性数据模型完整性加工层次完整性粒度完整性3充足性对问题域的解决方案是否有足够的数据作为分析基础数据积累是否足够广泛数据积累是否足够时间

9、元数据和字典数据的充足性4正确性ETL过程正确性加工过程正确性数据整合正确性模型正确性展现正确性查询正确性核对过程是否充分5准确性数据精度是否足够近似模型是什么6一致性数据库一致性主键，外键完整性冗余和星型模型以及非第三范式一致性保证措施和源数据一致性7逻辑性逻辑严密性是否有严密的逻辑约束数据逻辑关系表内表间关系8职业道德和法律结果不可修改特性9数据质量保证体系数据出错处理和防范预案10分析质量报表质量查询质量接口数据质量非生产数据质量例如市场竞争数据1.1.1.2.7 沟通沟通 关注使用数据信息的相关责任者之间的沟通，要充分关注数据质质量组织机构中的员工、不同的团体以及单位之间的相互沟通。1

10、.1.1.2.8 执行执行指组织中的每个成员都应改遵守数据质量管理所制定的要求、决定。1.1.1.3 数据质量持续改进过程 发起 按照制定的规范获取相应的项目资源、支撑工具以及制定工作计划。 定义 定义详细的过程、数据、组织的划分以及质量元素、标准及测算方法。 评估 对现存数据及业务环境进行评估，以便识别项目对数据、过程、系统以及组织架构所造成的影响。 清洗/改进/评测 改进现有数据的数据质量，并采取措施修改业务环境，避免类似错误继续发生。 强调循环改进1.1.2 元数据管理架构国有资产管理支持系统数据仓库数据源广泛，数据消费者群体跨度也很广，各种指标、维度、统计口径等元数据相关的问题必然是项

11、目面临的巨大挑战之一。1.1.2.1 元数据基本概念元数据（Meta Data）是关于数据的数据。当人们描述现实世界的现象时，就会产生抽象信息，这些抽象信息便可以看作是元数据;元数据主要用来描述数据的上下文信息。通俗的来讲，假若图书馆的每本书中的内容是数据的话，那么找到每本书的索引则是元数据。 元数据之所以有其它方法无法比拟的优势，就在于它可以帮助人们更好的理解数据，发现和描述数据的来龙去脉，特别是那些即将要从OLTP系统上升到DW/BI体系建设的企业，元数据可以帮他们形成清晰直观的数据流图。 元数据的概念虽然在国内刚刚被人们熟悉起来，但在国外他已经历了较长的发展历史。从 上世纪60年代，人们

12、认识到元数据的需要，到数据字典、CASE工具的应用，以及上世纪90年代数据仓库体系中元数据存储库的出现，直到现阶段国外企业以 元数据为驱动的IT系统建设的方法论流行。企业对于元数据的价值越来越有深刻的体会。 元数据按其描述对象的不同可以分三大类:技术元数据、业务元数据和管理元数据。技 术元数据主要用是用来描述数据实体和数据处理过程中的技术细节和处理规则。比如我们所熟知的表结构、ETL映射关系等，这类元数据主要是系统建设的技术人 员使用。业务元数据主要是对IT系统的数据实体和数据处理的业务化描述，包括业务规则、业务术语、统计口径、信息分类等。我们经常提及的KPI定义和报表 统计规则等就属于此类元

13、数据。业务元数据主要的使用者是业务人员和公司决策人员。管理类元数据主要是对项目管理、IT运维、IT资源设备等相关信息的描 述。这类元数据主要是企业IT部门的管理人员使用。利用此类元数据可以进行工作分配、网络资源等方面的管理。 元数据的管理方式有三种:集中式、分布式和混合式。集中式的管理方式是把原有系统中的元数据抽取出来，用一个独立的系统来集中管理。此类管理方式优点是:可高效存取信息、独立于被集成的系统和具备存储附加元数据的能力;缺点是:由于额外的执行和维护降低了ROI和实时性。 分布式管理方式是不具备独立的元数据存储库，系统实时的连接到原有的系统。这种方式的优点是:适时性比较好和能保证元数据的

14、质量;缺点是:过度依赖于集成系统和不能存储附加元数据。 混合式元数据管理既有独立的元数据存储库又可实时的连接到原有的系统。混合式管理方 式克服了集中式和分布式管理的各自缺点，同时集成了前两种管理方式的优点，既能适时的捕获和反映原有系统元数据的情况，又能让用户扩展和定义附加的元数 据。 元数据管理目前遵循的规范为CWM（Common Warehouse Model）。该规范是由OMG组织制定的，此规范目的是能在不同的系统之中可以自由、便捷的交换元数据。CWM核心的技术有三个:UML（United Modeling Language）、MOF(Metadata Object Facility)和X

15、MI（XML Metadata Interchange）。UML主要用来定义元模型;MOF用来提供操作元数据接口;XMI用来定义交换元数据的机制。 1.1.2.2 元数据管理的五种状态 第一级: 随机状态（Ad-hoc） 行为特征 在这一级上，对元数据的管理是随机的。元数据由某个人或某一组人员在局部产生或获取，并在局部使用。在大多数时间里，元数据是隐匿在信息中，比如存储于诸 如Word、Excel等形式的办公文档，这些文档使用的术语仅局部的用户能知道其确切含义。人们通过与“责任人”直接通信或通过信息会话来获取这些知 识。在局部环境工作数月或数年后，人们使这些元数据以及对它的理解内在化，使对这种

16、信息有习惯性的理解。 在这一阶段，元数据通过组织机构缓慢的传播或根本不传播，这取决于局部小组与其他小组间的通信量的大小，这些元数据可能永远“待”在该局部小组或某个人那儿。如果这样的小组或个人调离，则这种元数据信息可能永远丢失。 人 元数据知识保留在人的大脑中。在这种环境中，知道（或不知道）与谁交谈对于理解元数据成为一件十分重要的事。 处理 元数据要通过与“责任人”的交谈才能共享。新来者需要通过他们的日常工作来学习元数据。外部人员难以理解元数据，他们必须与“责任人”交谈才能得到他们想 要的东西。因为元数据在局部产生或抓取并在局部使用，所以通常也只能在局部修改，这种修改通常也不会通知公司里其他的组

17、织。 技术 可以用各种不同的工具来生成元数据。绝大部分是面向个人电脑的应用软件。例如，ERWin可用于数据库建模，Rational用于为对象建模、Excel用于生成商品列表等。这些工具都没有设计成可以交换信息，因此，只能在当地的文件系统中保存所生成的元数据。 第二级: 可发现 行为特征 在元数据管理的这一级上，可以发现在不同企业之间的元数据。像第一级的情况一样，元数据仍然在局部产生和抓取，然而，它处于可发现状态，这样的元数据在企 业一级显露，使得每一个对它有兴趣的人都能随时了解“什么已经存在”。元数据仍然可以在局部级上维护，然后更新中央知识库，但它们仍然使用不同的命名法。 结果，相同的名字被用

18、于表示意义不同的事情，而同一件事情则使用了几个不同的名字。 尽管如此，相比之下，从不同来源来的数据和数据的含义已经具有了更多的透明度。对于商业用户，如果他们需要，现存的技术可为他们提供有关数据的来源和怎样对数据进行计算的信息。 人 人们开始感知到共享元数据信息的重要性。业务分析员、数据拥有者和应用开发者现在自觉地将元数据信息加载到中央知识库中。 处理 元数据知识经由中央数据库进行共享。凭借对中央知识库地理解，人们能够发现在其他应用系统中的数据。然而，由于使用术语的不同，人们互相之间需要交流，以便弄清某些元数据的含义。而且，由于元数据的更新不受任何方式的控制，使得这种更新没有告示或贴切的分析。

19、技术 有一些元数据管理工具可用于共享来自数据源的元数据，并能把来自不同建模工具的逻辑元数据导入到元数据知识库中。AG Rochade、Unicon、MetaMatrix是该类产品的一些例子。然而，除了以商业含义来定义数据表格的栏目名之外，这些工具没有一个能很好地 抓取元数据。 第三级: 管理控制 行为特征 这一级对元数据的修改进行集中管理。局部业务单元或开发小组如不通知其他的元数据保管者和用户，就不再能按照自己的想法对元数据进行修改。在一个地方发起 的元数据的修改将传播给其他地方。有各种工具和方法可用于不同业务单元之间交换元数据。为了整合不同数据源中的数据，仍然必须用手工进行数据的映射，以解

20、决不同数据源的数据整合。但是，这种映射在一个中央知识库上进行维护和管理。 人 数据拥有者、应用开发人员、用户和其他的数据保存者现在比以往任何时候更清楚元数据管理的重要性。人们遵循有关元数据管理的“监督”处理操作规程。在对元数据进行修改前，他们就分析这种修改将会产生的影响。他们认识到元数据的共享将使组织的运作更有效，并使他们的生活更轻松。 处理 建立了监督体系结构(谁是数据和应用的拥有者)，监督资产（数据仓库、数据集市、命名标准）和流程（何时开始更新、如何更新）。 技术 有几个工具经常被用于元数据的监督处理。SchemaLogic是一种新兴的工具，通常被用于帮助监督处理发现业务的词汇及其分类。还

21、有一些软件提供商正在相互竞争，以填补这一空间，但还没有一家能提供商用的产品。 第四级: 优化 行为特征 在对元数据实施集中存储并通过监督体制对元数据进行管理后，企业会发现，通过标准化和整合可以实施有意义的优化。为了优化各业务单元之间的各种冲突和各个副本，人们开发了一个企业数据模型和词汇表。人们可以将这些标准模型和词汇表用于各种新的应用。时机成熟时，可以把各种老的应用迁移到这些模型上。 人 在这一级，人们坚持不懈地探索优化的途径。人们协同工作，通过在数据的入口点确认数据的有效性来提高数据的质量。通过确定各业务实体的权威数据源，使数据的映射达到最小化。数据开始从一个业务单元平滑地流到另一个业务单元

22、，而不用担心昂贵的数据集成成本。 处理 首先，生成企业数据模型，并在中央知识库进行维护。第二，对数据模型中定义的每一个实体确定权威数据源或企业应用的主参照数据，然后将业务的上下文信息和 含义与这些数据源进行关联。在整个组织中对业务的词汇表进行标准化。鼓励应用开发小组使用这些标准化的术语，来生成、传播和表示信息。 技术 目前，仅有少数几个能帮助企业实施优化的工具。而且，每一个工具只能完成其中一到两个任务，还没有哪个工具能做企业优化所需的所有事情。 第五级: 自动化 行为特征 在这一级，元数据管理是自动进行的。当在逻辑层次发生元数据更新时，它们将被传播到物理层次。反之，当在物理层次发生更新时，逻辑

23、层次将被更新，以反映这 种更新。在元数据中的任何变化也将触发业务工作流，以处理其他各个业务系统所需的相对应的任何修改。由于各个应用系统遵照相同的词汇表，它们之间的关系可 以通过知识本体进行推断，所以，各应用系统之间数据格式的映射自动产生。 人 人们把元数据管理作为常规业务的组成部分。就像电信网对业务的支持一样，元数据成为组织运作中一种关键的、普遍存在的、无形的资产。元数据管理变成业务处 理的一个主要组成部分，而且，整个业务运作都要依赖于它。事实上，如果元数据管理实施得很好，人们可以无需关心它在何处。在自动化级，元数据管理成为一种 使能器，而不被视为一种障碍。 处理 在这一级，元数据管理的处理较

24、为理想。绝大多数处理是自动完成的。人们从手工和程序处理过程中解放出来。他们在元数据判定上可以工作得更有效。当业务变化时，由知识工人对企业数据模型、词汇表和知识本体进行维护。这样一种改变立即会在各个应用中反映出来。例如，假如一个新产品被引进，把它加到企业词汇表和知识本体中，这一情况将自动地被传播给金融系统、制造业系统和营销系统。使得每个应用系统无需花费昂贵的代价，去完成相应的修改。 技术 各个应用必须使用企业数据模型、词汇表和知识本体来获取、传播和表示数据。人们开发了各种代理，将数据从一种格式翻译成另一种格式。为了实现这些功能，当前正在展开知识库表示和知识集成方面的许多研究。 1.1.2.3 元

25、数据管理工具基本功能元数据管理典型的应用有:ETL映射分析、血统分析/影响分析和差异分析等。这些 应用对于整个企业、技术人员、业务人员和IT管理人员都的挥着至关重要的作用。对于整个企业而言，元数据管理可以协助企业进行数据资产管理;帮助解决数据 孤岛的现象，形成统一企业信息地图;实现集中浏览分布在企业内部的所有电子文档;同时协助企业建立企业级视图的指标库。 随着企业信息化建设的不断深入和积累，元数据管理平台可以发挥企业知识传承的平台。通过元数据的“ETL映射分析”功能，从企业级视图去查看“Transformer”这个转换的具体细节。帮助技术人员更好的理解数据内部的来龙去脉。 对于那些已经建设有B

26、I/DW系统的企业而言，企业内部分散着数十种系统的情况是很 普遍的现象。这些企业的业务人员和决策层所关注的一些统计报表和指标，往往是经过许多业务系统和若干数据处理环节而形成的。当最末端的数据发生异常时，在 没有元数据管理系统的情况下，需要许多单位和部门（包括软件集成商）的人共同参与，利用手工的方式去逐级查找数据出错的原因。这种方式不仅不利于问题的及 时发现，而且一旦出现问题，很难短时间内定位问题，甚至根本不可能定位问题的所在。 而利用元数据管理系统的血统分析等功能，可以很容易的定位问题，再配合监控规则的设置，使问题发现的及时性大大提高。 利用元数据管理系统，企业可以建立数据元（标准）的统一视图

27、。通过统一数据口径、 完善指标体系、建立统一数据视图，可确保数据的完整性、准确性、一致性，从而有效的在各个业务系统内进行数据的转换和整理工作。目前，许多企业经常会面临 同一个指标在不同部门或者不同系统中定义不一致的情况，以至于最终的统计数据出现偏差，为决策者提供了错误的决策依据。 如某企业某月A省分公司和B省分公司都给总公司上报了“产品销售量”的指标，A省 分公司的产品销售量为500万件，B省分公司的产品销售量为300万件。按常识判断A省分公司的销售量应该远远小于B省分公司的销售量，但报表的数据却与 常识相差甚远，究竟是什么原因造成这种与常识的不一致性呢？在没有元数据管理系统时，我们很难发现其

28、中的原因，但有了元数据管理系统的指标差异分析等功 能，通过元数据的差异分析很容易解释这些现象。如图5所示:之所以出现统计的异常是由于A、B两省分公司对同一指标“产品销售量”的定义不一致而造成的。 此外，元数据管理系统可在统一数据视图上进行全行业内的指标一致性分析，可对关键 业务的监控规则进行设置和管理。随着数据量的不断积累，数据质量问题的日益突出，元数据管理平台可承担起全企业的数据质量管理的基础平台。同时，利用需求 类元数据和流程类元数据，来协助IT管理人员进行项目和流程的管理，从而减少企业人员流动对于项目造成的影响。 在这个“惟一不变的就是变化本身”的时代，在这个数据和知识爆炸的时代，如何有

29、效的进行企业IT系统建设的扬弃和传承？如何高效的利用企业数据资产？ 这些问题犹如“格尔迪奥斯绳结”摆在我们的面前，而元数据恰是解开这个“结”的关键 所在。对于企业IT系统建设而言，我们依然信奉“元数据不是万能的，但没有元数据是万万不能的”这句经典诠释。特别是对于那些组织结构复杂、IT系统众多 的企业，这个组织和支撑它的IT系统要想有效运转起来，一定少不了元数据这种“润滑剂”。 1.1.2.4 目前主流的元数据管理工具总起来看，目前国内的元数据管理工具大概有三类。一是像IBM、CA等公司都提供的专门工具,比如IBM收购Ascential得到的 Metastage，CA的DecisionBase都

30、是如此；二是像DAG的Metacenter，它不依托于某项BI产品，是一种第三方的元数据管理工具,三是国内部门开发商在某些具体的项目中也在开发自己的元数据管理工具。各种元数据管理工具有很多。理论上讲，用户可以用其中一种管理其他系统中的数据，比如选择数据仓库系统厂商提供的元数据管理工具来管理其他层面的元数据。但实际应用中的管理效果如何呢？一般情况是，这些专门工具管理自己本系统的元数据尚可，一旦跨系统管理，效果就不尽如人意了。从国内的实际应用来看，DAG的Metacenter这一工具使用最多，目前所看到的在电信、金融领域建设的元数据管理项目基本上都是应用了这一产品。至于 像CA等公司的工具，在国内

31、基本上没有成功案例。1.1.2.5 国有资产管理支持系统元数据管理架构1.1.2.5.1 现状虽然元数据管理已经很久被业界所关注，但是大多数企业的元数据管理事实上还是处在一个混乱的状态中,元数据没有被有效的纪录下来，大量的元数据嵌入在软件应用编码中，甚至更多的存在于员工的“部落知识”中，某个员工的离职都可能对企业造成极其糟糕的影响。正如我们在元数据管理的五种状态的第一级状态所描述：l 人 元数据知识保留在人的大脑中。在这种环境中，知道（或不知道）与谁交谈对于理解元数据成为一件十分重要的事。 l 处理 元数据要通过与“责任人”的交谈才能共享。新来者需要通过他们的日常工作来学习元数据。外部人员难以

32、理解元数据，他们必须与“责任人”交谈才能得到他们想 要的东西。因为元数据在局部产生或抓取并在局部使用，所以通常也只能在局部修改，这种修改通常也不会通知公司里其他的组织。 l 技术 可以用各种不同的工具来生成元数据。绝大部分是面向个人电脑的应用软件。例如，ERWin可用于数据库建模，Rational用于为对象建模、Excel用于生成商品列表等。这些工具都没有设计成可以交换信息，因此，只能在当地的文件系统中保存所生成的元数据。1.1.2.5.2 主要的障碍元数据管理问题是业界头痛已久的一个问题，目前看似还没有很好的解决方案，国内已知的元数据管理工具和已知的元数据管理项目都可以说是效果一般。其关键的

33、难点在于：一方面工具本身的缺陷，目前已知的工具几乎都只能支持与几种有限的工具平台交互，不能将企业环境中的所有的元数据集成管理，事实上往往形成了新的元数据问题。另一个方面，更大的困难在于人的因素，很多关于元数据的知识存在于员工的脑袋里面，很可能他自身都没有意识到，知识的显化不是一个容易的过程，几乎可以肯定是一个长期的过程。1.1.2.5.3 解决方案元数据管理问题不是纯粹的技术问题，更加主要的是一个管理的问题，因此我们有必要将其放在一个企业战略环境中考察。成功的关键因素元数据管理成功的关键因素是： 战略层支持和涉入 战略执行保障 有效的沟通 保证战略有效执行的组织架构 有效的元数据管理 有效的过

34、程保证 元数据架构体系 元数据验证评估体系与评估机制 元数据管理技术 元数据管理环境战略层支持和涉入企业的高层和经理们必须支持元数据管理。同样重要的是，所有潜在的消费者必须参与到元数据管理中。没有管理层的支持和近乎全部的投入，用于整个企业的元数据管理项目通常就会失败。企业的高层和经理们必须完全支持元数据管理和使用。支持包括确保有充足的资源，也意味着对实现元数据管理环境的一贯承诺，该环境是企业衡量和决定支持数据的唯一来源。元数据管理和使用通常需要巨大的“文化”变革。在没有管理承诺的情况下这不会发生。管理内部变革，尤其是文化变革，需要三种东西：管理承诺、一致通过和恰当的措施和奖励。管理承诺高层和经

35、理们必须一直承诺让企业进行所要发生的任何事情，包括变革。只有企业领导人才能保证有可用的、影响变革的、必要的资源。一贯承诺意味着变革会变为企业领导持续、明显地支持的企业的战略和目标。领导支持是变革获得一致批准的主要因素。 一致通过只有当相关人员批准变革时，变革才能够成功。他们必须了解变革的需要，同意变革是正确的，并且相信变革对企业和他们自己都是有好处的。Peter Senge在他的书“第五项修炼”里描述了为了实施系统变革而需要做出的一致通过，他说，“人们想改变，而不想被改变。”措施和奖励让每个人都希望变革是很难的。需要一定水平和程度的沟通和合作，而这在大部分企业里这种情况并不常见。保持一致通过甚

36、至更难。确保恰当地准确地衡量变革的过 程和结果，并在全企业沟通，这是取得并保持一致通过的最好方法。必须得奖励好的成果和变革行为，同时，那些未改变的行为和坏的结果不应该受到奖励。如果员 工坚持旧的操作方式，但是仍然受到奖励的话，他们就不会改变了。所有元数据的潜在消费者，包括高层和那些来自于每个组织单元和级别的人们一定要主动参与到元数据管理当中。元数据消费者对元数据的接受有最大的影响，因此非常有必要阐述他们的需要。他们也是操作数据的“所有者”和“管理员”，所以他们是主题专家意见的最好来源。业务需求不首先判定战略业务的需求就开发元数据管理环境是一定会失败的。这些需求的最好来源是企业战略规划和规划中确

37、定的执行措施，这些是元数据管理结构体系和环境 设计的基础（其他成功的关键因素会在本文的后面部分讲到）。没有首先决定战略业务和信息需求，一个企业就不应该建立元数据管理。战略规划战略计划概述了一个企业的使命和目的、目标、战略和执行措施（业务需求）。如果正确使用战略计划，它就是那些经理们用来有效地引导他们的组织、确保企业成功的工具。一个企业的战略计划不仅仅提供了有效管理的指导，也提供了内部变革的导向力，为响应外部变革提供指导方针。企业通过战略规划过程，定义并记录企业意图、目的和目标以及实现它们所采取的战略。其中也包含对外部机遇和威胁的评估，以及对内部优劣势的评估。最有用的战略计划是多维的，它整合了企

38、业的整体规划，包含了每个企业要素的附属计划，包括每个关键成果的衡量措施。执行措施制定正确的执行措施是成功企业管理的所在。一个企业必须能够分辨过程是否按关键目标制定，是否符合股东期望。最有效和有用的执行措施是跨职能的、同恰当的战略、目标和执行标准相联系的。管理的目标和措施的极限经常建立在外部基准的基础上，形成了一个企业的绩效衡量系统结构。执行衡量文件应该包括不仅仅报告和查询的内容，还要记录从来源到最终信息接收的数据路径。所有执行衡量的全部报告结合在一起组成了数据仓库的基础和满足企业要求的真正特制的战略信息系统。高层和经理们使用从数据仓库产生的信息来提高积极性、奖励好的行为和改变战略。员工用它们来

39、调整操作，对战略需求做出反应。连接特定目标的及时精确的措施开始使企业管理变得更像是一门科学，而不是一门艺术。所有企业业务规则和执行要素都是各种各样的企业元数据。正是这些重要的元数据常常没被管理起来。元数据结构体系元数据管理取得成功的关键在于企业的元数据结构体系，它能反映一个企业的执行衡量和业务需求情况。它的数据模型和元数据结构应该都建立在战略和战术信息需求的基础上-而不是某些特定的技术的基础上。企业数据模型一个企业数据模型记录了一些数据要素，他们的值在任何点上任何时间对告诉数据消费者企业的执行效能来说是必须的。数据模型对每个关键数据实体都作了清晰、明确的定义，描述了每个使用方法，并定义了推导公

40、式、聚合种类和刷新时间间隔。和企业信息结构体系连接在一起的数据模型不仅仅成为需求文件，也成为将企业元数据同它的消费者和开发者之间沟通的来源。数据模型必须要说明的问题包括要使用什么样的元数据来源来填充元数据环境、元数据应该如何从继承环境里转移出来、以及如何集成或者变换元数据要素以保证元数据的质量和完整性。任何一个企业元数据管理环境里最重要的两个问题是元数据的质量和访问。元数据结构元数据管理环境可能会有很多结构中的其中一种，实施特定的元数据结构时必须要阐述的主要问题涉及到元数据的分配和复制。这些问题包括： 有多少元数据以及多久？ 从哪里来？ 单向还是双向更新？ 谁需要它？他们需要什么格式的数据？什

41、么时候需要？ 元数据质量元数据管理成功的单一的、最主要的因素是企业元数据的质量。很显然，企业元数据必须有尽可能高的质量，必须精确、关联度高、完整、简练，必须及时、通用，可 以用清晰、能够被理解的方式表达。一个包含可信企业元数据的元数据环境变为一个颇有价值的企业资源，为所有组织级别的决策者们提供资源。如果消费者发现元 数据不好，那元数据管理就是失败的。更糟糕的是，如果元数据不好，而消费者又从来都发现不了，仍然以糟糕的元数据为基础来做决定，那么整个企业就有可能失败。元数据管理技术只有在元数据结构体系被定义之后，一个企业才能开始选择并执行它的元数据管理技术。否则，技术不支持企业需求的可能性就非常高。

42、另外，如果企业元数据方案是为某个特定技术设计的，当需要根据需求的变化和技术的进步和成熟来革新技术时，即使是可能的，也将会很困难。一个企业的元数据管理环境只能够用一种企业级的、工业级的元数据管理技术来支持。该技术应该有以下特点： 高性能、高容量 可升级、适应性强 可延伸 安全 能基于网络 跨平台的 能够从许多来源里导入/导出 可以根据需要导入/导出 定制的用户界面 元数据管理环境最容易被忽视的成功的关键因素是影响最大的那个因素。为了一直保持高质量的元数据，企业必须拥有使用最好的操作和技术的环境。该环境的要素包括项目、方法论、工具、技巧和知识。项目组。除 了一贯的管理承诺、支持和数据仓库消费者涉入

43、之外，还有一个关键的因素：企业文化因素。实际管理企业元数据的项目组必须有一定的特点。他们必须理解战略信 息和元数据的重要性，必须能够分析并用商业语言记录业务需求，必须致力于元数据管理，有充足的资源，实行有效的项目管理。每个项目组成员都必须有相应的技 巧、知识和经验（看下文），非常熟悉企业发展方法论，并且能够有效地使用企业元数据管理工具包。方法论。一贯严格开发高质量信息系统的企业使用的是完整生命周期发展方法论。该方法论以相关的步骤的先后顺序为特征，这些步骤从决定业务需求开始，并据此进行系统的设计、开发和实施。建立了工业标准的软件开发能力成熟型模型(SW-CMM)的软件工程研究所（SEI）声明，为

44、了发展成为有效的软件开发商，绝对需要一个方法论。使用战略驱动、以客户为导向、以信息为中心、基于模型的、专业的、严格的、可重复的方法论对于成功的元数据管理也是必须的。工具。企业元数据太复杂，数量巨大，无法用手工方法开发。有许多对元数据管理有用的工具，包括建模工具、知识库和第4代或第5代编程语言。把这些工具结合起来使用对快速有效地开发和维护元数据管理环境来说是必要的。一个企业使用的专用的工具包将取决于元数据管理的需求。然而，不管使用的是哪种工具，让这些工具共同工作，并且把他们用在企业所选的技术环境里是很重要的。技巧和知识。要高效地管理企业元数据需要一套专业的技巧和知识，她们包括使用建模工具和系统集成的经验，很强的技术背景-强调操作系统、数据库、决策支持工具、消费者界面和客户端/服务器，数据建模理论的高层次上理解，很强的沟通交流（口头和书面）技巧，以及和组织里从办公室工作人员到CEO（首席执行官）的每个人的互动能力。这些必要的技巧和知识可以通过雇佣经验丰富的顾问或培训企业内部员工来获得。对顾问来说，最有效的方法是在帮助内部员工掌握熟练的技术的同时开始开发，这样企业最终会自给自足。元数据管理和其他IT功能不同，它的范围更广、可视性更强、消费群体更大、也更容易失败。在开始一个元数据管理项目之前，企业应该评估是否已经对本文描述的成功的关键因素做了充分的阐述。