中国移动省级经营分析系统元数据管理规范.doc

中国移动通信企业标准  QB-J-010-2006 中国移动省级经营分析系统元数据管理规范  The Metadata Management Specification of Business Analysis Support System版本号：1.5.02006-04-30发布中国移动通信有限公司 发布2006-04-30实施目录1范围12引用标准13术语和定义14符号和缩略语15总则15.1概述15.2目标25.3包含附件内容26元数据管理规范总体说明36.1规范涉及的元数据标准36.2元数据基本框架46.3省级（包括一级经营分析系统）元数据管理架构56.4中央元数据库管理架构66.5元数据管理系统拓扑图87经营分析系统核心元数据97.1概述97.2经营分析系统基础层元数据107.2.1概述107.2.2对象模型元数据107.2.3基础元数据147.2.3.1概述147.2.3.2业务信息157.2.3.3数据类型167.2.3.4表达式177.2.3.5主键和索引187.2.3.6系统部署197.2.3.7类型映射217.3经营分析系统数据获取层元数据227.3.1概述227.3.2ETL元数据237.4经营分析系统数据存储层元数据287.4.1概述287.4.2数据仓库元数据297.4.2.1关系模型元数据297.4.3数据仓库管理元数据317.4.3.1仓库过程元数据317.4.3.2仓库操作元数据337.5经营分析系统数据访问层元数据367.5.1概述367.5.2OLAP元数据377.5.3数据挖掘元数据387.5.4信息可视化407.6其他可选元数据428经营分析系统元数据库存储标准438.1概述438.2元数据库存储标准438.3备份要求448.3.1省级元数据备份要求448.3.2中央元数据备份要求469省级与集团公司元数据接口规范489.1概述489.2集团公司职责489.3各省公司职责489.4各省元数据提交范围499.5各省元数据提交规定499.6接口文件传输要求499.7省级与集团公司元数据接口文件和描述文件命名方式509.8省级元数据接口文件描述文件格式标准519.9省级中央元数据库CORBA IDL接口519.10省级中央元数据库XMI接口539.11校验原则5410经营分析系统元数据库接口规范5810.1省级元数据库接口5810.1.1概述5810.1.2集团公司职责5810.1.3各省公司职责5910.1.4各省元数据接口管理范围5910.1.5各省元数据XMI接口抽取规定5910.1.6省级元数据库XMI文件命名规则6010.1.7省级元数据接口文件描述文件格式标准6110.1.8省级元数据库省级经营分析系统XMI接口内容与格式要求6210.1.9省级元数据库CORBA IDL接口6310.2一级经营分析系统元数据库接口6510.2.1概述6510.2.2集团公司职责6510.2.3一级经营分析系统元数据提交范围6610.2.4一级经营分析系统元数据提交规定6610.2.5接口文件传输要求6610.2.6一级与集团公司元数据接口文件和描述文件命名方式6710.2.7一级元数据接口文件描述文件格式标准6710.2.8一级元数据接口文件内容格式标准6810.2.9一级元数据库CORBA IDL接口6910.3中央元数据库接口7110.3.1概述7110.3.2中央元数据接口管理范围7110.3.3中央元数据库与经营分析系统XMI接口内容与格式要求7210.3.4中央元数据库CORBA IDL接口7311经营分析系统元数据管理规定7411.1元数据质量要求7411.1.1概述7411.1.2本地元数据质量规定7511.1.3接口文件数据质量规定7611.1.4传输过程元数据质量规定7611.2元数据管理平台功能说明7611.2.1元数据获取7711.2.2元数据检索和浏览7811.2.3元数据分析8011.2.4元数据维护8111.2.5权限管理8311.2.6版本控制8311.2.7中央元数据管理平台特殊要求8511.3经营分析系统元数据管理系统应用举例8511.3.1数据时效性探察8511.3.2指标和报表元素血缘分析8611.3.3元数据相关性分析8712编制历史88前言为更好地实现元数据管理从技术上及功能上对数据质量管理提供支撑，保证数据质量的稳定可靠，特制定元数据管理规范。本标准由中国移动通信有限公司业务支撑系统部提出并归口。本标准以中移有限业【2006】78号印发。 本标准起草单位：中国移动通信有限公司。本标准主要起草人：吴唯宁、刘虹、段云峰、柳兰屏、高男男、谢志崇、崔洪涛、王敬尧、常冬、赵静、余疆、刘盾。本标准解释单位：中国移动通信有限公司。1 范围 本规范包含了为中国移动经营分析系统经营分析系统内部控制的管理体系及数据质量管理系统提供技术及功能支撑的元数据管理规范。本规范适用于集团公司元数据管理、一级经营分析系统元数据管理和中国移动各省（直辖市、自治区）经营分析系统元数据管理系统2 引用标准3 术语和定义4 符号和缩略语5 总则5.1 概述为使中国移动通信集团公司（以下简称中国移动）适应日趋激烈的市场竞争环境，有效并准确的使用经营分析系统提供的资源，从而对信息进行智能化加工处理，并最终为各级市场决策管理者提供及时、准确、科学的辅助决策依据，指导中国移动经营分析系统的元数据管理系统发展，依据中国移动经营分析系统技术规范和OMG组织的CWM国际标准与相关标准，并参考中国移动一级经营分析系统需求说明书、二级经营分析系统需求说明书、特制定中国移动经营分析系统元数据管理规范。本规范包含对集团公司经营分析系统的元数据管理要求和各分公司经营分析系统元数据管理要求。本规范是中国移动经营分析系统元数据管理和建设的基本要求。各省、自治区、直辖市公司依照本技术规范，进行经营分析系统的元数据建设。从技术理论上讲，经营分析系统元数据涉及到经营分析系统数据仓库、ETL、联机分析处理、数据挖掘、前端展现等多方面内容，元数据贯穿经营分析系统始终。从技术实现上讲，元数据分布在仓库的不同组件中，业务规则和技术元数据是分离的，而且由不同系统以不同格式保存且用户界面不同，不利于业务人员和技术人员对于元数据的管理和使用。而根据从数据仓库的系统中获得的数据做出智能决策和采取信息化行动时，分析人员和决策者需要知道自己的需要与经营分析系统中数据的关系。因此集团公司制定了经营分析系统元数据规范，使得技术人员和业务人员可以统一地对经营分析系统中的元数据进行管理和监督以及探查。本规范囊括了中国移动通信公司经营分析系统中常见的元数据，首先描述了经营分析系统中元数据标准框架、各省元数据管理体系结构和省级元数据库与中央元数据库管理架构，明确了本规范的工作范围。其次定义了经营分析系统核心元数据涉及到的范围以及与CWM标准对应的对象类，并规定存储依据的标准，建立省级-中央，省级-本地，中央-本地等标准化接口和API接口，最后对元数据质量和元数据管理平台进行规定和说明。本规范包含有关元数据四个接口规范、一个存储规范（逻辑模型）以及基于元数据库的几类基本应用等内容。各省、自治区、直辖市公司在实施经营分析系统过程中，可根据实际需要以本规范为基础进行扩充与细化，但务必保证核心元数据的内容和接口不能改变。5.2 目标本规范目的在于指导各省以及集团公司的元数据建设，由于元数据贯穿经营分析系统始终，在经营分析系统中各个系统元数据比较分散，不利于各省公司以及集团公司的管理，因此制定此规范用于指导约束各省公司的元数据接口、存储、管理。具体而言，目标有如下几点：l 指导各省公司以及集团公司元数据库和管理平台的建设，规定元数据基本内容 l 定义经营分析系统元数据管理框架和流程l 约束各省公司元数据库接口以及集团公司元数据接口和存储模型l 对元数据管理平台提出基本的功能和规定5.3 包含附件内容随本规范附件有省级-本地IDL接口定义（省级-本地IDL接口.zip），中央-本地IDL接口定义（中央-本地IDL接口.zip），省级-本地XMI接口定义（省级-本地XMI接口.dtd），中央-本地XMI接口定义（中央-本地XMI接口.dtd），省级-中央接口定义（省级-中央接口.dtd），一级-中央接口定义（一级-中央接口.dtd）。包含的参考资料有CWM模型1.1标准（CWM标准.pdf），MOF 1.3标准（MOF标准.pdf），其他的参考资料可以查看www.omg.org上的相关涉及到的内容。6 元数据管理规范总体说明6.1 规范涉及的元数据标准本规范是基于OMG组织的元数据规范CWM 1.1而产生的，在CWM标准之上根据中国移动的本地化需要，在一些细节上进行调整。阅读此规范时，必须参阅CWM模型1.1版本 http:/www.omg.org/technology/documents/formal/cwm.htm，该标准中有对于本规范规定的各类详细定义，关联以及属性详细定义进行的细致的说明。CWM模型是OMG组织定义的数据仓库和相关系统的国际元数据标准，CWM标准的目的在于使得数据仓库和商业智能软件的元数据在分布异构的数据分析工具，数据仓库平台，元数据存储等系统之间交互。目前这个元数据标准得到了IBM、Unisys、NCR、Oracle、SAS等厂商的支持 目前支持的厂商有IBM、Unisys、NCR、Oracle、SAS、Hyperion、UBS、Genesis、Dimension EDI、Deere、Sun、HP、 Data Access、InLine、Aonix、 Hitachi、Meta Integration、Adaptive等。CWM模型涉及以下几个国际标准，在元数据管理规范中涉及到的接口、定义默认是遵循下列版本的国际标准：l CWM 1.1l XMI 1.1l CORBA IDL（由MOF 1.3产生）l MOF 1.3l UML 2.0其中UML用来描述元数据模型本身和一些对象元数据，本规范中核心元数据相关的类定义是借助UML语言进行表述的。MOF用来定义元数据存储标准且提供一个良好的CORBA IDL接口，是经营分析系统元数据的存储标准。CORBA IDL是一种基于中间件思想的接口定义语言，它可以支持java，C等流行的编程语言方便、无二义性地访问经营分析系统元数据存储内容。XMI是XML形式的元数据接口定义语言，它是经营分析系统元数据管理体系中元数据默认的交换文件形式。CWM标准是本规范制定的重要参考标准，本规范参考的上述国际标准都是围绕着CWM标准而采纳的，CWM标准对于和数据仓库以及商业智能软件的元数据提取，交换，存储，访问提供了一系列的定义和要求。CWM标准涉及到的元数据模型结构如图6-1。仓库过程仓库操作转换XML记录型多维关系型资源业务信息软件发布对象模型对象 OLAP分析数据挖掘信息可视化业务术语数据类型表达式键索引类型映射管理资源分析基础对象模型 图 6-1CWM标准涉及到的元数据模型结构本规范基于CWM标准对象模型层和基础层之上对于经营分析系统中获取层、存储层和访问层中的相关元数据描述和定义，CWM模型和经营分析系统元数据的对应关系如表6-1，相关详细信息参见第三章中的有关内容。经营分析系统中元数据CWM标准模型包经营分析系统基础层元数据对象模型包，业务信息包，数据类型包，表达式包，键索引包，类型映射包，软件发布包经营分析系统获取层元数据ETL元数据包经营分析系统存储层元数据关系模型包，仓库过程包，仓库操作包经营分析系统访问层元数据OLAP模型包，数据挖掘模型包，信息可视化包经营分析系统可选元数据业务术语包，XML元数据包，记录包，多维包，对象数据库包表 6-1 CWM模型和经营分析系统元数据的对应关系6.2 元数据基本框架参见图2-2，集团核心元数据为全国各省、直辖市、自治区以及一级经营分析系统要统一的元数据格式。此部分元数据是全国统一必须严格遵守。各省核心元数据为各省、直辖市、自治区元数据库，元数据管理必须遵守的规范，这部分由移动各省公司统一规定，集团公司不做要求。各异元数据为各省内一些特殊或临时数据形成的元数据，这部分元数据可以不进行统一规划。图6-2中，由内至外集团公司强制统一的力度逐渐减弱。本规范规定的范围局限于集团核心元数据部分，各省在进行元数据库和元数据管理系统建设涉及到集团核心元数据时必须遵循本规范有关规定。各异元数据各省核心元数据集团核心元数据 图 6-2 元数据管理基本框架6.3 省级（包括一级经营分析系统）元数据管理架构省级（包括一级经营分析系统，以下略）元数据管理是以各省元数据库为中心展开，在规范中定义了元数据库的逻辑（对象）模型，其存储标准是按照OMG组织的MOF 1.3标准。图6-3中，经营分析系统各子系统元数据经过转换工具或者API转换为XMI文件或者调用元数据库的CORBA IDL接口将元数据导入各省元数据库。同时，元数据管理工具也可以通过CORBA IDL或者XMI文件的形式将省级元数据库中的元数据内容返回到各系统中，对经营分析系统各子系统的元数据进行调整。图中的转换工具或者API指的是经营分析系统子系统元数据不支持CWM模型情况下，需要进行双向转换，而支持CWM元数据标准的子系统则不需要转换直接和元数据库接口交互。各省元数据库提供 CORBA IDL接口为本省元数据管理工具提供访问和管理接口，此接口与经营分析系统各子系统和元数据库交互的CORBA IDL接口是相同的，这是由CWM标准本身决定的，这也使得元数据管理工具有能力直接访问某些支持CWM标准的经营分析系统子系统。各省元数据库与中央元数据库的接口为转换后的XMI文件，这里的转换指的是各省依据CWM标准导出的XMI文件后，需将所有对象名称前加入本省标识。详细步骤参见余后各章。对于各省元数据管理工具规范提出几种基本需求，各省根据本省情况，在满足基本需求之上进行扩充。ETL元数据数据仓库元数据数据集市OLAP SERVER.直接访问或转换工具、API等XMI 接口或CORBA IDL接口核心元数据元数据管理工具CORBA IDL转换后XMI文件中央元数据库 图 6-3 元数据管理架构6.4 中央元数据库管理架构中央元数据库管理架构如图 6-4所示。中央元数据库内容包括各省上报的元数据以及一级经营分析系统元数据。其中各省元数据和中央一级经营分析系统元数据是以XMI文件的形式导入中央元数据库。或者通过调用省级元数据库的CORBA IDL接口直接访问省级元数据库中的内容。中央元数据库存储标准为MOF 1.3，中央元数据库为元数据管理工具提供CORBA IDL接口，在元数据管理平台上进行元数据管理。由于各省和一级经营分析系统导出XMI文件中的对象是经过编号后存储在中央元数据库中，这样，可在管理工具平台中对于各省不同对象进行分类和处理。权限控制等等元数据交换版本控制元数据访问一级经营分析系统CORBA IDL接口中央元数据库中央XMI接口XMI元数据接口 管理工具平台省级元数据XMI文件省级元数据XMI文件.图 6-4 中央元数据库管理架构6.5 元数据管理系统拓扑图图 6-5 元数据管理系统拓扑图元数据管理系统由各省元数据管理系统和中央元数据管理系统组成，省级元数据管理系统和中央元数据管理系统通过网络专线进行连接（蓝色线条）。省级元数据管理系统由省级元数据抽取服务器、省级元数据管理平台、省级元数据存储服务器、省级元数据存储服务器组成。l 省级元数据抽取服务器的主要功能是将符合CWM模型的各经营分析子系统的元数据（通过XMI文件获取或者通过CWM 兼容CORBA IDL读出）存入省级元数据存储服务器之中（绿色线条），如果有些系统不支持CWM模型则需要通过API或者其他手段获得其元数据并转换为CWM模型格式的元数据存储到省级元数据存储服务器内（红色线条）。有些元数据存储系统是自带元数据抽取功能，那么这部分服务器的功能并入省级元数据存储服务器。l 省级元数据存储服务器主要是接受省级元数据抽取服务器提供的元数据（接受提供XMI文件或者访问元数据存储服务器的CORBA IDL），并把这些元数据按照本规范的规定进行存储，省级元数据存储服务器必须提供符合CWM模型1.1标准的XMI接口和CORBA IDL接口以便省级元数据管理平台和中央元数据抽取服务器进行访问。l 省级元数据管理平台提供对省级存储服务器中的元数据进行访问，查询，分析等功能，它本身应支持服务器客户端架构，支持多人，分角色对经营分析系统元数据进行访问。中央元数据管理系统主要由中央元数据抽取服务器，中央元数据存储服务器，中央元数据管理平台组成。l 中央元数据抽取服务器主要作用在于通过各省提交的XMI文件或者直接通过CORBA IDL接口访问各省元数据存储服务器的方式，采集各省经营分析系统元数据。中央元数据管理平台可以通过中央元数据抽取服务器对各省元数据存储服务器CORBA IDL接口进行直接访问。也可以中央元数据抽取服务器通过各省元数据存储服务器CORBA IDL接口将元数据抽取至中央元数据存储服务器内，或者抽取服务器将各省提交的XMI文件存储至中央元数据存储服务器内，然后让中央元数据管理平台进行访问。l 中央元数据存储服务器主要是接受中央元数据抽取服务器提供的元数据（接受XMI文件或者接受访问元数据存储服务器的CORBA IDL），并把这些元数据按照本规范的规定进行存储，中央元数据存储服务器必须提供符合CWM模型1.1标准的XMI接口和CORBA IDL接口以便中央元数据管理平台和中央元数据抽取服务器进行访问。l 中央元数据管理平台提供对中央元数据库中的元数据进行查询，分析等功能，它本身应支持服务器客户端架构，支持多人，分角色对全国所有省份（包括一级）经营分析系统元数据进行访问。同时提供即时访问功能，即直接通过中央元数据抽取服务器将CORBA IDL的访问请求映射到相应省份的CORBA IDL的访问请求对各省元数据进行即时探查。7 经营分析系统核心元数据7.1 概述经营分析系统核心元数据指的是经营分析系统中主要系统涉及到的元数据，包括了经营分析系统基础层元数据，经营分析系统获取曾元数据，经营分析系统存储层元数据和经营分析系统数据访问层元数据。本章所涉及的元数据严格遵循CWM模型1.1标准，包括了CWM模型中两个底层部分的七个包。他们分别是对象层中的对象模型包，基础层中的业务信息包、数据类型包、表达式包、键和索引包、类型映射包和软件发布包。下面根据经营分析系统的需要，定义核心元数据涉及到的范围与标准，本章的相关内容可以参考附件CWM标准.pdf CWM模型1.1标准有关内容。对于每一个元数据模块内部的元数据范围来讲，目前的范围规定在除临时表，临时变量以外的所有元数据信息，相关的元数据质量要求参见第7章的相关内容。7.2 经营分析系统基础层元数据 7.2.1 概述经营分析系统基础层元数据的内容是包括经营分析系统中所有其他元数据共享的表示概念和结构元数据。它包括对象模型和基础元数据两部份，对象模型描述的为每一个元数据元素（对象）的基本结构和相应的类型属性，而基础元数据包括了所有上层（数据获取层、数据存储层，数据访问层）其他元数据包共性的元数据。本节的相关内容可以参考附件CWM标准.pdf CWM模型1.1标准中第4章与第5章的有关内容。7.2.2 对象模型元数据经营分析系统中对象模型元数据对应CWM模型中最底层的对象模型包中的内容。它描述了经营分析系统其他元数据中最基本的元模型的类结构，是所有经营分析系统元数据模型的基础。任何一个元数据模型都是从对象模型衍生出来的。经营分析系统中的对象模型元数据完全遵循CWM模型，其中的内容可以参看CWM模型1.1标准中的第四章 Object Model有关内容。这里提到的对象模型是UML的一个子集，仅涉及到与CWM模型相关的内容。这部分使得经营分析系统的元数据标准可以在遵循CWM模型的基础上以UML标准进行表述。其主要内容分为四部分：Core Metamodel、Behavioral Metamodel、Relationships Metamodel、Instance Metamodel。其中Core Metamodel是所有其他几个模型的基础，他们之间的关系如图7-1所示： 图7-1l Core MetamodelCore Metamodel装载着其它经营分析系统元数据所用的类和关联。它严格遵循CWM模型中对象模型里面Core Metamodel的所有标准。其中所有的类和关系如 图7-2、图7-3所示。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第4.3节的有关内容。图 7-2 Core Metamodel 类关系图 参考附件CWM标准.pdf中 figure 4-2图 7-3 Core Metamodel 支持类关系图参考附件CWM标准.pdf中 figure 4-3l Behavioral MetamodelBehavioral Metamodel描述了经营分析系统元数据中其他类和关联的行为类型以及提供一个记录特定行为请求的基础。它严格遵循CWM模型中对象模型里面Behavioral Metamodel的所有标准。其中所有的类和关系如 图7-4所示。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第4.4节的有关内容图 7-4 Behavioral 元模型的主类图和类之间关系l Relationships Metamodel Relationships Metamodel收集了描述经营分析系统元数据存储中对象和对象之间关系的所有类和关联。它严格遵循CWM模型中对象模型里面Relationships Metamodel的所有标准。CWM模型中Relationships Metamodel描述了两种关系：关联和继承。而CWM模型中的继承关系支持多继承，因此CWM模型的继承结构其实是一个由父节点到子节点的有向无环图。Relationships Metamodel所有的类和关系如 图3-5所示。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第4.5节的有关内容。l Instance Metamodel在利用CWM标准正常的交换元数据的时候，有些情况随着元数据附加一些特定的具体数据实例是非常有用的。经营分析系统元数据对象模型中的Instance Metamodel就是用来描述这些附带在元数据后的具体数据的。Instance Metamodel严格遵循CWM模型中对象模型里Instance Metamodel所有标准，具体如 图3-6所示。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第4.6节的有关内容。7.2.3 基础元数据7.2.3.1 概述基础元数据的内容是包括经营分析系统中所有其他元数据共享的表示概念和结构元数据。一般来说，基础元数据包中的元数据是上层（数据获取层、数据存储层，数据访问层）其他元数据包共性的东西。对于上层某一个具体的元数据包来讲，它所囊括的基础元数据不一定是整个经营分析系统的基础包中的元数据，它只需要包括自身包涉及到的基础元数据即可。基础元数据的内容和对象模型元数据的内容是不同的，因为它是专为经营分析系统所设计的元数据，而对象模型元数据从某个角度上来说是可以应用在很多其他领域（数据仓库领域之外，例如系统部署领域等）。经营分析系统中的基础元数据模型完全遵循CWM模型，其中的内容可以参看CWM模型1.1标准中的第五章 Foundation有关内容。为了控制复杂性，基础元数据内部分为六个包，他们是业务信息包、数据类型包、表达式包、主键和索引包、类型映射包、系统部署包，分别对应CWM 1.1标准中Foundation部分中BusinesssInformation包、DataTypes包、Expressions包、KeyIndexes包、TypeMapping包、SoftwareDeployment包，它们之间的关系如图 7-5：图 7-5 基础元数据结构图 (参考附件 CWM标准.pdf Figure 5-1) 经营分析系统基础元数据中，包与包之间的关系是在不牺牲共有目的的情况下可以单独的使用，例如，如果对于经营分析系统中自主开发某一个支持CWM标准的数据仓库软件时，支持某种编程语言的元数据可能用到数据类型包、表达式包、类型映射包和软件发布包，而键索引和业务信息包就不需要了。对于某一个具体的系统（过程），也只包括和本身系统与周边系统相关的基础元数据，而不需要罗列所有基础元数据中出现的元数据。7.2.3.2 业务信息业务信息包给经营分析系统元数据的元素提供了和业务部门（或项目组）方面的信息。这里说的业务部门指的是支持数据仓库和商业智能系统的相关的业务部门或项目组而不是所有移动通信公司的业务部门。业务信息元数据包括：l 业务部门的名称l 联系方法（地址、e-mail、电话）l 相关离线文档的标识l 有关的描述信息业务部门之间的关系可以通过类之间的关联来表示。经营分析系统业务信息元数据支持部门的层次关系，例如一个部和几个处之间的从属关系可以通过关联关系来表示。7.1小节关于数据质量和一致性要求中对于经营分析系统的元数据内容（元数据的对象）要求必须具有的确切描述这项元数据内容的Description（每一个具体元数据的业务描述或功能描述）用到本节元数据中的描述一项，同时元数据涉及到的系统负责人或者负责部门的内容利用本节关于ResponsibleParty的内容。具体对于数据质量的要求细节参见7.1小节。业务信息元数据严格遵循CWM模型中基础元数据里面BusinesssInformation的所有标准。其中所有的类和关系如 图7-6所示。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第5.3节的有关内容。图7-6 业务信息主类图 (参考附件 CWM标准.pdf Figure 5-2)7.2.3.3 数据类型数据类型元模型提供经营分析系统中建立不同系统需要的数据类型的元数据模型定义。数据类型包严格遵循CWM模型1.1标准中基础模型里面DataTypes包的所有标准。虽然数据类型包自身并不给出任何一种具体的数据类型的定义（它仅是给出定义这些数据类型的元数据的模型），但是大部分常用的数据类型作为数据类型包的具体实例在CWM模型1.1标准中已经给出，具体内容参见附件CWM标准.pdf CWM模型1.1标准中的19章 数据类型的全部内容。数据类型元模型所有的类和关系如 图7-7所示。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第5.4节的有关内容。 图7-7 数据类型主类图 (参考附件 CWM标准.pdf Figure 5-5)7.2.3.4 表达式表达式元模型提供了定义经营分析系统中所有表达式树的基本支持。表达式包的作用在于为其他所有经营分析系统元数据和管理工具提供一个可以共享的表达式格式，使得可以让这些表达式在不同的系统中交换和跟踪。表达式元模型所有的类和关系如 图7-8所示。表达式包严格遵循CWM模型1.1标准中基础模型里面Expressions包的所有标准。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第5.5节的有关内容。 图7-8 表达式模型主类图 (参考附件 CWM标准.pdf Figure 5-5)7.2.3.5 主键和索引键和索引包是为了方便访问所有经营分析系统数据实例而构造的包。在基础模型中，我们只给出了定义键和索引基本概念的元数据模型，具体的面向某些具体应用的键结构会在面向具体应用的包中给出。例如，关系模型的键和索引结构在这里没有给出完整的定义，这是因为在基础包中所有的元模型是上层系统所共享的，关系模型的键和索引只是一种常见的键和索引结构，但是并不是所有系统（例如XML系统，面向对象系统）通用的键和索引结构，因此具体的关系模型的键和索引将在关系模型包中给出。键和索引包模型包所有的类和关系如 图7-9所示。本包的所有内容严格遵循CWM模型1.1标准中基础模型里面KeysIndexes包的所有标准。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第5.6节的有关内容。 图7-9 键索引模型主类图 (参考附件 CWM标准.pdf Figure 5-9)7.2.3.6 系统部署系统部署包是为了记录经营分析系统中系统和软件是怎样应用的。在基础模型中，不同的系统可能会用到不同的数据类型，系统之间的类型映射将在3.3.3.7小节中讲述。系统部署包主要是为了管理和记录经营分析系统各个软件系统的分布和连接情况，具体内容包括：l 系统软件l 子系统类型l 部署的组件和离散的组件l 独立计算机l 站点（地点）l 数据管理者l 数据提供者等本节内容的元数据需要经营分析系统负责部门进行手工录入，描述经营分析系统各个软件的分布情况以及一个系统分布式的结构等。系统部署包所有的类和关系如 图7-10所示，有关系统部署中数据接口的类和关联如 图7-11所示。系统部署包严格遵循CWM模型1.1标准中基础模型里面SoftwareDeployment包的所有标准。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第5.7节的有关内容。 图7-10 系统部署主类图 (参考附件 CWM标准.pdf Figure 5-11) 图7-11 系统部署数据接口主类图 (参考附件 CWM标准.pdf Figure 5-12)7.2.3.7 类型映射类型映射包的作用在于将不同的系统之间的数据类型一一映射起来。这些映射的目的在于使得不同系统之间可以兼容的数据类型对应起来，从而使得这些系统之间的数据可以进行交换。一对多的映射允许出现在任何一个映射对之间，而且在一对多映射的过程中必须确定一个最适合的类型作为首选。类型映射包所有的类和关系如 图7-12所示。类型映射包严格遵循CWM模型1.1标准中基础模型里面TypeMapping元模型的所有标准。其中类和关联的详细定义与约束请参见附件 CWM标准.pdf CWM模型1.1标准中第5.8节的有关内容。 图7-12 类型映射主类图 (参考附件 CWM标准.pdf Figure 5-14)7.3 经营分析系统数据获取层元数据7.3.1 概述经营分析系统三层结构中的数据获取层功能是将数据从数据源经过必要的处理后加载到数据仓库系统中。这个过程主要涉及到ETL的过程本身元数据。ETL的数据源可能是生产系统中的关系数据库，文本文件，XML文件，对象数据库或是经营分析系统中的数据仓库，数据集市等。这些数据源通过ETL过程导入到经营分析系统或在经营分析系统中各系统之间进行转换。本章的元数据主要涉及到和ETL过程相关中的元数据。其实ETL本身并不仅仅出现在数据获取层，在数据存储层、数据展现层只要在经营分析系统中出现由一个数据转换到另一个数据的地方就会出现ETL过程，那么就会有ETL的元数据。例如，在数据挖掘的数据准备过程中也会出现类似ETL的过程，这部分的元数据也必须遵循本章的规定。ETL的过程是经营分析系统中的核心，因此这部分的元数据必须保证准确，具体的数据质量和一致性约束，参见第7.1小节。7.3.2 ETL元数据ETL过程出现在经营分析系统中三层结构中任何一处需要数据转换的地方。这使得ETL元数据比较复杂，而其本质是一种转换的过程。因此，按照功能分，ETL元数据主要可以分为三部分：l 数据转换和数据关系l 数据分组和执行l 特殊的转换关系一般来讲ETL过程可以分为两种，一种是黑箱操作，一种是白箱操作。前两部分所指的内容主要是面向黑箱操作的，而第三种主要是在前两种的基础之上对白箱操作补充的内容。ETL包中的数据源或者数据目标需要和相应系统中的元数据一一映射，这些系统的元数据可能是关系模型包中的或者OLAP，多维数据库或者是数据挖掘包中的元数据，他们必须和ETL过程中的元数据进行关联。而ETL包本身也是OLAP，数据挖掘，仓库过程和仓库操作元数据中的内部包，在传递这些包中的元数据内容中不可避免的要传递相应的ETL元数据包中的有关信息。在经营分析系统中，对于ETL元数据的要求是和最终生成的报表元素（包括由经营分析系统给出的集团公司报表，各省公司报表，各地市公司报表），以及由经营分析系统产生的各分析指标相关的所有ETL过程，必须按照白箱操作的内容把所有的转换源，转换的公式，转换方法和转换目标详细定义和描述等叙述清楚，相应的数据源和数据目标的元数据信息必须关联，其中的元数据质量和一致性约束必须遵循7.1小节的有关内容。和ETL相关的元数据严格遵循CWM模型1.1标准中ETL元模型的所有标准，相关的定义和内容可以参照附件 CWM标准.pdf CWM 模型1.1标准第10章的有关内容。下面根据功能三种不同分类进行介绍。