元数据管理项目工程实施方案.docx

XX移动元数据管理项目工程实施方案2012年5月书目1建设11标一一一3!._.»«._*.2 .1客户端环境配置33 .2服务器端环境配置4网络配置3 元数据管理范用4 项目实施支配4. 1建设现划61.2H，jf'J-GdMa*MaMMMaaaMaMMaM74.3产品部署74.4/Cf更0由!)71.5元数据存储8技J、兀据存若-s关系型数据库元数据8ETI.元数据9模型元数据IO业务无数据存储10业务指标元数据10业务规则&术语元数据I1.维度&星础泰玛元数据管理类元数据存储建立日常管理流程元数据权限管理通过元数据变更流程进行维护管理元数据同步维护业务元数据同步维护管理元数据同步维护元数据同步维护库夫结构元数据同步维护-EBin元数据同步维护一,元数据交付'培训1.8元数据管理应用定制5元数据建设中须要的协作工作-6备份策略1建设目标依据胃中国移动通信集团XX有限公司经营分析系统元数据管理项目选购修8所制定的项目目标，本项目致力于解决现有经分系统中元数据管埋的问超.即钱营分析系统核心元模型的建立、两级经苜分析系统元数据互通、扩充元数据服务接口、提升基础元数据支撑实力，并能满意移动集团总部NG2BRSS3.5元数据管理相关规范的要求.具体而古，通过本次项目实现如下目标： 实现元数据基本管理功能供应使利、友好的图形化元数据管理工具,实现对元数据的获得、维护.查询、变更、统计、导人等菸本功能。 实现一二级元数据互通功能生成一级经营分析系统由点接口的数据处埋过程元数据的管理,基于互通元数据接口标准实现近点接口元数据的下发和武点接U数据处理过程元数据的上传，促进两级系统时正点接I统一理解和数据处理过程规范化. 实现元数据的分析功能实现无数据的血漫分析及影响分析功德,实现元数据的数据地图早.现功能，以拓扑图的形式对经营分析系统的各类数据实体、数据处理过程元数据进行分层次的图形化呈现.并通过不同层次的图形呈现粒度限制，涌道开发、运维或者业务上不同应用场景的图形杳询和协助分析须要。2系统环境配量系统环境配置包括客户端和服务器端的平价软件、硬件配置和网络配置要求，这的鼠置要求与系统负荷有关.2.1客户般环境配Jt归设项配置要求硬件配巴客户端主机业界主流CPU/2GB内存/20GB剩氽硬盘空间/1(X)M网卡软件配置操作系统Windows2000/Windows2003/WindowsXP/WindowsVista/Windows7例读潺IE6IE7IE8IE92.2JR务叁*环境配配置顼数量配置要求硬件配置数据库服务器主机（1台）14CPU/8GB内存”00GB硬盘/100M网卡以上应用服务器主机（1台）I4CPU/8GB内存ZI(K)GB硬盘/100M网卡以上元数据管理终端I2CPU/4GB内存/20GB4®盘/100M网卡以上软件北置应用眼务器操作系统I(以下任选其一，举荐运用UniX系统Unix、1.inux；MicrosoftNT4.0SP6/2(K)OServerSP32003Scncr应用服务器1TUnKd1.6.0及以上版本JDK1JDK1.6及以上版本数据库1（以下任选其1,举荐运用Orac1.e10g）Orac1.e9iIIOg/I1.gDB28.2及以上版本元数据管理终端操作系统1MicrosoftNT4.0SP6/2000SenerSP3,2003Server注：I、数据库服务涔和应用服务器可共用一台主机2、兀数据管理终端用子进行M1.BciCnt、MOCOnsOIC等元数据管理客户端的操作2.3网络神以卜是元数据管理系统的网络配咫图,其中的服务器是按逻辑功能划分的，可以分别部署在两价主机上,或者共用一台主机.3元敬据管理范B1.在项目建设过程中，我们将针对XX移动现场状况。管理技术，业务，管理类3大美元数据。 技术元数据主要包括：外部数据源接11,数据仓座DB（TcradaWOmc1.c）,ETI.,存储过程，建模元数据等， 业务元数据包括：维度.基础编码.指标.业务术语,业务规则,业务描述等. 管埋元数据包括：系统资源、入M管理，任务管理，需求流程管理、文档管理等得具体范的分类如卜.表：应用模块具体功能分类I子功能备注建设阶段元数据实体管理技术元数据数据源接口按业务源系统分类俎锐模板整理，批限导入数据仓库DB依据现行系统组织自动获得ET1.应用程序（作业）按作业用途分类自动获得，视现场状况部分模板导入逻辑模型按数据流向的层次分类自动获得,视现场伏况部分模板导入业务元数据维度元数据依据业务梳理短板整理，批属导入基础编码依据业务梳理澳板整理,批量导入指标元数据依据业务梳理板整理,批量导入业务术语、业务规则、业务描述依据业务梳理模板整理,批量导入管理元数据管理流程定义按需检理糜板整理，批晶导入项目团队（部门）人员、角色定义按需梳理模板整理,批量导入系统、主机、运行环境管理按需梳理校板整理,批量导入元数据关系桢理技术元数据数据库衣I）B实体间字段级关系悔理按数据流关系梳理解析SqI日志J1.具接口解析ET1.映射关系梳理依据工具解析，或者约定解析Sq1.H.力动解析或者n志解析，或者手工整理接口与库表之间关系械理依据数据流关系检理自动解析或者日志解析，或者手工整理业务元数据各类业务元数据关系桢理依据业务数据流向梳理自动解析或者模板整理导入管理元数据管理流程定义关系梳理依据管理关系梳理校板整理导入项目团队（部门）人员.角色关系梳理依据实际关系硫理校板整理导入运行环境管理关系梳理依据实际关系梳埋模板整理导入元数据应用基础功能应用图形分析功能血缘分析、影响分折、数据地图呈现、主机拓扑、关联分析、一样性分析元数据表彻查彻功能元数据导入导出导入导出功能元数据旗吊管理元数据石辰管埋功能两级元系统互通两拨羟营分析系统元数据互通功能暖用扩展实力XMI格式的接口REST风格接口MOI接口4项目实如支配福建兀'/工程实旗方案23205.npp4.1 建1»献IXX移动元数据项目建设，依据项目分4个阶段进行: 第一阶段：需求调研阶段,预料10个工作H： 其次阶段：建设阶段，预料40个工作I； 第二阶段：上城阶段，预料15个工作日； 第四阶段：运维阶段，预料200个_E作日.攻日规划及人员支配列表需求网研阶段建设阶段上线阶段运难阶段工作量估算IO个工作日40个工作日IS个工作日200个工作日工作内容需求词研元数据建设规划元模型规划系统搭建元数据梳理导入元数据系统测试系统试用用户培训系统维护系统运行维护元数据更新元数据定制开发阶段性成果需求调研说明文档元数据建设规划文档元数据模型说明文档元数据项目支配文档元数据说明文档元数据源文件介朋元数据应用系统用户运用培训用户运用手册系统维护手册系统运行状况报告元数据更新报告定制开发功能文档人XX项目经理1人项目经理I人项目羟理1人项目经理I人员移动-管理济助-管理怖助-管理帮助-管理格助分的竹项目经理1人项目羟理1人项目羟理IA实施人员1人I公司需求调研人员I人实施人员1-2人实施人员1-2开发人员14人4.2 时间支配 第一阶段：2012年6月11日至6月22H： 其次阶段：2012年7月2日至8月24日： 第三阶段：2012年8月27日至9月14日： 第四阶段：2012年9月17日至2013年6月21Eh备注；时间支配以项目启动时间为准4.3 产品部目正式启动后,哂竹公司支配J1.程师到场依据产品模式进行产品部署、产品介质交付.依据产品安装步骤iS行完批部署，对部*好的产品进行现场基础数据导入.参数配置.联调.启动运行.确保产品正常运行.4.4 元模恭定制XX移动元数据项目建设前期,依据系统偌求文档以及前期与客户进行的需求调研来确定各类信息资源标准，然后依据倘定的信息资源标准来进行分类，并确定各类标准的元模型.相关调研过程由厂商，客户彷助，元模鞭的定制由皓竹主导完成。元模型，即定义元数据的模型，元模型的定义遵循标准化、国际化的CBN模型（ComnonWarehouseMetamode1.>,并且元模型具有可完全扩底、主流开放性（100%JAYA）的特点，Ai终形成XX移动元数据模盘设计及需由XX移动、厂商、皓竹三方最终评审确定.元模型基本包括以下几大类： 管理类（包括系统资源、人员管理、任务管理、需求流程管现、运行环境管理、文档管理）： 技术类（关系型数据底、O1.AI接口模型、ET1.模型、erwin帙里： 业务类：指标、KPI、报表等无模型； 编码模型：信息分类及编码模型视建设过程中如有须要扩展的,可进行元模型的扩展0出终形成由皓竹元数据软件生成的符合CWM规范的XM1.元数据模型，4.5 元数据存储依据标准项目实施步4S在需求调研后,皓竹依据与集成商、客户协商约定的元模型标准定制好元模型后，接下来的工作是现场各类元数据的存储,自动获取调研1:元数据存储元数据实体梳理模型定制元数据展现元数据关系梳理兀数据存储过程流图451技术美元敷据存储时于无数据的存储，皓竹目前成熟的方式为: 工具接口自动抽取; 模板整理批琉建入：技术元数据包括：关系型数据库DB、O1.AP、接口模鞭、ET1.模型、CrWin模型。4.5.1.1 关系型SMe席元数据皓竹已经有对主流数据国元数据的白动获得方式，此部分元数据可以干腌获得，皓竹能自动获得的数据库为：Orac1.e.DB2.Teredata,Sq1.server.SybaSe等库.> 实现前提：> RDB元模型制定完成：相关厂商供应读取数据库或者表结构的视图权限.供应相关的连接方式.> 皓竹对MIB工具相应接口进行读取参数配置，> 实现方式：通过YIB配置数据源，作业，执行作业自动抽取即可生成数据仓库I)B实体元数抵.4.5.1.2 O1.AP元数据皓竹已经有对主流O1.AP工具的向动获得方式,如COgnoS工具的O1.AP元数据,此部分元数据可以自动获得实现. 实现前提： O1.AP元模里制定完成；和关厂商供应读取COgnCS数据源捱接方式，相关权限. 皓竹对MIB工具相应接口进行读取参数配置. 实现方式：通过M1.B配置数据源,作业.执行作业自动抽取即可生成O1.AP相关元数据， 符注：如现场运用的是C3U1OS之外的多维分析工具，皓竹采纳导出模板，指导厂商依据整理模板梳理OA1.P元数据，批fit导入元数据诲. 以上方式除存储元数据实体外，关系维护也同时生成，4.5.1.3 ET1.元数据站竹能供应对ETI.主流工具datas1.agc.In1.ormatica的自动解析狭得元数据功能.1. ET1.工具元数据实现部分> 实现前提：> ET1.元模型制定完成：相关厂商供应读取数据源的透接方式，或者供应ET1.工具游揆生成的xm1.格式的设计文件.> 皓竹对MIB工具相应接口进行读取卷数配置， 实现方式：通过WB配火数据源，作业，执行作业自动抽取即可生成ET1.元数据.实体以及关系同步生成. 假如自动解析实现效果不佳，依据现场状况考虑模板补充整理，批业导入的方式实现.2.数据处埋过程ET1.元数据实现部分（存储过程> 实现前提：> ET1.元模型制定完成：A皓竹与相关厂商约定存储过程执行Sq1.n志，厂商依据要求给出。> 皓竹对MIB工具相应接口进行读取参数配置.> 实现方式：通过V1.B用温数据源,作业，执行作业自动抽取即可生成ET1.元数据。实体和关系同步生成。4.5.1.4模型元数据皓竹能供应时建模主流工具Erwin,PowerDesigner建模元数据的自动获得元数据功能，I.Erwin或PowcrDcsigncr工具元数据,实现部分> 实现前提：> ER元模里制定完成：> 相关厂商供应通过以上提到的两类建模工具建模后，通过工具转换导出的xm1.格式文件。> 皓竹对N1.BJ:具相应接口进行读取参数配置. 实现方式：通过MIB配置数据源，作业，执行作业自动抽取即可生成建模元数据。452业务元敷福存储对于业务元数据的存储，皓竹目前成熟的方式为： 工具接口自动抽取： 模板整理批Jft导入：业务元数据包括：业务类指标、维度、基础编码,业务规则，术语等。自动获御的业务指标工具：皓竹支持arcpk>n.COgnOS_RCPOrt.MSTR等报表工具元数据自动换得.说明：由于业务指标，以及业务类的规则，维度，编码，术语等业务元数据都是世业务紧密相连,都是在建设和业务提升中不断枳累所得,所以此块的元数据殷都不规则化，一般都是运用依据调研确定的信息资源分类，提炼出特定的元模型，然后皓竹供应导入模板。厂商依据模板整理相关元数据，然后批量导入元数据库中.实体和关系同步生成.4.5.2.1 业务指标元数据业务指标工具设计类的存谛实现方式如下：> 实现前提：A指标元模型制定完成。> 皓竹从元数据系统生成指标整理模板.> 皓竹对对应系统厂商进行整埋培训.> 厂商依据要求梳理指标元数据，实现方武：通过M1.B配置X1.S数据源.作业.执行作业将梳理好的指标元数据批收导入系统。其他工具（不支持自动提取）实现的报表指标，都采纳模板批量整理，批量导入元数据原.实体和关系同步生成.4.5.2.2 业务捉术语元数搪业务规则.术谙元数据存谛实现方式如下：> 实现前提：> 依据调研信息资源分类规则，业务规则、术语元模里制定完成。> 从元数据系统导出整理模板.> 相关厂商依据模板要求检理业务规则,术语元数据，> 皓竹对M1.B工具X1.S接口进行读取参数配置。> 实现方式：通过M1.B配置数据源作业,执行作业自动抽IU即可生成业务规则.术语相美元数据。4.5.2.3 雉度3破码元数据维度，基咄编码元数据存储实现步骤如下：> 实现前提：> 依据调研信息资源分类规则,维度,基础编码元模型制定完成.从元数据系统导出整理模板.> 相关厂商依据模板要求梳理维度，基础编码元数据，> 皓竹对WB工具X1.S接U进行读取参数配置.> 实现方式：通过YIB配置数据源，作业，执行作业自动抽取即可生成维度，基础编码相关元数据。4.53管理美元IHg存储由于管理类元数据都是依据每个企业自身管理制度以及管理方式产生的元数据，所以此块的元数据一般都是文档化的，一般都是运用依据调研确定的信息资源分类，提炼出特定的元模型，然后储竹供应导入模板.厂商依掘模板整埋相关元数据.然后批届导入元数据底中.实体和关系同步生成，管理美元数据包括系统资源、人员管理,任务管理.需求流程管理、文档管理等.此块元数据的存储实现步骡为： 调研定制元模型，与客户确认， 在元数据中生成元数据整理模板.厂商和客户依据模板要求整理相关元数据和关系.皓竹将相应元数据通过MIB工具批量V入，4.6皿日常管理流程项目在初期进行了产处部署,元数据的存储后.在试运行稳定的状况下，须要依据客户项目的管理制度流程以及实际状况，摸索出一套符合XX移动的日常元数据管理流程方法.在本章节中供应一套储竹实族的元数据维护流程方案供参考.元数据的日常管理流程，主要结合客户的管理习惯结合元数据系统中用户的运用权限以及无数据中变更影响管理的功能，来实现对无数用管理系统中，元数据的增加，删除.修改等操作的雉护流程。4.6.1 元数据权限管通元数据管理系统中的用户，在元数据的操作都有严格的的限制，这个是通过创建用户的时候，给予不同的角色，来实现对不同用户的权限的限制，例如：当一个用户的笠录元数据的管理系统的角色是系统阅读者的时候.僚么此用户对系统只行阅读的权限,而没仃楼改的权限等等.又如：当此用户只有对指标郃分的操作权限的时帔，他只能对元数捌管理系统中的指标部分数据进行操作，而对其他接口等部分数据就没有操作权限°通过这种给予不同权限.来实现对元数据的潍妒的一个管理，4.6.2 遢过元数据变更流程进行维护管理元数据管理系统中,除了可以运用权限来限制无数据的维护之外，还有通过元数据管理系统中的变更影响功能来进行元数据维妒管理,其主要实现步骤如下：首先，元数据管理系统中，己羟安排了相关的主要维护人，假如须要修改元数据管理系统中的元数据，必备得到这些维护人的审核才可以进行，当操作者须要对元数据管理系统中的某个元数据进行修改的时候,会提交一个印请给相关的维妒人,维护人通过元数据管埋系统中的血统分析,影响分析等功能，来推断所提交的申请变更的元数据,是否会对别的元数据产生重大的影响。然后,依据推断结果,返回给操作者是否可以对此元数据进行修改.4.63元数据反步It护4.6.3.1 业务元数据同步雉护业务元数据的同步,上耍指手工录入的方式，对元数据管理系统的北芬元数据,例如：KP1.指标，业务规则等数据进行更新，通过我们供应的规定的业务元数据整理模板，然后依据模板来填写相应的数据,可以批Ift的对指标的数据的录入与更新.当数据仓库中的相关业务无数据发生改变的时候,那么元数据管理系统中的数据也要随之同步更新,城议分以卜步骤走：> 业务人员提出业务元数据发生改变.> 需求评审，确认，设计。> 厂商住生产系统中实现.厂商相关人员提交元数据变更申请.> 局方确认.> 元数据械理，客户对梳理内容确认.> 变更元数据入库，业务元数据同步维护流程图4.6.3.2 管理元数据同步维护管理元数掂同步，与业务元数据的同步过程很一样.也是从通过填写导入模板来实现接口文件的数据的批埴的录入。当相关的管理元数据发生改变的时候.那么元数据管理系统中的数擀也要随之同步更新。4.6.3.3 元数据同步雉护ET1.程序的同步，工具部分的ET1.发生改变后，此部分元数据可以通过佻成商或者客户确认更新后，元数据缅护工程师接到变更要求后，由维护工程师执行MIB,将相应变更元数据通过M1.B自动解析入库.数据处埋过程中的相关ET1.（存储过程）,此部分在元数据建设调研期，就须要和厂商约定好存储过程执行时输出符合解析要求的Sq1.日志.然后皓竹配HMIB数据源，作业，定期执行即可保持与生产系统的元数据同步.ET1.元数据变更维护流程图4.6.3.4 舞衰结构元数据同步健护库表结构元数据的同步维护.我们实现的主要的方式是通过我们的库表抽取程序.来对库表中的结构进行抽取.而且也是可以依据实际的现要.自动的对数据库表中的结构进行抽取。当数据仓库中的相关库表结构发生改变的时候，可以以定期同步的方式，通过自动诩度任务来实现库次结构元数据的同步维护.4.6.3.5 ErEn元数据同步修护ErWin数据同步,主要是通过向元数据管理系统中导入EEin工具生成的Xm1.文件.从而实现对元数据的Erwin的数据的更新.4.7 元数据交付、培训在项目完成产品部詈以及现场客户运用需求完成元模型定制.元数据的基础存储后.依据项目产品枪定运行要求后。皓竹进行元数据项目实施后的交付，目交付包括以下工作: 元数据项目实施阶段成果汇报. 元数据产品培训，功能培训， 元数据H常维护培训I.4.8 元数据管理应用定制依据X*移动前期元数据的建设和运用状况，进行元数据应用定制开发，使得无数据融入XX格动项目开发生产过程.促使无数据项目与数据仓库项目结合史塔定.充分发挥元数据建设价值。说明：具体的元数据管理应用定制开发，视项目状况和现场应用需求而定。5 元IHR建设中晏的Ifr作工作为保证元数据项目建设过程中的效率，以及实施侦量，沟要集成南以及移动进行以下协作工作。元数据建设相关协作说明主要任务蝴舞环节要求负责方协调方备注项目调研项目建设整体要求调研厂商例贵人移动皓竹主导元数据建设前期建设甯求词研.移动的调相关厂商负di人参加.管理范国元数据管理范恨确定厂商例责人移动经三方确定下元数抠管理范陶元模型定IH各类元模型定IM厂商倒成人移动皤竹在四研后主导元模型定制，移动相应负责人需与厂商相应负责人参加定制并确认元根型定制的合理性.元数据存储DB元数擀数据卸屣接方式,权限供应厂商仇或人移动厂商负灾人供应要抽取的收据库的数据诋进接方式.机PR.建模元数据供应厂筋负或人移动厂商供应建模工具生成的xmi格式文件.接口文件元数据梳理Siiew移动皓竹指导悠理过程.Mf理相关兀数据，O1.AP元数据狭得信息供陶厂筋工程帧移动厂商供陶数据源侑息.KT1.元数据数据源信息供应厂商工程师移动厂商供应数据海信息.数据处理过程输出日志改造厂商工程加移动厂商依据的竹的饕求改造输出Sq1.日志.数据处理过程元数据整理厂商工程悚带动不符合自动解析要求部分.厂商须要依据标准模板整理,业务类元数据整理厂商工程加移动业务元数据.厂商依据模板要求检理，崎竹指导梳理.管理类元数据整理厂商1：程研移动对管理类元数据，厂商依据模板卷求梳理,皓竹指导梳理.6 备份策略元数据管理臻统有总独的存储库，存储座类型为。racc.为确保数据平安，防止数据丢失,元数据管理系统fii周口自动备份存储库，将存储库数据全备为dmp文件，导出orac1.e数据库文件的同时.将文件多符份一份到其它t务器,为节约磁盘空间,每半年系统自动消理dmp文件,只保留最新的备份文件.当发生数据误刑或灾难性事故,通过最近的dmp文件来红原元数据管理系统的数据.导tt1.dmp文件吩咐:expUSerJpa$WQrddbIame111.e=xxxmetaone.dmp；导入dmp文件吩咐：impuscrpassword(Sdbname,i1.c=xxxmctaonc.dmp：