基于CWM的数据仓库体系结构设计课件.ppt
基于CWM的数据仓库体系结构设计,2022/12/15,基于CWM的数据仓库体系结构设计,基于CWM的数据仓库体系结构设计2022/9/23基于CWM,我的工作,提出了一个基于CWM的数据仓库体系结构 基于该体系结构,参与设计和实现了一个电信综合业务信息服务平台,基于CWM的数据仓库体系结构设计,我的工作 提出了一个基于CWM的数据仓库体系结构基于CWM的,提纲,背景介绍 数据仓库、元数据理论介绍 CWM、MOF、UML、XMI规范介绍 基于CWM的数据仓库体系结构设计 电信综合业务信息服务平台设计,基于CWM的数据仓库体系结构设计,提纲 背景介绍基于CWM的数据仓库体系结构设计,背景介绍,数据仓库的应用越来越广泛 不同数据仓库工具之间无法进行数据交换 企业的应用受到工具的限制 利用元数据可以实现数据交换,基于CWM的数据仓库体系结构设计,背景介绍 数据仓库的应用越来越广泛基于CWM的数据仓库体系结,提纲,背景介绍 数据仓库、元数据理论介绍 CWM、MOF、UML、XMI规范介绍 基于CWM的数据仓库体系结构设计 电信综合业务信息服务平台设计,基于CWM的数据仓库体系结构设计,提纲 背景介绍基于CWM的数据仓库体系结构设计,数据仓库理论,数据仓库的定义 数据仓库的建设 数据仓库的应用 国内数据仓库建设的问题,基于CWM的数据仓库体系结构设计,数据仓库理论 数据仓库的定义基于CWM的数据仓库体系结构设计,元数据,定义描述数据的数据 研究元数据的原因管理、使用数据的需求系统分布和互通的要求元数据重用、共享的要求,基于CWM的数据仓库体系结构设计,元数据 定义基于CWM的数据仓库体系结构设计,元数据的建模和标准化,建模的两大方向 元数据参考模型 元数据模型 标准化OMGMDC,基于CWM的数据仓库体系结构设计,元数据的建模和标准化 建模的两大方向基于CWM的数据仓库体系,提纲,背景介绍 数据仓库、元数据理论介绍 CWM、MOF、UML、XMI规范介绍 基于CWM的数据仓库体系结构设计 电信综合业务信息服务平台设计,基于CWM的数据仓库体系结构设计,提纲 背景介绍基于CWM的数据仓库体系结构设计,元数据的层次,基于CWM的数据仓库体系结构设计,元数据的层次 Student(“张东”,“男”,)Reco,OMG规范和元数据层次的关系,基于CWM的数据仓库体系结构设计,OMG规范和元数据层次的关系 元数据层次示例M3元元模型MO,CWM和相关规范的关系,CWM和MOF的关系 CWM和UML的关系直接继承了UML核心元模型使用UML图形标记使用UML中的OCL(对象约束语言) CWM和XMI的关系,基于CWM的数据仓库体系结构设计,CWM和相关规范的关系 CWM和MOF的关系基于CWM的数据,CWM的组成,CWM元模型基础包资源包分析包管理包 CWM DTD和CWM XML CWM IDL,基于CWM的数据仓库体系结构设计,CWM的组成 CWM元模型基于CWM的数据仓库体系结构设计,提纲,背景介绍 数据仓库、元数据理论介绍 CWM、MOF、UML、XMI规范介绍 基于CWM的数据仓库体系结构设计 电信综合业务信息服务平台设计,基于CWM的数据仓库体系结构设计,提纲 背景介绍基于CWM的数据仓库体系结构设计,基于CWM的数据仓库体系结构,基于CWM的数据仓库体系结构设计,基于CWM的数据仓库体系结构基于CWM的数据仓库体系结构设计,数据源,OLTP数据库 遗留数据 内部办公系统数据 外部数据,基于CWM的数据仓库体系结构设计,数据源 OLTP数据库基于CWM的数据仓库体系结构设计,数据源,多种类型:关系型、多维、 记录、XML以及其它一些工具类型关系型:模式,物理表, 视图,字段,索引,触发器,外关键字 ,主关键字 ,数据类型,字段值,数据记录,记录的集合,基于CWM的数据仓库体系结构设计,数据源多种类型:关系型、多维、 记录、XML以及其它一些工,Relational元模型,基于CWM的数据仓库体系结构设计,Relational元模型基于CWM的数据仓库体系结构设计,Relational元模型(续1),基于CWM的数据仓库体系结构设计,Relational元模型(续1)基于CWM的数据仓库体系结,Relational元模型(续2),基于CWM的数据仓库体系结构设计,Relational元模型(续2)基于CWM的数据仓库体系结,基于CWM的数据仓库体系结构设计,基于CWM的数据仓库体系结构设计,关系型数据源的主要接口,BaseTable:查询和修改表的属性、触发器和结构 Catalog:查询和修改包含的元素 Column:查询和设置属性 Row:查询和修改一条记录的内容 RowSet:查询和修改包含的记录,基于CWM的数据仓库体系结构设计,关系型数据源的主要接口 BaseTable:查询和修改表的属,ETL,读取数据 清洁数据 转换数据 装载数据,基于CWM的数据仓库体系结构设计,ETL 读取数据基于CWM的数据仓库体系结构设计,ETL组件的接口,黑盒变换:Transformation ,DataObjectSet ,TransformationUse 白盒变换:FeatureMap ,ClassifierMap ,ClassifierFeatureMap ,TransformationMap 变换的执行顺序控制:TransformationTask ,TransformationStep ,TransformationActivity ,StepPrecedence ,PrecedenceConstraint,基于CWM的数据仓库体系结构设计,ETL组件的接口 黑盒变换:Transformation,中央数据仓库,数据粒度最细且多层次 数据是历史的 数据是时间相关的 大数据量 数据是整合的 通用的、全局的,基于CWM的数据仓库体系结构设计,中央数据仓库 数据粒度最细且多层次基于CWM的数据仓库体系结,操作数据存储ODS,基于CWM的数据仓库体系结构设计,操作数据存储ODS 操作型系统O D S1/21/2企 业,数据集市,基于CWM的数据仓库体系结构设计,数据集市企 业最细粒度数据集市部门2粒度2数据集市部门1粒度,数据集市的特点,面向部门应用 规模小,投资少 使用方便且成本低,基于CWM的数据仓库体系结构设计,数据集市的特点 面向部门应用 基于CWM的数据仓库体系结构设,元数据库,类型:中央元数据库本地元数据库 内容: 抽取过程:任务、执行顺序、映射关系、转换规则描述数据 :方位图、数据之间的商业关系、商业规则、数据的改变数据仓库管理:安全性、运行状态、抽取过程的调度、I/O对象及其关系,基于CWM的数据仓库体系结构设计,元数据库 类型:基于CWM的数据仓库体系结构设计,数据仓库管理,访问控制和安全性管理 数据增长管理 抽取过程的管理 性能管理 故障恢复 扩充和演变管理,基于CWM的数据仓库体系结构设计,数据仓库管理 访问控制和安全性管理 基于CWM的数据仓库,数据仓库管理接口,抽取过程的调度(WarehouseProcess,WarehouseEvent,InternalEvent,ScheduleEvent,ExternalEvent) 抽取过程的执行(TransformationExecution,StepExecution,ActivityExecution) 数据元素的变化(Measurement,ChangeRequest),基于CWM的数据仓库体系结构设计,数据仓库管理接口 抽取过程的调度(WarehouseProc,OLAP组件接口,立方体的定义:Cube,CubeDimAssoc,CubeRegion,Dimension,Hierarchy,Level,Mearsure, LevelBasedHierarchy,HierarchyLevelAsso, ValueBasedHierarchy,MemberSelection,MemberSelGrp, 立方体到物理数据源的映射StructureMap, LevelBasedHierarchy, ValueBasedHierarchy,基于CWM的数据仓库体系结构设计,OLAP组件接口 立方体的定义:Cube,CubeDimA,数据挖掘组件的主要类及接口,MiningModel:模型属性和模型的输入 MiningSettings:对象属性,输入参数的说明 ApplicationInputSpecification, ApplicationAttribute:使用模型时的参数 MiningModelResult:挖掘的结果 SupervisedMiningModel: 描述预言性算法产生的模型 StatisticsSettings, AssociationRulesSettings, ClusteringSettings, ClassificationSettings, RegressionSettings:对应模型的设置,基于CWM的数据仓库体系结构设计,数据挖掘组件的主要类及接口 MiningModel:模型属性,基于CWM的数据仓库体系结构的特点及优点,统一的数据集市和数据仓库 中央元数据库驱动机制 灵活高效的数据交换方式 易于升级 高度的可集成性 高度的可扩展性,基于CWM的数据仓库体系结构设计,基于CWM的数据仓库体系结构的特点及优点 统一的数据集市,基于CORBA的企业数据仓库扩展结构,基于CWM的数据仓库体系结构设计,基于CORBA的企业数据仓库扩展结构 对 象 服 务企业数据,提纲,背景介绍 数据仓库、元数据理论介绍 CWM、MOF、UML、XMI规范介绍 基于CWM的数据仓库体系结构设计 电信综合业务信息服务平台设计,基于CWM的数据仓库体系结构设计,提纲 背景介绍基于CWM的数据仓库体系结构设计,系统体系结构设计,基于CWM的数据仓库体系结构设计,系统体系结构设计基于CWM的数据仓库体系结构设计,演讲完毕,谢谢听讲!,再见,see you again,2022/12/15,基于CWM的数据仓库体系结构设计,演讲完毕,谢谢听讲!再见,see you again2022,