数据仓库结构体系.ppt

主讲人：Echo,数据仓库体系结构,主要内容,引言示例数据仓库体系结构,1 引言,数据仓库是一种体系结构。数据仓库是建立在事务处理数据源系统之上的。数据仓库是管理信息系统的“上层建筑”。数据仓库体系结构是一种方法。,2.1 示例（1）,源数据层数据预处理层数据仓库数据存储与管理层应用工具层,数据仓库体系结构图,2.2 示例（2）,数据源监视器包装器集成器数据仓库客户应用,数据仓库体系结构图,2.3 示例（3）,数据获取数据组织数据应用数据展示,数据仓库体系结构图,2.4 示例（4）,数据建模层数据获取层数据存储层数据访问层数据与源数据管理层,3 数据仓库体系结构,结构层次,数据源数据后端处理数据仓库及其管理数据集市数据仓库应用数据展示,3.1 数据源层,数据源为数据仓库提供数据来源。它是多种联机事务处理系统及外部文件。一个数据仓库可以有多个数据源。数据源一般是分布在网络中的各个结点，通过网络中的数据接口与数据仓库连接。,3.2 数据后端处理层,数据源中的数据经提取、清洗、转换最终成为数据仓库所需的数据。后端处理是数据源与数据仓库间的数据接口层，也叫抽取层。功能是构建数据统一体数据仓库。完整的后端处理：对数据源中的数据进行提取、清洗、转换、加载、刷新，最终构建成数据仓库所需的数据。,数据提取：收集外部数据源中的数据。数据清洗：将数据源中数据经过提取后清除噪音或脏数据，进行修补而形成具有语法/语义正确的数据。数据转换：将数据源中数据根据转换规则转换成DW中的数据。数据加载：将数据源的数据经过清洗、转换后所形成的数据装入到数据仓库内。数据刷新：是数据加载的特殊形式。,数据提取、数据清洗、数据转换和数据加载构成了后端处理4个连续环节，数据源中的数据经过4个不同处理环节最终进入数据仓库中，构成了如图所示的后端处理数据流程图。而数据刷新则是另一个数据仓库入口点，它与数据提取并行作为另一种入口点进入数据仓库。,数据后端处理流程图,3.3 数据仓库及其管理层,数据仓库数据仓库管理元数据管理,3.3.1 数据仓库,数据仓库负责存储分析、决策数据。它一般以关系结构形式存储，能支持数据共享。从外部表现上看，它类似于传统关系数据库。在使用中数据仓库一般有两种方式：通用方式&专用方式。,3.3.2 数据仓库管理,数据仓库管理则负责管理数据仓库。DWMS是一种专门用于管理数据仓库的软件。具体功能：1）DW数据模式定义；2）DW数据操纵；3）DW数据控制；2）DW数据服务。,3.3.3 元数据管理,元数据是数据之数据。元数据相当于数据库中数据字典。元数据管理负责对元数据进行管理。元数据内容、元数据管理、元数据使用。,3.4 数据集市层,此层为局部数据仓库或部门数据仓库，为指定的应用提供数据支撑。数据集市是一种特殊形式的DW。独立型数据集市&依赖型数据集市。,3.5 数据仓库应用层,是以数据仓库为基础的应用。为应用服务的，此层包括分析、决策应用，如OLAP、DM等。该层主要包括两种应用：分析、决策应用&统一平台的建立与应用。,典型的蜘蛛网结构示意图,3.6 数据展示层,负责应用结果显示，也可称为数据前端处理。数据仓库的数据展示有多种固定的图板。数据展示可以通过联机方式表示，也可以通过Web方式表示。,参考文献,耿麒麟,赵太祥.多层次的数据仓库系统框架J.中国科技信息,2010(2):89-89.张洪.基于数据仓库的决策支持系统J.企业导报,2010(7):280-281.李兴国,金芳芳,于海峰.基于数据仓库的决策支持系统的体系结构J.合肥工业大学学报,2003,8(26):678-682.宋旭东,银晓明,宋亮,刘晓冰.基于同意师徒的数据仓库体系结构及其构建方法J.计算机应用该研究,2009,4(26):1384-1385.,参考文献,徐海琛,张献华.数据仓库及其体系结构建设J.国土资源信息化,2006(6):34-38.徐洁馨.2005.数据仓库与决策支持系统.北京:科学出版社.池太崴.2009.数据仓库结构设计与实施.北京:电子工业出版社(第二版).敖富江(译).2004.数据仓库、挖掘和可视化核心概念.北京:清华大学出版社.王丽珍,周丽华,陈红梅,肖清.2009,数据仓库与数据挖掘原理及应用.北京:科学出版社.,The End感谢您的关注！,