第2章数据仓库的数据存储与处理.ppt

2023/6/26,数据仓库与数据挖掘,1,第2章 数据仓库的数据存储与处理,谢红侠,2023/6/26,数据仓库与数据挖掘,2,2.1 数据仓库的三层数据结构,2023/6/26,数据仓库与数据挖掘,3,2.2 数据仓库的数据特征,状态数据与事件数据 当前数据与周期数据 数据仓库中的元数据,2023/6/26,数据仓库与数据挖掘,4,2.3 数据仓库的数据ETL过程,ETL概念ETL过程前后数据的特征 数据的ETL过程描述 抽取（Capture/Extract）清洗（Scrub/Cleanse）转换（Transform）加载和索引（Load/Index）,2023/6/26,数据仓库与数据挖掘,5,ETL的概念,数据ETL是用来实现异构数据源的数据集成，即完成数据的抓取/抽取（Capture/Extract）、清洗（Scrub or data cleansing）、转换（Transform）、装载与索引（Load and Index）等数据调和工作,2023/6/26,数据仓库与数据挖掘,6,数据的ETL过程描述,2023/6/26,数据仓库与数据挖掘,7,数据ETL过程的实施要点,ETL过程是一个数据流动的过程，中间的“T”（转换）是关键；ETL工具的选择非常重要，运用合适的工具会事半功倍；如何保证数据质量？数据质量在一定程度上决定了数据仓库的价值。,2023/6/26,数据仓库与数据挖掘,8,2.4 多维数据模型和星模式,多维数据模型及其相关概念 多维数据模型的物理实现 多维建模技术简介 一个星模式的例子,2023/6/26,数据仓库与数据挖掘,9,多维数据模型及其相关概念,有关多维数据模型的几个概念：维、维类别、维属性、度量、粒度及分割等 关于数据综合级别与粒度的确定:一般把数据分成四个级别：早期细节级、当前细节级、轻度综合级、高度综合级,2023/6/26,数据仓库与数据挖掘,10,多维数据模型的物理实现,多维数据库（MDDB）,其数据是存储在大量的多维数组中，而不是关系表中,与之相对应的是多维联机分析处理（MOLAP）关系数据库是存储OLAP数据的另一种主要方式。与之对应的是关系联机分析处理（ROLAP）,2023/6/26,数据仓库与数据挖掘,11,多维建模技术简介,两种主流建模技术:由Inmon提出的企业级数据仓库模型和由Kimball提出的多维模型；基于关系数据库的多维数据建模，如星型,雪花和事实星座模式；关于事实表、维表及键的设计,2023/6/26,数据仓库与数据挖掘,12,一个星模式的例子,