数据仓库的设计与开发课件.ppt

,第4章数据仓库设计与开发S,引例:沃尔玛的数据仓库沃尔玛利用NCR的 Teradata可对7.5TB的数据进行存储这些数据主要包括各个商店前端设备(POS、扫描仪)采集来的原始销售数据和各个商店的库存数。 Teradata数据库里存有196亿条记录,每天要处理并更新2亿条记录,要对来自6000多个用户的48万条查询语句进行处理销售数据、库存数据每天夜间从3000多个商店自动采集过来,并通过卫星线路传到总部的数据仓库里。沃尔玛数据仓库里最大的一张表格(Tabe)容量已超过300GB、存有50亿条记录,可容纳65个星期3000多个商店的销售数据,而每个商店有5万到8万个商品品种。利用数据仓库技术,沃尔玛对商品进行市场类组分析,即分析哪些商品顾客最有希望一起购买。,思考:沃尔玛的数据仓库是怎样建成的?,教学目标掌握数据仓库的设计和开发方法数据模型的设计维度设计粒度设计数据仓库的开发步骤,本章内容41数据仓库的开发过程及特点1.数据仓库的开发过程2.数据仓库的开发特点42数据模型设计1.概念模型2.逻辑模型3.物理模型4.维度的设计4.3数据仓库的粒度设计44创建数据仓库的基本步骤,1.数据仓库的开发过程按照生命周期发法可将数据仓库开发的全部过程分成三个阶段。(1)数据仓库规划分析阶段(2)数据仓库设计实施阶段(3)数据仓库的使用维护阶段这三个阶段不是简单的循环往复,而是不断完善提高的过程般情况下,数据仓库系统都不可能在一个循环过程完成,而是经过多次循环开发,每次循环都会给系统增加新的功能,这种循环的工作永远不会终结,数据仓库也就一直处于一个不断完善、不断提高的循环过程中。,数据仓库开发的生命周期规划与开发概念开发逻确定需模型辑模型数据仓库评价规划分析阶段设计体系结构数据仓库数据仓使用维护阶段(开发过程库维护数据库元设计实施阶段(数据设计数据仓确定数库应用数据装据抽取开发载预测中间件,数据仓库开发的生命周期1)DW规划分析阶段调查、分析DW环境;完成DW的开发规划;确定DW开发需求。建立包括实体图、星型模型、雪花模型、元数据模型及数据源分析的主题域数据模型,并且根据主题域数据模型开发Dw逻辑模型。,数据仓库开发的生命周期2)DW设计实施阶段根据DW的逻辑模型设计DW体系结构;为DW中每个目标字段确定其在业务系统或外部数据源中的数据来源;开发或购买用于抽取、清洗、转换和聚合数据等中间件程序;将数据从数据源加载到DW,并且进行测试,数据仓库开发的生命周期3)DW使用维护阶段投入使用,且在使用中改进、维护DW;对DW进行评价,为下一个循环开发提供依据,