BI基础概念课件.ppt
《BI基础概念课件.ppt》由会员分享,可在线阅读,更多相关《BI基础概念课件.ppt(62页珍藏版)》请在三一办公上搜索。
1、.,1,BI的价值,如何构建BI,数据仓库设计中的几个重要概念,维度建模,目目录,.,2,操作型数据 如:某商场1瓶价格为88元的葡萄酒在被购买的过程中,收银员实际收到100元,找零12元。特点:细节化,分散化,关键概念,.,3,关键概念,决策型数据 如:该商场在1月9日上午一共卖出了多少瓶葡萄酒?该商场的所有葡萄酒总销量在一年中什么时候最高和最低?特点:综合化,集成化,.,4,企业对应用集成的需求,我要了解企业目前的运转情况!(实时监控)我要知道某地区近5年内的销售情况以制定未来的发展策略!(决策支持)我要知道哪些是值得发展的优质的顾客!(预测),.,5,BI应用带来的关键效益,洞察力获得对
2、业务绩效,流程和客户的可见性和洞察力更好的进行决策和执行决策,以快速应对机会和挑战协同一致横跨多个业务和数据源,获得唯一的、一致的企业信息在各业务层面中协同战略和执行,.,6,BI应用带来的关键效益,中层管理分析:专注点是 绩效的战术应用与目标相比,我做的如何?问题在哪里,高层领导分析:专注点是 计划战略&目标制定 业务发展得如何,我们下一步该往哪里走,通过集成实时与历史数据,将分析转换为执行力,一线分析:专注点是 执行有效性与行动我每天要做哪 3-5 件事情哪些信息能让我更有效地执行这些行动?回答问题:我现在该做哪些事情?,.,7,数据仓库的概念,数据仓库(Data Warehouse)是一
3、个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支撑管理决策。,.,8,BI的价值,如何构建BI,数据仓库设计中的几个重要概念,维度建模,目目录,.,9,BI应用架构,BI 应用,.,10,BI系统架构,Microsoft Office,BI Server,BI Presentation Server,交互式信息板 即席查询 报表分析 预警提醒,商务智能应用前端展示层,商务智能服务层,前端展示层,应用服务层,数据库层,数据源层,商务智能应用模型架构:财务、销售、订单、服务、市场、供应链、人力,ETL,商务智能应用数据存储星型模型,Cube,.,11,构建BI涉及的开发工具,查询工
4、具与电子制表,ETL 与元数据管理,报表与文档管理,OLAP多维分析,DataMining数据挖掘,Portal门户网站,主流产品:ETL:Informatica、Datastage、Kettle、SSIS前端展现:Oracle BIEE、Business Object、MicroStregy、Cognos、Oracle Essbase、SmartBI整体解决方案:Oracle BI Apps,.,12,数据仓库设计中的几个重要概念,ETL ETL是将业务系统的数据经过抽取(Extract)、清洗转换(Transform)之后加载(Load)到数据仓库的过程,目的是将企业中的分散、零乱、标准不
5、统一的数据整合到一起,为企业的决策提供分析依据。ETL是BI项目重要的一个环节。通常情况下,在BI项目中ETL会花掉整个项目的1/3的时间,ETL设计的好坏直接关接到BI项目的成败。ETL的实现有多种方法,常用的有三种。一种是借助ETL工具实现,一种是SQL方式实现,另外一种是ETL工具和SQL相结合。前两种方法各有各的优缺点,借助工具可以快速的建立起ETL工程,屏蔽了复杂的编码任务,提高了速度,降低了难度,但是缺少灵活性。SQL的方法优点是灵活,提高ETL运行效率,但是编码复杂,对技术要求比较高。第三种是综合了前面二种的优点,会极大地提高ETL的开发速度和效率。,.,13,数据仓库设计中的几
6、个重要概念,数据集市(Data mart)也叫做“小数据仓库”。如果说数据仓库是建立在企业级的数据模型之上的话,那么数据集市就是企业级数据仓库的一个子集,他主要面向部门级业务,并且只面向某个特定的主题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。即席查询(Ad hoc queries)是指那些用户在使用系统时,根据自己当时的需求定义的查询。即席查询生成的方式很多,最常见的就是使用即席查询工具。一般的BI展现工具都会提供即席查询的功能。通常的方式是,将数据仓库中的维度表和事实表映射到语义层,用户可以通过语义层选择表,建立表间的关联,最终生成SQL语句。即席查询与通常查询从SQL语句上来说,并
7、没有本质的差别。它们之间的差别在于,通常的查询在系统设计和实施时是已知的,所有我们可以在系统实施时通过建立索引、分区等技术来优化这些查询,使这些查询的效率很高。而即席查询是用户在使用时临时生产的,系统无法预先优化这些查询,所以即席查询也是评估数据仓库的一个重要指标。,.,14,数据仓库设计中的几个重要概念,ODS(Operational Data Store,操作数据存储)ODS在通常的数据仓库架构中都是一个可选的部件,它和数据仓库起到互相补充的作用。最早给ODS下定义的是数据仓库之父Inmon。他的定义是,操作数据存储(ODS)是面向主题的、集成的、可变的、反映当前数据值的和详细的数据的集合
8、,用来满足企业综合的、集成的以及操作型的处理需求。Inmon的这个定义与他对数据仓库的定义很像。其中前两个特性和数据仓库是一样的,即都是面向主题的和集成的,而后三个特性和数据仓库相差较大。ODS中的数据是可以变化的:这一点是Inmon相对与他的CIF(企业信息工厂)中的数据仓库来说的,在CIF中,数据仓库中的数据是不进行更新的,对于错误的处理通常是采用新的快照来进行保存。而ODS是可以按常规方法进行更新的。,.,15,数据仓库设计中的几个重要概念,ODS(Operational Data Store,操作数据存储)ODS反映当前数据值:这一点是指ODS中不会长期的保留数据,通常ODS保留的数据
9、的时限最长到一个月或三个月。而数据仓库可以保留五年、十年或更长的数据。ODS中保留详细数据:这一点是说ODS中只保留原子数据,而不保留汇总数据。而在数据仓库中原子数据和汇总数据都会进行保留。这和ODS可更新的特性相关,因为随时可能将操作型系统的数据变化更新到ODS中,并且数据的迁移时间间隔会很短,这都使汇总数据在ODS中的意义不大。,.,16,数据仓库设计中的几个重要概念,1.建造企业数据仓库建设中心数据模型一次性的完成数据的重构工作最小化数据冗余度和不一致性存储详细的历史数据2.从企业数据仓库中建造数据集市得到大部分的集成数据直接依赖于数据仓库的可用性,1.创建部门的数据集市范围局限于一个主
10、题区域快速的ROI-局部的商业需求得到满足本部门自治-设计上具有灵活性对其他部门数据集市是一个好的指导容易复制到其他部门 需要为每个部门做数据重建有一定级别的冗余和不一致性2.扩大到企业数据仓库创建EDB作为一个长期的目标,投资效益的时间?建设中心数据模型的必要性和可能性?初始费用?,自上而下,VS,自下而上,数据集市的数据都是可用的吗?能生成数据模型吗?如何解决不一致性?,.,17,目录,BI的价值如何构建BI数据仓库设计中的几个重要概念 维度建模基础术语建模中的三种模型维度的类型常用的事实表类型建模的一般过程,.,18,基础术语,事实表是指其中保存了大量业务度量数据的表。事实表中的度量值一
11、般称为事实。在事实表中最有用的事实就是数字类型的事实和可加类型的事实。事实表的粒度决定了数据仓库中数据的详细程度。一般事实表中只存放数字或者一些Flag用来统计(Count),如收益、数量、支出等,销售事实,收益数量支出毛利,事实表(Fact Table),.,19,基础术语,维度表可以看作是用户分析数据的窗口,维度表中包含事实数据表中事实记录的特性,有些特性提供描述性信息,有些特性指定如何汇总事实数据表数据,以便为分析者提供有用的信息。,客户维,时间维,商场维,产品维,销售事实,时间ID客户ID产品ID商场ID收益数量支出毛利,维度表(Dimension Table),.,20,基础术语,粒
12、度是指数据仓库中数据的细化或综合程度的级别,也就是数据的详细程度。细节程度越高,粒度级就越低,反之亦然。我可以用很多的数据,但同样我也可以只用必需的数据。而这起决于存储器。如果有很大的硬盘,那就没有我们不能存的事情。设计粒度是设计数据仓库中的一个重要前提,粒度(Grain),高细化,低细化,每月200个记录每月40,000个字节,每月一个记录每月200个字节,通过检索可以回答,无细节无法回答,.,21,基础术语,粒度是指数据仓库中数据的细化或综合程度的级别,也就是数据的详细程度。细节程度越高,粒度级就越低,反之亦然。我可以用很多的数据,但同样我也可以只用必需的数据。而这起决于存储器。如果有很大
13、的硬盘,那就没有我们不能存的事情。设计粒度是设计数据仓库中的一个重要前提,粒度(Grain),高度综合级,轻度综合级(数据集市),销售细节级2000-2001,操作型转换,每月销售1994-2001,每周销售1994-2001,当前细节级,.,22,目录,BI的价值如何构建BI数据仓库设计中的几个重要概念 维度建模基础术语建模中的三种模型维度的类型常用的事实表类型建模的一般过程,.,23,建模中的三种模型,星形模型(Star Schema)雪花模型(Snowflake Schema)多维模型(Multi-dimension Schema),.,24,建模中的三种模型,事实表被维度所包围,维表和
14、事实表通过主关键字和外关键字联系在一起,且维度没有被新的表连接,客户维,时间维,商场维,产品维,销售事实,时间ID客户ID产品ID商场ID收益数量支出毛利,星形模型(Star Schema),.,25,建模中的三种模型,事实表被多个维表或一个或多个层次所包围,雪花模型一般在处理大的且相对静态的层次的时候使用,雪花模型(Snowflake Schema),客户维,时间维,商场维,产品维,销售事实,时间ID客户ID产品ID商场ID收益数量支出毛利,联系人维,区域维,.,26,目录,BI的价值如何构建BI数据仓库设计中的几个重要概念 维度建模基础术语建模中的三种模型维度的类型常用的事实表类型建模的一
15、般过程,.,27,维度的类型,缓慢变化维(Slowly Changing Dimension)快速变化维(Rapidly Changing Dimension)大维(Huge Dimension)和微型维(Mini-Dimension)退化维(Degenerate Dimension),.,28,维度的类型,缓慢变化维(Slowly Changing Dimensions,简称SCD),缓慢变化维的提出是因为在现实世界中,维度的属性并不是静态的,它会随着时间的流失发生缓慢的变化(如:组织结构的调整、客户更改了他的名称或地址)。这种随时间发生变化的维度我们一般称之为缓慢变化维,并且把处理维度表的
16、历史变化信息的问题称为处理缓慢变化维的问题,有时也简称为处理SCD的问题。处理缓慢变化维的方法通常有三种方式:第一种方式是直接覆盖原值,通常简称为“TYPE 1”。这样处理,最容易实现,但是没有保留历史数据,无法分析历史变化信息。第二种方式是添加维度行,通常简称为“TYPE 2”。这样处理,需要代理键的支持。实现方式是当有维度属性发生变化时,生成一条新的维度记录,主键是新分配的代理键,通过自然键可以和原维度记录保持关联。第三种方式是添加属性列,通常简称为“TYPE 3”。这种处理的实现方式是对于需要分析历史信息的属性添加一列,来记录该属性变化前的值,而本属性字段使用TYPE 1来直接覆盖。这种
17、方式的优点是可以同时分析当前及前一次变化的属性值,缺点是只保留了最后一次变化信息。,.,29,维度的类型,客户Simmy将自己的地址由原先的Addr1改为Addr2。这时我们需要将这个记录了客户Simmy的记录中Address从Addr1更新为Addr2,且不记录历史,ID:111,Name:SimmyAddress:Addr1,ID:111,Name:SimmyAddress:Addr2,OLD,记录ID为111的客户Simmy的信息的记录中地址直接更改为Addr2,不保存历史Addr1,缓慢变化维 Type1 e.g.,NEW,.,30,维度的类型,客户Simmy将自己的地址由原先的Add
18、r1改为Addr2。这时我们需要将这个记录了客户Simmy的记录中的有效截止日期改为现在,并重新添加一条有效截止日期为现在的和一个新的版本号且Address为Addr2的记录,ID:111Version:1,Name:SimmyAddress:Addr1Effective Start Date:2007-4-21Effective End Date:Now,ID:111Version:2,Name:SimmyAddress:Addr2Effective Start Date:NowEffective End Date:Null,ID:111Version:1,Name:SimmyAddress
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- BI 基础 概念 课件

链接地址:https://www.31ppt.com/p-2139190.html