Oracle公司数据仓库解决方案介绍 完整版.doc
《Oracle公司数据仓库解决方案介绍 完整版.doc》由会员分享,可在线阅读,更多相关《Oracle公司数据仓库解决方案介绍 完整版.doc(136页珍藏版)》请在三一办公上搜索。
1、Oracle数据仓库解决方案介绍Note: Copy Number space on the cover of each distributed copy. If the document is not controlled, you can delete this table and the Copy Number label from the cover page.目 录1前言22ORACLE 公司数据仓库系统总体方案32.1Oracle数据仓库技术解决方案32.2Oracle数据仓库解决方案优势52.2.1业务优势52.2.2技术优势62.3Oracle数据仓库解决方案带来的利益102.
2、3.1降低项目风险102.3.2降低项目成本113ORACLE 数据仓库系统工具平台134ORACLE 数据仓库产品详细说明184.1Oracle数据仓库的平台Oracle10g184.1.1Oracle 10g性能卓越184.1.2Oracle10g高度集成424.2Oracle数据库10g的OLAP选项:唯一用于商业智能的关系 多维数据库424.3Oracle数据库10g的数据挖掘选件- Oracle Data Mining644.4Oracle数据仓库设计和建立工具-Warehouse Builder794.5Oracle应用服务器- Oracle Internet Applicatio
3、n Server984.5.1OracleAS Discoverer1024.5.2Oracle Internet Directory1024.5.3Oracle应用门户- Oracle Portal1044.5.4Oracle AS 集成管理器 Integration1124.6Oracle即席查询分析工具-Oracle Discoverer1224.7Oracle Reports Developer1314.8Oracle数据仓库Java应用开发工具-Oracle JDeveloper1324.9Oracle数据挖掘工具 Oracle Data Miner1424.10OracleBI 电
4、子表格插件 Oracle Excel Add In1431 前言2 Oracle 公司数据仓库系统总体方案2.1 Oracle数据仓库技术解决方案Oracle 公司在大量国外数据仓库的实施过程中已总结出一套数据仓库总体解决方案框架,结构如下图:Oracle的数据仓库系统的逻辑体系架构是由3层组成:数据获取层:实现如何从所有源系统中获得原始的业务数据,并对其进行一致性处理,按主题进行数据重组和格式转换,然后传送并装载到数据仓库系统中。数据管理层:把数据存储到企业级数据仓库系统中;数据使用层:实现如何把数据仓库系统中的数据和分析结果提供给最终用户。按照用户的分析需求,使用报表、随即查询、多维分析和
5、数据挖掘进行数据展现。下面将对这3层进行详细的讨论:数据获取层Oracle Warehouse Builder(以下简称OWB)为数据整合工作提供集成的工作环境:数据源管理、ETL过程管理、数据模型设计、元数据管理。OWB可以管理不同类型的数据接口:数据库接口(Oracle或非Oracle)、文本文件接口。通过OWB内嵌的数据转换函数可以生成复杂的数据转换脚本,数据转换脚本由Oracle数据库内的PL/SQL存储过程实现,可以充分利用Oracle数据库的高性能、可伸缩、高可靠的特点,保证ETL过程在规定的时间窗口内完成。OWB集成了元数据管理功能,可以对数据仓库中的各个对象进行关联、影响分析,
6、生成多种元数据报告。OWB内嵌了数据质量管理功能,可以对数据源的数据质量进行分析,发现存在的错误并且自动生成错误数据处理的业务规则,对于ETL的执行过程OWB进行全程监控,生成审计报告。数据管理层Oracle 10g数据库可以统一存储和管理数据仓库中的各种不同类型的数据,包括关系型数据、OLAP数据和数据挖掘所需数据,Oracle提高标准的SQL和JAVA接口对这些数据进行访问。通过数据分区技术、索引技术、数据压缩技术等,Oracle数据库可以实现对海量数据的高效访问。Oracle 10g数据库采用网格计算技术,可以有效地管理利用企业的计算资源,实现低成本的扩展。利用数据库的管理工具Enter
7、prise Manager可以对各种数据进行统一管理,包括备份、归档、导入、导出等。数据使用层Oracle 应用服务器提供了一个开放标准的架构,是开发部署Web上的应用的理想平台。它的伸缩性,分布架构和高度数据库集成是支持关键事务、交易型应用和数据仓库的基础。Oracle 应用服务器内嵌商业智能(BI)功能,包括:Oracle Reports,Discoverer, BI Beans,Excel add-in等模块。这些模块能够分别实现固定格式的统计报表、自定义报表、即席查询、OLAP分析等功能。这些模块和Oracle数据库紧密集成,能够充分利用Oracle数据库的技术特点生成高效的商业智能应
8、用。同时,这些模块运行在Oracle应用服务器平台,具有稳定可靠、高效的特点。用这些模块开发的应用可以做到在数据级和应用级的无缝集成,实现完整的分析流程。利用Oracle应用服务器中的Portal模块可以建立统一的访问入口。Oracle Portal允许用户轻松、快捷地部署数据仓库应用,按照用户的角色和权限对功能进行定制。2.2 Oracle数据仓库解决方案优势2.2.1 业务优势2.2.1.1 现成的应用产品Oracle的数据仓库解决方案是建立在“业界最佳实践”部件上的集成解决方案。这些解决方案融合了数据、分析信息、业务规则、层次结构和报告方法。所有这些产品部件都是基于一个集成框架而设计的,
9、它涵盖了客户对数据仓库的全部业务需求,因此是一个完整的数据仓库解决方案。大量成熟的应用产品,众多的国外企业和组织使用着Oracle数据仓库产品。2.2.1.2 统一的逻辑数据模型Oracle 公司在各个业实施数据仓库系统时,使用统一的行业逻辑数据模型,逻辑数据模型具有完整性、可扩展性等特点。但其中的每一个模块又是独立的,可以单独使用。因此在实施数据仓库项目中,可以按照“总体规划,分步实施”的原则,逐步推进数据仓库项目的实施。首先实现最关心的主题,然后再逐步加以扩展。2.2.1.3 允许业务可持续发展Oracle的数据仓库解决方案是可伸缩的解决方案,它能够适应客户的业务的变化,以及由此产生的帐户
10、、交易和客户群的变化,和数据库规模的增长。2.2.1.4 最低的建设风险使用严格的数据仓库实施指导方法论来指导数据仓库的实施。Oracle的数据仓库解决方案是经过在全球上百家大企业和组织实施证明过的切实可行,能够真正满足商业银行决策分析要求的解决方案。选择Oracle的数据仓库解决方案,可以降低数据仓库项目的实施风险,保证项目的成功。2.2.2 技术优势由于Oracle采用整合的产品实现数据仓库的全部功能,减少了系统之间的接口,简化了系统的管理,加强了系统的可靠性,使得Oracle的数据仓库技术平台具有非常明显的优势:2.2.2.1 完整的数据仓库解决方案Oracle 数据仓库解决方案提供了从
11、数据获取、数据管理和数据展现三大过程,Oracle 公司是唯一一家能提供数据仓库建设每一阶段的开发工具得厂家。Oracle 10g数据库更集成了ETL、OLAP、Data mining功能,使得数据库的功能更加强大,数据仓库的集成度更高,数据仓库的管理更加容易。2.2.2.2 高性能数据仓库系统具有数据量大的特点,如何有效管理大数据量,提供高效的数据访问,是任何一个数据仓库项目都会面临的问题。Oracle数据仓库产品在技术上一直处于市场领先的地位,提供了多种技术提高数据仓库的性能,如:数据分区技术、并行处理技术、物化视图技术、索引技术和数据压缩技术等,使得Oracle数据仓库可以管理海量数据,
12、提供在大数据量下系统的高性能。Oracle数据库具有很强的并发性,可以支持10000个以上的用户同时对数据库的访问,保证了数据仓库系统较高的并发访问能力。由于Oracle数据仓库集成了ETL功能,不仅为数据采集、转换、装载工作提供了一个稳定的平台,并且可以通过数据库内置的并行操作能力提高ETL的效率。如上图所示,传统的ETL只能顺序执行(图的上半部分),而Oracle的ETL解决方案可以通过数据库的并行操作功能实现管道化、并行的执行,保证了ETL的伸缩性。数据仓库中的OLAP部分一直是系统的瓶颈,虽然其它数据仓库产品也能管理大数据量,但由于其不包含OLAP功能,必须用另外的OLAP产品实现,所
13、以并不能解决OLAP的性能瓶颈。而目前市场上的OLAP产品都是基于文件系统,所以很难支持大数据量,这一点在国内外客户的数据仓库项目中已经得到印证。Oracle由于把OLAP功能集成到了数据库中,使得这一问题迎刃而解,使OLAP分析不再受数据量的困扰。上面的图表是Oracle OLAP与其它多维数据库产品所做的性能对比测试。可以看出,随着数据量的增大和查询的复杂,多维数据库的响应时间明显延长,而Oracle OLAP的相应时间基本不变。在应用层,Oracle的分析应用基于Oracle的应用服务器。Oracle应用服务器是市场上领先的中间件产品,许多测试都表明Oracle应用服务器的性能是最好的。
14、因此,基于Oracle应用服务器的分析应用可以具有很高的性能。Oracle从数据库和应用服务器两层保证了数据仓库应用的高性能。2.2.2.3 系统灵活,易扩展数据仓库项目通常需要按照“整体规划,分步实施”的原则实施,随着数据仓库项目的深入,数据仓库的主题会不断增加,系统数据量和用户数都会不断增加,系统不可避免需要面临扩容的问题。Oracle是市场上最早支持网格计算的厂家,Oracle数据库和Oracle应用服务器都支持网格计算。可以很方便地对系统进行扩展,这种扩展包括:增加新的存储设备、增加新的服务器。当系统扩展时,Oracle数据仓库具有自适应能力,原有应用程序不需要任何修改,可以在不中断系
15、统运行的情况下实现系统的扩容。用户需求的变化也会引起数据结构的变化,并且需要对元数据进行修改,由于Oracle采用单一的元数据库(Repository) 统一管理元数据,数据仓库的各种工具,如:建模工具、ETL工具、报表工具、OLAP工具等可以访问同一个元数据库,当数据仓库需要发生变化时,可以把修改的工作量减到最小。如果采用非集成的方案,当系统扩容时必须对数据结构和应用程序进行修改。系统从修改测试到恢复使用可能需要很长的时间,影响数据仓库系统的正常使用。另外,由于系统中存在多个元数据库,技术人员必须同时修改多套元数据才能保证信息的一致。这种方案使系统扩展变得非常困难,而且加大了出错的可能性。2
16、.2.2.4 易开发,易维护由于Oracle数据库集成ETL、OLAP和数据挖掘功能,数据仓库系统内部的接口减少了,开发变得更容易。同时,由于Oracle使用标准的开发语言SQL和Java开发数据仓库的应用,而SQL和Java是标准的技术,市场上掌握这些技术的软件人员很多,可以很方便地开发高质量的应用。在系统管理和维护方面,Oracle使用统一的管理工具Enterprise Manager管理数据仓库的各个组件。数据仓库的系统维护人员在统一的环境下对系统进行管理,包括:系统的启动和关闭、数据备份恢复、系统诊断、性能监控等。如果采用非集成的方案,开发人员必须学习不同的开发工具,增加了开发成本;系
17、统维护人员必须学习不同的管理工具,分别管理数据仓库的不同模块。管理成本高,而且系统一旦出现问题,很难准确定位,及时恢复。2.2.2.5 系统可靠性高数据仓库通常是企业数据统一集中存储和分析的平台,它的可靠性也就成为了关注的重点。关系数据库已经有很长的发展历史,尤其是Oracle数据库,是市场上最成熟、最稳定的产品,这一点已经得到国内外用户的一致认可。Oracle数据库提供多种技术保证系统的可用性,如:RAC技术、闪回技术、冗灾技术等,如今,由于Oracle把ETL、OLAP和数据挖掘这些数据仓库的功能整合到了数据库中,使得用户可以利用数据库的技术保证数据仓库应用的可用性。市场上的其它数据仓库工
18、具都不具备关系数据库这样成熟稳定的特点,当系统发生故障时,也没有完善的恢复机制。如果采用非集成的方案,这些工具就成为数据仓库系统中的薄弱环节,当这些产品出现问题时,会造成全部系统不可用。2.2.2.6 快速响应时间数据仓库系统要求数据要以高度规格化方式进行组织,通过智能合计和查询间并行性使数据仓库变得更小来能提高查询性能。要充分考虑到统计、查询、分析、决策等各项功能的需要,要为复杂的查询提供最快的反应时间。Oracle数据库中的多种处理优化机制,如并行查询、并行插入更新和删除操作、并行装载、并行索引建立、分区技术等等,加上具有丰富经验的数据仓库整体应用结构和硬件结构的合理设计、数据逻辑结构和物
19、理结构的合理设计,保证了系统的快速响应时间。2.2.2.7 安全性高客户的数据仓库系统必须提供一套广泛而严密的安全机制,确保数据在存放、备份、传送和使用等环节上的安全性;要有大量的备份及恢复程序来减少数据丢失的可能性,具有灾难备份的功能;建立完善的操作人员授权机制把数据通过授权的方式保护起来,设立数据存取等级;对敏感数据的传输要进行加密,以防止数据被破坏、窃取;要有严密的措施来防范非法入侵。另外,对数据的操作在日志文件里也都要有记录以便于日后进行跟踪。系统的安全性首先包括对系统数据访问的安全性。Oracle基于角色的安全控制通过灵活及易于管理的授权方式,保证了数据访问的安全性;另外还可以通过视
20、图、数据库触发器等实现特殊的数据安全性;Oracle数据库的审计功能还可跟踪记录系统的各种操作,用于查找可疑的操作。另外数据仓库系统还可以利用网络、操作系统的安全控制来实现其综合的安全性要求。2.2.2.8 开放性好数据仓库系统要求系统在硬件设备、操作系统、数据库管理系统以及应用系统方面具有开放性。Oracle产品是基于业界标准的,具有良好的开放性。2.3 Oracle数据仓库解决方案带来的利益2.3.1 降低项目风险每个数据仓库项目都会有风险,风险可以归为3类:业务方面:领导和业务部门对项目效益的认可,对项目的支持和承诺;技术方面:系统集成,性能问题;项目方面:项目变化控制,项目资源的可用性
21、,对其它项目的影响采用Oracle整体数据仓库解决方案,可以有效地控制这几个方面的风险:业务方面:采用Oracle整体解决方案可以快速建设分析应用,使业务部门在最短时间内看到数据仓库的效益。由于Oracle采用统一的元数据管理方案,当业务需求变动时,可以快速地对数据结构进行调整,满足新的业务需求;同时Oracle提供强大的数据质量管理功能,可以对数据质量问题进行全程管理。技术方面:Oracle数据仓库稳定可靠,数据库整合了全部分析功能,使得系统之间的接口减少,系统集成变得更简单,提高了系统的可靠性。Oracle专有的数据仓库技术可以保证对大数据量的高效访问(包括OLAP访问),解决性能问题;项
22、目方面:Oracle具有国际化的实施团队和全球共享的知识库,可以借鉴国际最佳实践。同时,由于Oracle合作伙伴中有大量熟悉Oracle数据库技术的高质量软件开发人员,可以开发出高质量的数据仓库应用。当项目组人员出现变动时,可以很方便地找到具有相同技能的人员,对项目组进行补充。人员变动不会影响项目的正常进行。2.3.2 降低项目成本Oracle数据库提供了很多专门针对数据仓库系统的优化技术,包括:数据压缩技术、分区技术、索引技术等,这些技术可以大大降低数据仓库对于硬件的要求,包括:服务器和磁盘阵列。采用Oracle解决方案,客户可以大大降低在硬件方面的投资。数据仓库项目的总成本取决于系统开发和
23、维护的总成本,系统的质量取决于开发人员对产品的掌握程度。由于Oracle数据库是市场上占有率最高的产品,在客户和集成商中熟悉Oracle的技术人员人数众多,而Oracle数据仓库采用与Oracle数据库相同的开发技术,可以很容易地找到数据仓库系统的开发和维护人员。同时在Oracle 10g中增加了很多新的特性,实现了数据仓库的自我管理和优化,实现了开发工具的标准化,可以进一步降低数据仓库系统的开发和维护成本。3 Oracle 数据仓库系统工具平台数据仓库是一个建设过程,Oracle 公司在数据仓库建设的每一个环节上都提供了相应的技术手段及工具来保障数据仓库的顺利实现。下图所示为Oracle 公
24、司为数据仓库系统的技术平台提供的建议。Oracle 公司在多年数据仓库开发过程中已开发出符合数据仓库建设每一阶段所需要的开发工具,这对保证数据仓库建设的顺利完成提供了保障。以下为Oracle 公司为数据仓库系统技术平台的配置内容:建设数据获取层配置:l Oracle Warehouse Builder(OWB) 实现数据仓库的设计、部署和管理,包括数据建模、数据抽取、数据转移和装载、聚合、元数据的管理等。数据管理层配置:l Oracle 10g DB进行数据存储及管理,同时集成了OLAP 和Data mining 功能。l Oracle Enterprise Manager数据仓库图形化管理工
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Oracle公司数据仓库解决方案介绍 完整版 Oracle 公司 数据仓库 解决方案 介绍
链接地址:https://www.31ppt.com/p-2394955.html