Oracle的数据仓库解决方案.ppt

《Oracle的数据仓库解决方案.ppt》由会员分享，可在线阅读，更多相关《Oracle的数据仓库解决方案.ppt（101页珍藏版）》请在三一办公上搜索。

1、朱 旻高级技术咨询顾问Oracle 上海分公司,Oracle 的数据仓库解决方案,议程,Oracle 公司简介Oracle 数据仓库系统整体解决方案数据的管理数据的获取数据的展现问题与讨论,Oracle-全球卓越的IT巨人,Oracle 是全球第二大独立软件公司Oracle 是全球第一大数据库软件公司Oracle 是全球领先的电子商务公司Oracle 是北美制造业第一大 ERP公司全球145+個国家及地区设有分支机构Oracle 全球超过42,700名员工全球超过200,000客户Oracle 总部位于加州硅谷，亚太地区总部设于新加坡2003财政年度营业额近 100亿美元,研发经费超10亿美元

2、,Oracle-中国营运概况,1989年进入中国，1991年正式成立“北京甲骨文软件系统有限公司”，是中国最大的国外软件公司之一，技术及咨询人员占员工总数 62%以上提供全方位服务技术支持：技术人员提供专线与到场支持服务教育培训：专业讲师提供丰富课程，并利用互联网提供一致的，全球化的学习咨询顾问：专业顾问提供专业咨询服务在上海、广州、成都等地设有办事处3大培训中心，分别在北京,广州和上海于深圳、北京设立两个全球级研发中心,顾问咨询产品支持教育培训,电子商务套件信息协同套件商业智能,数据库应用服务器数据仓库 工具,Internet 平台,基于Internet的应用产品,服务体系,Oracle 完

3、整的企业、政府机构信息化解决方案体系,合作伙伴,技术发展,80年代早期,80年代后期,90年代早期,90年代后期,早期关系型,客户/服务器方式的关系型,企业级关系型,Internet数据库,简单的OLTP,特殊的 SQL查询,客户/服务器方式的OLTP,数据仓库和高端的OLTP,扩展的关系型,Web方式的应用,集中数据的应用平台,2000,Oracle9i,Internet商务平台,2003,Grid网格计算,Oracle10g,下一代 Internet计算技术,(Source:DM Review,May 2001),Oracle:最大的数据仓库平台厂商,议程,Oracle 公司简介Oracl

4、e 数据仓库系统整体解决方案数据的管理数据的获取数据的展现问题与讨论,数据仓库是一个建设过程，而不是一个产品。,数据仓库是通过对来自不同的数据源进行统一处理及管理，通过灵活的展现方法来帮助决策支持。,数据仓库最新理解,Oracle 数据仓库的完整架构,OWB,项目管理、数据仓库方法论 OPM DWM,业务规划 信息评估 模型设计Oracle Warehouse Builder,管理、开发OEM OWB Oracle9iDS 顾问咨询 知识转移,Discoverer,Report,BI Bean,Portal,TMIS系统,客运系统,外部信息,Oracle 9i,MIS系统,9i AS,随即查询

5、,报表,多维分析/数据挖掘,应用服务器,门户集成,ETL工具,Oracle提供先进的、完善的数据仓库技术平台,议程,Oracle 公司简介Oracle 数据仓库系统整体解决方案数据的管理数据的获取数据的展现问题与讨论,数据集中处理需求,数据量大，并不断增长,数据集中处理需求,数据访问性能要求高,查询统计,数据集中处理需求,对安全，可靠，高可用性的要求高建立集中各业务系统重要数据的备份中心,高效访问大量数据-数据分区技术,可管理性将大的表分割为若干分区，“分而治之”性能“分区忽略”机制提高查询性能基于分区的 join 操作可用性将故障局限在分区中缩短恢复时间多种分区方式范围(Range)分区、散

6、列(Hash)分区、列表(List)分区混合分区,Partitioned Tables with Local Indexes,AUG2002,Load and index new month,.,“滚动窗口”操作-大量数据高速装载,and add new month to table,“滚动窗口”操作-大量数据高速装载,Then remove and archive oldest month,Load and index new month.,.,Partitioned Tables with Local Indexes,保证系统高可用性 综合信息库系统,Oracle Real Applica

7、tion Cluster(Oracle并行服务器，OPS)在Cluster、MPP体系结构中，实现一个共享数据库，支持并行处理，均分负载，保证故障时数据库的不间断运行支持Share Disk 和Share Nothing类型的体系结构多个节点同时工作节点均分负载,DLM,透明的应用失效转移-利用 热失效转移 进行恢复,透明的应用失效转移补全了可用性等级的所有层次将应用和用户自动而透明地重新连接到另一个系统登录的上下文可被保持应用查询不会中断,请求,数据传输,Oracle9i 的完全缓存融合技术提高了性能和可扩展性通过高速互连直接传输数据昂贵的磁盘 I/O被最小化,Cache FusionTM

8、体系结构,面向查询的读共享查询操作需要读某数据块，而该块正好在另一个实例的缓存中面向更改的写共享更改操作需要修改某数据块，而该块正好在另一个实例的缓存中。使用 Cache Fusion,仅当该数据块不在全局共享的缓存中，才会执行磁盘读操作,数据共享问题,Data A-Z,应用,Oracle9i Real Application Clusters-可伸缩性 增加系统扩充能力,增加机器时，系统性能的最佳响应快速增长的集群结构Clusters快速增加节点和硬盘当扩展节点时数据仓库系统无须重新组织和分布数据,#Users,1,026,1,900,3,648,Oracle E-Business Suit

9、e 11i,Oracle9i RAC 可伸缩性,数据库服务器:HP N-Class 6x440MHz CPUs,生产数据库,延迟和零数据丢失模式(Both),物理后备数据库,建立综合信息库高效的备份中心-Oracle9i Data Guard(Oracle Standby database),零数据丢失的灾难保护通过同步/异步的日志 log传输控制排除人为错误通过延迟提交 灵活的切换操作主数据库和备份数据库可以灵活的互换角色Data Guard Manager 在OEM图形界面管理工具内，配置、监控和管理灾难保护系统,物理备份数据库,生产系统,逻辑备份数据库,主备系统双向切换,管理员控制台和统

10、一管理平台(Both),延迟和零数据丢失模式(Both),保持数据库打开状态,SQL提交,附加的索引和物化视图,建立综合信息库高效的备份中心-Oracle9i Data Guard(Oracle Standby database),按固定字段的范围分区、哈希分区、混合分区、列表分区,灵活应用、SQL语句自动重写、自优化能力,高效、灵活、易于使用的OLAP分析、数据挖掘和数据抽取、转换、传输、存储服务,提高索引效率、增强的外连接索引能力,Oracle9i,数据仓库的增强技术,数据分区,物化视图,集成的OLAP、Data Mining和ETL服务,位图连接索引,数据分区,位图索引,真正仓库,物化视

11、图,查询,汇总数据管理-物化视图Materialized View,蚌埠和上海分局在过去三个月的货运总量是多少？,表压缩(Oracle9i,版本 2),表能被压缩 在分区级别上压缩也能具体指定典型压缩比率从 3:1到 5:1压缩由实际数据决定压缩规则基于数据冗余主要好处是节省开销节省 TB级的存储而不影响性能或功能,数据分区,位图索引,真正仓库,物化视图,Oracle9i Database单一的商业智能数据服务器,Metadata,传统的分析服务器,数据仓库引擎,数据整合引擎,OLAP引擎,数据挖掘引擎,Oracle9i 分析平台,Oracle9i,更强大的分析能力,更加安全可靠,部署和管理更

12、加简单,目前业界最先进的OLAP处理方法所有OLAP数据和处理过程都存储在 Oracle9iDB多维结构（维表，cube立方体）存储在数据库中没有外部文件存储或单独的OLAP处理(不同于竞争对手产品)SQL直接访问多维目标、模型、预测等开放的、基于Java标准的 OLAP API利用BI Beans方式加速基于internet的应用开发,Oracle9iDB集成OLAP和Data Mining,OLAP,数据分区,位图索引,真正仓库,物化视图,应用部署,Oracle 9iAS,Java 应用或 Applet,Servlet,PDA,Mobile Phone,PC,Browser,提高了应用的预

13、报和洞察力例如，建立货运量的趋势分析模型Data Mining 嵌入了 Oracle9i Database简单的过程，避免了数据迁移，提供了更好的运行性能和可扩展性开放的、基于Java标准的 API用于开发商业智能的应用,Oracle9i Data Mining,Data Mining,数据分区,位图索引,真正仓库,物化视图,ETL的压力和挑战,短时间内完成大量数据的抽取、转换和装载(ETL)不能影响数据源系统(业务运营系统)和目标系统(分析系统)ETL是分析系统中非常复杂和关键的处理步骤,传统ETL 处理的方法,方式一：数据库外部的ETL方式二：数据上载到数据库的存储区域（Staging)进

14、行ETL,方式一：数据库外部ETL,方式一：数据库外部ETL,主要的风险和缺点扩展性差缺乏数据恢复能力难于维护没有充分利用数据库的处理能力,方式二：数据库Stage中的ETL,方式二：数据库Stage中的ETL,主要的风险和缺点数据库需要存储两份数据：原始数据和中间结果数据数据库工具和语言对处理特殊的ETL问题没有优化,几种高效的ETL技术,获取变化数据（Change Data Capture CDC),从数据源中获取变化的数据异步：Oracle LogMiner 将从归档日志中发现变化数据同步：复制技术CDC 不仅有获取变化数据能力，而且还可提供发布的机制，不同的系统可进行定制特别适合于多个

15、数据集市（Data Mart)的系统,Consumption,Staging,Capture,Oracle Stream,外部表(External Table),外部表(External Table),数据文件作为虚表，就像存储于数据库中的表特点：可直接查询（Select)和连接（Join),并支持并行处理，提高Scalability免去数据装载的过程，提高性能特别适用于外部数据(Flat files)与数据库内数据的频繁交互,多表插入（Multi-Table Insert),可将数据插入多个目标表中；或根据特殊的业务转换规则，将数据插入多个可能目标表中的一个特别有助于数据转换处理包括多个目标

16、表的环境Oracle9i之前，这样的处理必须执行多次Insert操作。即需要处理n次相同的源数据，数据转换将增加n倍的负载。,Upsert 功能,MERGE INTO products tUSING products_delta sON t.prod_id=s.prod_idWHEN MATCHED THENUPDATE SET t.prod_list_price=s.list_ price,t.prod_min_price=s.min_priceWHEN NOT MATCHED THENINSERT(prod_id,prod_name,.,prod_list_price,prod_min_p

17、rice)VALUES(s.prod_id,s.prod_name,.,s.list_price,s.min_price);,表函数,在ETL处理中，数据在被装载到数据仓库之前，通常需要经过一系列的转换复杂的转换通常在数据库外部或内部，以过程的方式实现（如存储过程）Oracle9i提供了管道和并行执行的方式，实现复杂的转换，无需中间存储表。,表函数,可移动的表空间（Tablespaces）,为了将数据从一个数据库移到另一个库中，采用移动表空间的技术是非常有效的方法它不需作数据的卸载和装载Oracle9i中，保证相同数据块大小的限制被消除,Oracle9i中的ETL,特点：Transform w

18、hile Loading,Oracle 公司简介Oracle 数据仓库系统整体解决方案数据的管理数据的获取数据的展现问题与讨论,议程,Oracle Warehouse Builder 数据仓库建设工具,设计图形化建模、映射关系定义构造生成数据仓库生成抽取转换过程元数据集成管理基于元数据的数据仓库管理,OWB 是一个针对数据仓库设计、部署、管理的工具,模型设计,灵活,快速,映射源数据和目标数据,Filter Joiner Aggregaytor Deduplicator Sorter Set operations(new)Key lookup(new)Splitter Sequence Inli

19、ne Expressions Transformations Pre-and Post-Mapping Processes Cleansing Name and Address(new),ETL实现能力,自动化,流程化,议程,Oracle 公司简介Oracle 数据仓库系统整体解决方案数据的管理数据的获取数据的展现问题与讨论,Reports Developer成熟的，高质量的Web报表 无限制的数据格式高质量的报表展示,建立和配置基于Web的报表,Oracle9iAS Reports 基于应用服务器的报表发布在Web上的数据和应用的安全性保证同Oracle9iAS Portal的集成通过XML

20、实现个性化,User A Version,User B Version,每个用户可以定义建议符合自己要求的唯一报表.,对于每个新版本的定义是可以重复利用的,User A,User B,客观、具体的报表定制and applied at runtime.,一个单一的报表定义针对所有用户.,XML,XML,运行时定制个性化报表,数据仓库,语义层,专业技术人员,Oracle Discoverer-业务人员的查询工具,Discoverer 灵活的展现方式,业务分析,Discoverer 信息发布,Oracle9i,End UserLayer(TM),通用的术语定义 商业计算 查询 钻入/钻出 批量报表,

21、Oracle9i AS,Discoverer Plus,Discoverer Viewer,AdministratiomEdition-iDS,Oracle9i 数据库,Oracle9i OLAP,Java OLAP API,多维分析-Oracle9i BI 应用开发平台,可伸缩的数据存储集成的元数据摘要管理SQL 分析功能,商业智能的应用发布,Oracle9iAS,Servlet Engine,BI Beans Servlet/JSP Application,Oracle9i Database,Java OLAP API,Client,Web Browser,BI Beans Java Ap

22、p,Business Intelligence Beans,Oracle9i,Oracle9i OLAP option,开发人员的生产力,可以使用向导定义计算、交叉表、图和表在开发环境中可进行可视化编辑的 BI 对象,在 JDeveloper 中 BI 对象的可视化定义,实现多维分析,Presentation 向导生成分析应用,实现多维分析,打开/保存演示定义查询定义计算导出到电子数据表格式演示,Applet 向导生成分析应用,实现多维分析,JSP 向导生成分析应用,集成的技术堆栈-Oracle9i OLAP 管理,统一的管理工具（OEM）,分 析 应 用,管理数据,WarehouseBuil

23、der,Oracle 9i Application Server,9i ApplicationServer,BI Beans,Discoverer,Reports,Portal,Browser/Device,企业应用系统发展方向,Oracle9i Application Server,Oracle9i Database Server,Oracle 9i Application Server,一个集成的产品包,移动访问Wireless,商业智能BusinessIntelligence,后端系统集成EnterpriseIntegration,企业门户Portal,建立交易处理站点Transacti

24、onal,应用和数据缓存Web&Data Caching,开发Internet应用开发技术J2EE/Web Service(OC4J)Framework(BC4J/TopLink)PL/SQL Server PageRAD(Forms)分析汇总打印网站技术集成技术部署安全体系性能可伸缩性高可用性管理性成本(高性价比)开放,企业应用软件的四大关键因素,Oracle9iAS J2EE FacilitiesCertified 100%J2EE 1.3 Compliant,J2EE 和 Web 应用开发,Any Data Source,Packaged Apps,Servlet/JSP,Perl,PL

25、/SQL,Forms,EJB/BC4J,C/C+,XML/XSL,Wireless&Mobile,Browser,开发使用 Java,XML,Perl,PL/SQL,C/C+,Forms快速开发 使用Oracle集成的应用开发套件减少开发成本通过使用 统一的Java,XML,SQL平台,Web Cache,MicrosoftIIS,Apache,Wireless&Mobile,Browser,100%Standards compliant-simple and complex web services 包装 J2EE,PL/SQL 和原有应用系统作为 web services JDevelop

26、er 自动生成和部署 web Service services,Business-to-Business,Any Data Source,Packaged Apps,JCA,JDBC,Java/J2EEApplications,PL/SQLApplications,HTML/XMLStreams,UDDI Registry,Jdeveloper,Invoke(SOAP),XML Interface(WSDL),Publish(WSDL),Find,Oracle9iAS 全面的Web Service开发、部署、管理,Oracle9iAS TopLink,Oracle9iAS TopLink 世界

27、上最先进的对象结构 关系结构 映射工具使Java 应用高效访问关系型数据库,Oracle9iAS TopLink,开发Internet应用开发技术分析汇总打印Web Report(Oracle Report)Ad-hoc Query(Discoverer)OLAP(OLAP+BI Beans)Site Analyzer(Clickstream)Personalization集成技术部署安全体系性能可伸缩性高可用性管理性成本开放,企业应用软件的四大关键因素,Oracle9iAS基于Web的商务智能,唯一完整的商务智能查询和分析-Discoverer企业报表-Reports高级分析-BI Bean

28、s(OLAP)站点活动分析 Clickstream站点个性化-Personalization唯一集成的商务智能9iAS,9iDS,9iDB集成通过门户共享商务智能门户,开发Internet应用开发技术分析汇总打印网站技术Portal(Oracle Portal)Content Management(iFS)Email(Unified Messaging)集成技术部署安全体系性能可伸缩性高可用性管理性成本开放,企业应用软件的四大关键因素,客户化,Single Sign-On,开发Internet应用开发技术Web网站技术分析汇总集成技术业务流程整合(Oracle Workflow)部署安全体系性

29、能可伸缩性高可用性管理性成本开放,企业应用软件的四大关键因素,Oracle9iASOracle Workflow,开发Internet应用开发技术Web网站技术分析汇总集成技术无线技术开发工具部署安全体系性能J2EE ECperfWeb Cache可伸缩性高可用性管理性成本开放,企业应用软件的四大关键因素,Oracle9iAS 在J2EE ECperf测试中最高性能和最高性价比领先,Improve latency by integrating content delivery networks Higher reliability by distributing caches geograph

30、ically,Oracle9iASWeb Caching,Oracle9iAS集群技术体现高可用性,HTTP Server,HTTPServer,HTTPServer,HTTP Server,Load Balancing/Failover,DB Cluster(Persistent State),JDBC,JDBC,JDBC,JDBC,State,State,J2EE,J2EE,J2EE,J2EE,State,App Server Cluster(Session State),Load Balancing/Failover,Web Server Cluster,Load Balancing/F

31、ailover,开发Internet应用开发技术Web网站技术分析汇总集成技术无线技术开发工具部署安全体系性能可伸缩性高可用性管理性成本开放,企业应用软件的四大关键因素,e-Business KitOracle 9iIBMDatabaseOracle 9iDBBEAJava ServerOracle 9iASSybaseEnterprise PortalOracle 9iASWirelessOracle 9iASVitriaIntegrationOracle 9iASWeb Trends ClickstreamOracle 9iASInktomiWeb CacheOracle 9iASTime

32、s TenData CacheOracle 9iASVerisignSecurityOracle 9iASNetscapeDirectoryOracle 9iASCASystems Mgmt.Oracle 9iASBorlandJava ToolOracle 9iDS,Oracle 9iAS=不需要组装,开发Internet应用开发技术分析汇总打印网站技术集成技术无线技术开发工具部署安全体系性能可伸缩性高可用性管理性成本开放,企业应用软件的四大关键因素,Oracle9iAS 采用开放标准来开发,100%兼容各大数据库的各个版本100%兼容网络标准100%兼容J2EE标准100%兼容Web Se

33、rvices标准100%兼容XML标准100%兼容无线标准100%兼容安全标准100%兼容目录服务标准,议程,Oracle 公司简介Oracle 数据仓库系统整体解决方案数据的管理数据的获取数据的展现问题与讨论,议程,Oracle 公司简介Oracle 数据仓库系统整体解决方案数据的管理数据的获取数据的展现Oracle数据仓库解决方案优势问题与讨论,Oracle 技术核心竞争力,集成关系型、多维、数据挖掘和ETL引擎于一体，提供全面、快速的信息分析能力唯一能支持范围、列表、Hash和复合，更有效、合理地存储数据，同时又能大大提高查询性能当扩展节点时数据仓库系统无须重新组织和分布数据与源系统无缝移植无须重新学习新的数据库管理,Oracle 数据仓库解决方案的优势,先进的DW实施方法论,大量数据仓库建设各阶段的开发工具,完整数据仓库体系架构全面的现成应用解决方案,更多的信息.,cnhttp:/,