OracleExadata技术架构和主要特点.ppt

《OracleExadata技术架构和主要特点.ppt》由会员分享，可在线阅读，更多相关《OracleExadata技术架构和主要特点.ppt（34页珍藏版）》请在三一办公上搜索。

1、EXADATA 技术架构和主要特点,高扩展,高可靠,OLTP,智能存储,Share Disk和Share Nothing架构分析,Share Disk和Share Nothing是两种主要的数据库架构Exadata提供一种混合式的数据库架构,能够有效解决两者的冲突,吸取两种架构长处;既可以满足OLTP的高并发、高可用特点；又可以满足OLAP的大数据量处理要求；,Share Disk把数据传输到应用代码端,Share Nothing把应用代码移到数据端运行,当应用代码量很大（高并发）、相关数据量比较小时，Share Disk更加适合这种典型的OLTP应用；主要特点：高并发、高可用性（由于数据共享

2、，当节点故障可以透明切换到其他数据库节点运行作业）,当相关数据量很大、而应用代码并发量很小时，Share Nothing更加适合这种典型的OLAP应用；主要特点：大数据量处理、低并发、低可用性（由于数据非共享，当节点故障，其他节点要接管故障节点数据）,主要指标,架构优势,Exadata架构概述,智能存储层(Share Nothing),数据库处理层(Share Disk),超高速并发网络层,.,高扩展,高可靠,OLTP,智能存储,主要指标,架构优势,全新的技术架构 Share Nothing与Share Disk的结合,Exadata 智能存储服务器（Share Nothing Archite

3、cture）在存储部件中实现数据密集型处理进行表及索引扫描，过滤查询无关数据数据库服务器承担计算密集型处理（Share Disk Architecture）求和,统计,数据转换,等.,数据密集型处理智能存储池,计算密集型处理数据库服务池,Infiniband高速互联的数据交换,全双工系统架构,完全消除单点故障,高扩展,高可靠,OLTP,智能存储,主要指标,架构优势,EXADATA概述-为所有的数据管理系统提供超级的性能,适用于数据仓库应用的最好的数据库服务器（Best for Data Warehousing）基于10 x压缩表的Smart scan基于内存数据的并行查询整体上比11.1版本快

4、5倍适用于OLTP系统的最好的数据库服务器（Best for OLTP）唯一基于网格技术扩展的数据库Smart flash cache 可达到20 x（1M IOPS）快的IOPS,或者节省20 x的磁盘对于归档数据可达到50 x的压缩率安全,容错适用于混合负载的最好的数据库服务器（Best for Consolidation）唯一的支持所有负载类型的database machine多个数据库,多个应用,多个用户环境都能提供可预测的响应时间,高扩展,高可靠,OLTP,智能存储,主要指标,架构优势,Exadata数据库一体机,网格技术之大成高性能,低成本,冗余,线性扩展超级性能&开箱即用,Exa

5、data 智能存储服务器网格14 x高性能低成本存储服务器100 TB raw SAS 盘 or 336 TB raw SATA 盘5TB+闪存(flash storage)!,RAC DB数据库服务器网格8 x 高性能低成本DB服务器每个服务器包括2x 4核 Xeons/72GB RAMInfiniBand 网络每路 40 Gb/sec 的高可用网络,高扩展,高可靠,OLTP,智能存储,架构优势,主要指标,Exadata数据库一体机,Exadata智能存储服务器网格21 GB/sec 磁盘数据扫描50 GB/sec 内存数据扫描1百万+随机I/Os/sec,8K DB块,数据库服务器网格几百

6、万级事务处理能力/每分钟几千万级查询能力/每分钟几十亿级记录扫描能力/每分钟InfiniBand网络880 Gb/sec 累计IO带宽,Extreme Performance超级性能,高扩展,高可靠,OLTP,智能存储,架构优势,主要指标,Exadata 产品能力,1 Raw capacity calculated using 1 GB=1000 x 1000 x 1000 bytes and 1 TB=1000 x 1000 x 1000 x 1000 bytes.2-User Data:Actual space for end-user data,computed after single

7、 mirroring(ASM normal redundancy)and after allowing space for database structures such as temp,logs,undo,and indexes.Actual user data capacity varies by application.User Data capacity calculated using 1 TB=1024*1024*1024*1024 bytes.,高扩展,高可靠,OLTP,智能存储,架构优势,主要指标,Exadata 存储服务器硬件构成,做为MPP网格的单元部件，每个2U单元提供

8、高达1.5 GB/sec原始数据带宽(with Disk)高达75,000 IOPS(with Flash)高达3.6 GB/sec原始数据带宽(with Flash)智能存储服务器构成2x 4核Xeon E5540 处理器(Nehalem架构)24GB RAM双口 4xQDR(40Gb/s)InfiniBand接口卡磁盘选项12 x 600 GB SAS盘(合计7.2 TB)12 x 2TB SATA盘(合计24 TB)4 x 96 GB Sun Flash PCIe Cards(合计384 GB)软件预装Oracle Exadata智能存储服务器软件Oracle Enterprise Li

9、nuxDrivers,Utilities来源于Oralce的统一支持服务3 year,24 x 7,4 Hr On-site response,高扩展,高可靠,OLTP,智能存储,架构优势,主要指标,Exadata Smart Storage智能存储服务器突破数据处理带宽瓶颈及随机IO瓶颈,Exadata以三种途径解决数据处理带宽瓶颈大规模智能存储网格并发计算MPP数据处理带宽与数据量成正比存储层负责数据密集型处理SmartScan数据库SQL负荷被分布到存储层实现，利用大量存在的存储层CPU处理本存储节点内的数据混合型列压缩HCC，数据量降低10倍以上HCC在降低存储成本的同时，增加了查询性

10、能通过 Exadata Smart Flash Cache解决随机IO瓶颈随机I/Os速度提升 20倍以上,Exadata Storage Cells,高扩展,高可靠,OLTP,架构优势,主要指标,智能存储,Exadata 的存储端数据库处理逻辑,Exadata Storage Server 在存储端进行数据密集型处理智能扫描SmartScanROW使用“where”谓词筛选行COLUMN列筛选JOIN联接筛选增量备份筛选混合型列压缩技术自动透明的存储索引扫描加密数据通常可将发送到数据库服务器的数据减少10 倍无需更改应用程序处理是自动和透明的即使在查询期间单元或磁盘发生故障,高扩展,高可靠,

11、OLTP,架构优势,主要指标,智能存储,传统数据库扫描处理技术,基于传统存储技术，全部的数据库智能存在于数据库主机。来源于存储的数据大部分被数据库主机所丢弃。大量的废弃数据占用了宝贵的数据库主机资源（IO、内存和CPU），严重影响其它任务执行，处理缓慢。,I/Os 执行:返回 1 TB 数据,DB主机筛选1 TB数据，得到1000行客户要求的数据，计算并返回给客户端,返回数据行,SELECT customer_name FROM calls WHERE amount 200;,DB主机确定表的存储分区,发起I/Os请求,高扩展,高可靠,OLTP,架构优势,主要指标,智能存储,Oracle 数据

12、库网格,Smart Scan 处理技术Exadata为什么快10-100 x倍?,问题：昨天的销售业绩如何？,Exadata 智能存储层,SUM,Select sum(sales)whereDate=24-Sept,Smart Scan 在TB 级数据中扫描匹配请求的数据,构建并发Smart Scan请求,仅仅返回满足条件的数据,高扩展,高可靠,OLTP,架构优势,主要指标,智能存储,Exadata 混合列压缩,数据按列存储，然后压缩针对数据仓库的查询模式为提高速度进行了优化通常压缩比可达10 倍扫描成比例增长针对不常访问数据的归档模式为减小空间进行了优化通常可达15 倍压缩对某些数据可达50

13、倍压缩,高扩展,高可靠,OLTP,架构优势,主要指标,智能存储,压缩的行,混合列,Compression Unit 1,Column 1,Column 2,Column 3,Compression Unit 2,很好的随机行访问特性非常好的 Table Scan5x-40 x 压缩,行压缩 vs 列数据库 vs 混合列压缩,高扩展,高可靠,OLTP,架构优势,主要指标,智能存储,实际环境压缩比Oracle Production E-Business Suite Tables,压缩比率：Query=14.6XArchive=22.6XVary by application and table,5

14、2,高扩展,高可靠,OLTP,架构优势,主要指标,智能存储,Exadata存储索引无需任何开销即可透明地消除I/O,Exadata存储索引在内存中保存表数据的汇总信息存储列的MIN 和MAX 值通常每MB 磁盘空间建立一个索引项如果MIN 和MAX 值不匹配查询的“where”子句，则不访问磁盘I/O完全地自动化和透明,Min B=1Max B=5,Table,Index,Min B=3 Max B=8,Select*from Table where B2-仅第一组记录匹配,高扩展,高可靠,OLTP,架构优势,主要指标,智能存储,Exadata 存储索引示例表 SALES,对常用列自动收集的摘

15、要存储在Exadata Storage Server的内存,高扩展,高可靠,OLTP,架构优势,主要指标,智能存储,Exadata 存储索引示例表 SALES,存储索引将无关data chunk忽略掉提供类似 分区修剪的功能Netezza relies upon Zone Maps,WHERE ship_date between 01-SEP-2009 and 31-SEP-2009排除 data chunk#2,x,高扩展,高可靠,OLTP,架构优势,主要指标,智能存储,对大型扫描的优化,1 TB（压缩）,10 TB 的用户数据需要10 TB 的IO,100 GB（分区修剪）,20 GB（存

16、储索引）,5 GB（智能扫描）,在Database Machine 上实现亚秒级,数据减少10 倍，扫描加快2000 倍,高扩展,高可靠,OLTP,架构优势,主要指标,智能存储,OLTP应用特点与传统存储的局限性,OLTP注重数据的计算、记录的插入、删除与修改，以及简单的查询和统计。它的主要任务是进行事务处理，所关注的是事务处理的及时性、完整性和正确性。衡量OLTP性能主要看TPS和响应时间影响OLTP性能的主要是存储系统的IOPS性能传统高端存储架构的特点导致IOPS性能的不足，典型高端阵列只能达到100k+IOPS。数据库与存储之间互不了解，无法进行智能优化处理,高扩展,高可靠,架构优势,

17、主要指标,智能存储,OLTP,解决磁盘随机I/O瓶颈,磁盘可存储大量数据但每秒的随机I/O 200-300 I/Os(8K块)Flash闪存技术可存储少量数据（但远大于DRAM）但却能提供每秒几万级的I/O理想解决方案-两者结合保存大容量数据于磁盘保存大比例常用数据于闪存(5%-10%)在磁盘和flash间透明传递数据采用flash cards，而非闪存Disk避免控制器瓶颈在智能存储服务器中部署Flash cards高带宽,低延时数据库逻辑感知,300 I/O per Sec,Tens of Thousands of I/Os per Second,高扩展,高可靠,架构优势,主要指标,智能存

18、储,OLTP,Exadata Flash闪存 提供随机I/O的超级性能,数据库一体机提供总计 5 TB 的闪存每智能存储服务器配置4块高速闪存卡Smart Flash Cache缓存热数据，但不是采用简单的LRU算法,库逻辑感知基于数据库数据使用逻辑，知道那些数据应该缓存,那些不应该缓存允许基于应用表进行指定优化，如提示高优先级驻留于缓存,Oracle is the First Flash Optimized Database,高扩展,高可靠,架构优势,主要指标,智能存储,OLTP,Exadata Smart Flash Cache超级性能表现,Database Machine可实现:20+倍

19、随机I/Os(75K vs.3.6K per cell)超过1百万I/Os per Sec2+倍大数据量顺序I/O(50GB/s vs.21GB/s)50 GB/sec10倍更快的响应时间1 ms极大地降低成本10倍更少的磁盘I/O需求更低的功耗,随机I/Os速度比1000块盘的企业级阵列(200K IOPS)快5倍,高扩展,高可靠,架构优势,主要指标,智能存储,OLTP,内存中并行执行,SQL语句,确定所查询表的大小,高扩展,高可靠,架构优势,主要指标,智能存储,OLTP,内存中并行执行,数据库11.2 版引入了对内存缓存(DRAM cached)数据的并行查询处理利用整个数据库集群的内存容

20、量进行查询1TB TPC-H 世界纪录的基础一个 Sun Oracle Database Machine 机架可用DRAM 400GB 进行缓存Exadata 混合列存储可使 4TB data in DRAM,QphH:1 TB TPC-H,比专用内存数据仓库更快,DRAM 比磁盘有 100 x带宽,高扩展,高可靠,架构优势,主要指标,智能存储,OLTP,Exadata OLTP 与传统SMP架构对比,2架冗余Exadata V2,1x P595(IBM 最快的单机SMP),8x IBM DS8300 Turbo,$10.7M,$2.3M,相似的DB服务器性能相似的I/O能力Both with

21、 Flash相似的存储容量,高扩展,高可靠,架构优势,主要指标,智能存储,OLTP,避免磁盘或Cell的单点故障ASM Mirroring and Failure Groups,ASM mirroring is used protect against disk failuresASM failure groups are used to protect against cell failures,Exadata Cell,Exadata Cell,ASMDisk Group,高扩展,架构优势,主要指标,智能存储,OLTP,高可靠,线性扩展性及高可用性,扩展性Scalable通过增加连线即可实

22、现8个标准架线性扩展 更大的扩展需要额外的外部InfiniBand 交换机可线性扩展到几百个存储服务器若干PB级数据库,高可用性Redundant and Fault Tolerant可抵御任何单元的故障跨存储单元的数据镜像,高可靠,高性能,智能存储,架构优势,高扩展,主要指标,无限的扩展能力Scale Up and Scale Out,SAS raw capacity per rack:100TBSATA raw capacity per rack:336TBPeak throughput per rack:18GB/s,Scale to 14 cells in one rack,Add r

23、acks to scale further,Each cell connects to 2 InfiniBand switches for RedundancyThis delivers 4x the bandwidth,InfiniBand links across racks for full connectivity,高可靠,高性能,智能存储,架构优势,高扩展,主要指标,Giant Eagle 5TB 零售数据仓库,1/2 Exadata DB主机,13 IBM P570 CPUs,EMC CLARiiON 和 DMX 存储阵列,现存系统,平均16倍 的性能提升,2008 Oracle Corporation Proprietary and Confidential 32,Giant Eagle Exadata 加速详情 3 倍到 50倍的性能提升,16xAverageSpeedup,Oracles 财务数据仓库平均30倍的性能提升,337个 查询/小时,HP Oracle Database Machine,10.7个 查询/小时,Netapp存储阵列,