海量数据环境下的Oracle数据库系统架构设计和优化思路.ppt

《海量数据环境下的Oracle数据库系统架构设计和优化思路.ppt》由会员分享，可在线阅读，更多相关《海量数据环境下的Oracle数据库系统架构设计和优化思路.ppt（35页珍藏版）》请在三一办公上搜索。

1、,海量数据环境下的分布式Oracle数据库系统架构设,计和优化思路,谭怀远 alantany,2012.4,DTCC2012,3,1,2,3,3,4,内容大纲,大数据时代的到来,分布式数据库系统的架构设计,分布式数据库的优化思路,其他替代产品和技术展望,DTCC2012,大数据时代-无法回避的趋势,1社会信息化进程的继续深入,2数据对企业业务决策日渐增加的,3移动及互联网业务的高速发展,影响DTCC2012,大数据时代-企业面临新的课题,数据的存储系统的性能,海量数据,数据的分析数据的冗余,系统的扩展DTCC2012,3,1,2,3,3,4,内容大纲,大数据时代的到来,分布式数据库的架构设计,

2、分布式数据库的优化思路,其他替代产品和技术展望,DTCC2012,3,3,我的案例,12345,5,OLAP系统海量的数据-300T多层的分布式数据库关系型数据库-OracleLinux操作系统,DTCC2012,分布式数据库架构设计。分布式数据库架构,中间件,分布式数据库DTCC2012,分布式数据库架构-优势,数据的并行计算和访问,灵活的扩展性,I/O通道的扩展主机资源的整合,D-DB,对应用透明数据的冗余DTCC2012,分布式数据库架构设计3D-DB,主机数量,数据冗余,系统监控,水平扩展,备份及恢复,容灾,6,DTCC2012,分布式数据库架构设计-影响分布数据库数量的因素,系统容量

3、加载性能,查询性能恢复时间,DTCC2012,分布式数据库架构设计-监控,Oracle OEM grid control,DTCC2012,数据备份,分布式数据库架构设计-备份与恢复业务数据数据恢复,待加载数据,待加载数据,SQL*Lloader,数据库,数据库,介质,DTCC2012,分布式数据库架构设计-扩展性,容量性能,当业务的数据接近系统设计的上限值时当数据处理的速度无法满足业务的需求时,突发事件,为了防止突发的事件使数据库崩溃,DTCC2012,分布式数据库架构设计-容灾,应用,调度服务,异地灾备,中心数据库DTCC2012,分布式系统中间件架构设计-优势,统一对外的API负载均衡,

4、高效的查询和加载性能灵活的扩展性,DTCC2012,分布式系统中间件架构设计服务容错和扩展,分布式系统中间件架构,服务监控,统一API,负载均衡,数据查询,数据加载,服务监控,容错和扩展,6,DTCC2012,查询,服务,取,负载获,分布式系统中间件架构设计-负载均衡,图,负载均衡,请求,请求请求,对象定位器对象状态负载分析器,查询服务,请求轻载对象选取,负载获取器,查询服务DTCC2012,分布式系统中间件架构设计-数据查询,用户用户用户查询并行查询服务子查询1 子查询n数据访问引擎 数据访问引擎,结果合并 分组 排序 聚集操作,DB1,DBn,DTCC2012,查询,服务失效,请求,分布式

5、系统中间件架构设计-服务容错和扩展查询服务,请求,负,载均衡请求重定位,SQL服务查询服务,DTCC2012,分布式系统中间件架构设计-服务容错和扩展查询服务,请求,主负载均衡,注册,查询服务,请求,从负,查询服务,载均衡DTCC2012,3,1,2,3,3,4,内容大纲,大数据时代的到来,分布式数据库的架构设计,分布式数据库的优化思路,其他替代产品和技术展望,DTCC2012,Oracle数据库的设计及优化分区索引只读表空间数据压缩并行dblink,RAC,DTCC2012,Oracle数据库的设计及优化-分区,数据管理1.数据导入导出2.备份和恢复3.数据的加载,性能改善1.分区索引2.数

6、据压缩3.只读表空间4.分区交换,DTCC2012,Oracle数据库的设计及优化-索引,B树索引,全文索引,位图索引,DTCC2012,Oracle数据库的设计及优化-只读表空间避免数据块头的更新,只读表空间,减少数据库的启动和关闭时间有效的减少数据文件的故障,DTCC2012,Oracle数据库的设计及优化-数据压缩提高数据查询速度,数据压缩,减少数据的I/O次数提高备份和恢复速度,DTCC2012,SQL,SQL,SQL,SQL,Oracle数据库的设计及优化-dblink查询服务汇总数据库,dblink,dblink,dblink,dblink,数据库1,数据库2,数据库3,数据库n,

7、DTCC2012,RESULT,访,数,RESULT,Oracle数据库的设计及优化-dblink查询服务局部数据库,执行器,数据库RESULT问引擎,临时RESULT据库,局部数据库,局部数据库RESULTDTCC2012,Oracle数据库的设计及优化-并行使用并行查询,并行,配置并行在RAC上的分布不要过度打开并行度,DTCC2012,Oracle数据库的设计及优化-RAC,适当减少RAC的节点,RAC,避免cache fusion,DTCC2012,3,1,2,3,3,4,内容大纲,大数据时代的到来,分布式数据库的架构设计,分布式数据库的优化思路,其他替代产品和技术展望,DTCC201

8、2,其它的选择-列式数据库,索引即数据更多的索引选择数据压缩比更高,列式数据库,更快的查询速度AD HOC更快的加载速度DTCC2012,Oracle vs Sybase IQ 1000万条记录 带有三个索引,数据库/时长sybase iqoracle,数据加载937s1380s,max/min0.937s44s,count0.094s43s,group by33s67s,where3.4s43s,没有采用TPC-H测试方法。,不具有普遍性。只是从我们自己的业务角度出发，它会提高业务的性能。目的是让用户多一种选择。,DTCC2012,未来数据库展望-RDBMS V.S.NOSQL,RDBMS1 水平扩展受到限制2 不会消失，不再辉煌3 OLTP领域无可替代4 成熟的产品5 完善的技术支持6 无需专业的研发团队,NOSQL1 极方便的水平扩展2 发展迅猛，风生水起3 非结构化数据的处理4 产品处于发展阶段5 没有完善的技术支持6 需要专业的研发团队DTCC2012,DTCC2012,