DB2数据仓库性能经验.ppt

《DB2数据仓库性能经验.ppt》由会员分享，可在线阅读，更多相关《DB2数据仓库性能经验.ppt（20页珍藏版）》请在三一办公上搜索。

1、DB2数据仓库性能经验,2007年08月,电信行业数据仓库应用,1,内容提要,系统概况,1,DB2数据库数据仓库性能经验谈,2,DB2的应用,3,数据仓库的性能要素数据库架构设计 分区的使用及优化数据仓库的空间管理应用设计 优化,2,总体技术架构,3,DB2中数据应用举例,4,软硬件配置,5,内容提要,系统概况,1,DB2数据库数据仓库性能经验谈,2,DB2的应用,3,数据仓库的性能要素数据库架构设计 分区的使用及优化数据仓库的空间管理应用设计优化,6,项目中数据仓库的主要性能要素,架构与分区单事例模式数据分层多节点分区,存储结构数据空间索引空间日志空间应用数据空间合理的分区,应用设计表的分区

2、键表的索引SQL优化数据类型的优化物理分表,7,数据库架构设计-初版,使用别名跨库访问速度慢,(Db2 7.2)并行load 导致锁表空间,大数据量时日志空间报错,资源分散利用率低，IO差,8,数据库架构设计-优化版,DSS数据仓库,表空间调整后并行load，提高IO、CPU等资源利用率,模式实现虚拟的数据应用层,9,分区的使用及优化,系统性能的提高CPU/IO,优化后帐单表 29830644条数据 232设备表 10997977条数据 16,优化前帐单表 29830644条数据 102设备表 10997977条数据 431,10,数据仓库的空间管理,1.数据、索引、日志分开减少应用IO冲突2

3、.数据库使用的日志表空间=ETL最大事务日志空间3.采用合理的分区键，使数据分布均匀,Cust.customer_detail中有cust_id和cert_no最初采用cert_no做分区键INSERT遇到的问题？,IO性能提高,合理日志空间,考虑到空间利用率，最后改变分区键，旧分区键建立索引,select count(cert_no),dbpartitionnum(cert_no)from Cust.customer_detail_200708 group by dbpartitionnum(cert_no)cert_no有部分默认值Cust_id是唯一标识,独立的数据空间,11,建表语句中

4、分区与空间管理,CREATE TABLESPACE MID_DATA IN DATABASE PARTITION GROUP NODEGROUP11 PAGESIZE 32K MANAGED BY DATABASE USING(Device/dev/rmid1_data_lv1 491520)ON DBPARTITIONNUM(1)USING(Device/dev/rmid1_data_lv2 491520)ON DBPARTITIONNUM(2)USING(Device/dev/rmid1_data_lv3 491520)ON DBPARTITIONNUM(3)USING(Device/de

5、v/rmid1_data_lv4 491520)ON DBPARTITIONNUM(4)EXTENTSIZE 64 PREFETCHSIZE 256 BUFFERPOOL IBMDEFAULTBP OVERHEAD 12.67 TRANSFERRATE 0.18 DROPPED TABLE RECOVERY OFF;,CREATE TABLE MID.TB_CUST_DETAIL_200708(BILL_MONTH INTEGER NOT NULL,CUST_ID DECIMAL(16,0)NOT NULL,CUST_SEQ DECIMAL(20,0),CERT_NO INTEGER,BIRT

6、HDAY INTEGER)DATA CAPTURE NONE IN MID_DATA INDEX IN MID_INDEX PARTITIONING KEY(CUST_ID)USING HASHING NOT LOGGED INITIALLY;,比目录方式性能好,12,应用的优化-SQL,配置 MAXLOCKS列表的百分比,LOCKLIST锁资资源大小 LOCKTIMEOUT,锁等待超时时间,锁过多、等待时间过长，则产生雪崩效应，升级锁，表锁代替行锁SQL0911N 死锁或超时 数据库和应用上如何解决呢？,行锁表锁,优化项目强制规定所有事务及时COMMIT,FORCE APPLICATION(

7、ID),13,应用的优化-索引,Insert into cust_bill Select a.*,b.*From cust a,bill bWhere a.cust_id=b.cust_id注：7百万*3亿的接口数据关联,如何从建模和应用上实现优化呢？,Cust和Bill表建模时候是否考虑到主键和外键？,多表关联时候如何确定COST最小？存储过程和SQL执行比较慢如何定位原因？,应用中复杂的语句是否考虑过执行计划？,reorg修改表的很多信息runstats 更新统计信息，一般晚上空闲时候执行REORGCHK 根据统计公式计算表是否需要重整,优化器分析SQL基于成本的优化器 如：关联时索引扫描

8、而不是使用表扫描,优化要点建立合适的索引避免表扫描,14,数据类型的优化（OLAP）,15,大数据量的应用优化,7百万/月的客户资料，3亿条/月详单数据。采用分区技术之外，如何提高应用系统性能呢？应用上如何实现？,根据时间或地域来进行物理分表如：表名_200708表名_20070828表名_010表名_地区_年月使用动态SQL,采用4节点，每个节点多大数据量？,175万客户资料关联7500万的数据,16,大数据量分表,1.单个事务数据量小，提高应用执行速度，系统资源压力小。2.如果ETCL整个过程REDO,避免使用DELETE产生大量日志，影响系统性能。,IMPORT FROM/dev/null OF DEL REPLACE INTO MID.tb_cdr_long_detail_|v_bill_month|_|v_city_idLOAD FROM/dev/null OF DEL REPLACE INTO MID.tb_cdr_long_detail_|v_bill_month|_|v_city_id|NONRECOVERABLE,17,内容提要,系统概况,1,DB2数据库数据仓库性能经验谈,2,DB2的应用,3,数据仓库的性能要素数据库架构设计 分区的使用及优化数据仓库的空间管理应用设计 优化,18,基于DB2的数据仓库应用和展现,19,完毕，谢谢！,