基于索引的SQL语句优化之降龙十八掌.doc

《基于索引的SQL语句优化之降龙十八掌.doc》由会员分享，可在线阅读，更多相关《基于索引的SQL语句优化之降龙十八掌.doc（10页珍藏版）》请在三一办公上搜索。

1、基于索引的SQL语句优化之降龙十八掌1前言22总纲23降龙十八掌3第一掌防止对列的操作3第二掌防止不必要的类型转换4第三掌增加查询的围限制4第四掌尽量去掉IN、OR4第五掌尽量去掉 5第六掌去掉Where子句中的IS NULL和IS NOT NULL5第七掌索引提高数据分布不均匀时查询效率5第八掌利用HINT强制指定索引6第九掌屏蔽无用索引6第十掌分解复杂查询，用常量代替变量7第十一掌 like子句尽量前端匹配7第十二掌用Case语句合并多重扫描7第十三掌使用nls_date_format8第十四掌使用基于函数的索引8第十五掌基于函数的索引要求等式匹配9第十六掌使用分区索引9第十七掌使用位图索

2、引9第十八掌决定使用全表扫描还是使用索引94总结101 前言客服业务受到SQL语句的影响非常大，在规模比拟大的局点，往往因为一个小的SQL语句不够优化，导致数据库性能急剧下降，小型机idle所剩无几，应用效劳器断连、超时，严重影响业务的正常运行。因此，称低效的SQL语句为客服业务的恶龙并不过分。数据库的优化方法有很多种，在应用层来说，主要是基于索引的优化。本次秘笈根据实际的工作经历，在研发原来已有的方法的根底上，进展了一些扩大，总结了基于索引的SQL语句优化的降龙十八掌，希望有一天你能用其中一掌来驯服客服业务中横行的恶龙。2 总纲l 建立必要的索引这次传授的降龙十八掌，总纲只有一句话：建立必要

3、的索引，这就是后面降龙十八掌的功根底。这一点看似容易实际却很难。难就难在如何判断哪些索引是必要的，哪些又是不必要的。判断的最终标准是看这些索引是否对我们的数据库性能有所帮助。具体到方法上，就必须熟悉数据库应用程序中的所有SQL语句，从中统计出常用的可能对性能有影响的局部SQL，分析、归纳出作为Where条件子句的字段及其组合方式；在这一根底上可以初步判断出哪些表的哪些字段应该建立索引。其次，必须熟悉应用程序。必须了解哪些表是数据操作频繁的表；哪些表经常与其他表进展连接；哪些表中的数据量可能很大；对于数据量大的表，其中各个字段的数据分布情况如何；等等。对于满足以上条件的这些表，必须重点关注，因为

4、在这些表上的索引，将对SQL语句的性能产生举足轻重的影响。不过下面还是总结了一下降龙十八掌功的入门根底，建立索引常用的规则如下：1、表的主键、外键必须有索引；2、数据量超过300的表应该有索引；3、经常与其他表进展连接的表，在连接字段上应该建立索引；4、经常出现在Where子句中的字段，特别是大表的字段，应该建立索引；5、索引应该建在选择性高的字段上；6、索引应该建在小字段上，对于大的文本字段甚至超长字段，不要建索引；7、复合索引的建立需要进展仔细分析；尽量考虑用单字段索引代替： A、正确选择复合索引中的主列字段，一般是选择性较好的字段； B、复合索引的几个字段是否经常同时以AND方式出现在W

5、here子句中？单字段查询是否极少甚至没有？如果是，则可以建立复合索引；否则考虑单字段索引； C、如果复合索引中包含的字段经常单独出现在Where子句中，则分解为多个单字段索引； D、如果复合索引所包含的字段超过3个，则仔细考虑其必要性，考虑减少复合的字段；E、如果既有单字段索引，又有这几个字段上的复合索引，一般可以删除复合索引；8、频繁进展数据操作的表，不要建立太多的索引；9、删除无用的索引，防止对执行方案造成负面影响；以上是一些普遍的建立索引时的判断依据。一言以蔽之，索引的建立必须慎重，对每个索引的必要性都应该经过仔细分析，要有建立的依据。因为太多的索引与不充分、不正确的索引对性能都毫无益

6、处：在表上建立的每个索引都会增加存储开销，索引对于插入、删除、更新操作也会增加处理上的开销。另外，过多的复合索引，在有单字段索引的情况下，一般都是没有存在价值的；相反，还会降低数据增加删除时的性能，特别是对频繁更新的表来说，负面影响更大。3 降龙十八掌第一掌 防止对列的操作任何对列的操作都可能导致全表扫描，这里所谓的操作包括数据库函数、计算表达式等等，查询时要尽可能将操作移至等式的右边，甚至去掉函数。例1：以下SQL条件语句中的列都建有恰当的索引，但30万行数据情况下执行速度却非常慢：select * from record where substrb(CardNo,1,4)=5378(13秒

7、) select * from record where amount/30 100011秒select * from record where to_char(ActionTime,yyyymmdd)=1999120110秒由于where子句中对列的任何操作结果都是在SQL运行时逐行计算得到的，因此它不得不进展表扫描，而没有使用该列上面的索引；如果这些结果在查询编译时就能得到，则就可以被SQL优化器优化，使用索引，防止表扫描，因此将SQL重写如下：select * from record where CardNo like 5378% 1秒select * from record where

8、 amount 1000*30 1秒select * from record where ActionTime= to_date (19991201 ,yyyymmdd)10，应该写为： select col1,col2 from tab1 where col110。第三掌 增加查询的围限制增加查询的围限制，防止全围的搜索。例3：以下查询表record 中时间ActionTime小于2001年3月1日的数据：select * from record where ActionTime to_date (20010301 ,yyyymm)查询方案说明，上面的查询对表进展全表扫描，如果我们知道表中的

9、最早的数据为2001年1月1日，则，可以增加一个最小时间，使查询在一个完整的围之。修改如下： select * from record where ActionTime to_date (20010101 ,yyyymm)后一种SQL语句将利用上ActionTime字段上的索引，从而提高查询效率。把20010301换成一个变量，根据取值的机率，可以有一半以上的时机提高效率。同理，对于大于*个值的查询，如果知道当前可能的最大值，也可以在Where子句中加上“AND 列名 MA*(最大值)。第四掌 尽量去掉IN、OR含有IN、OR的Where子句常会使用工作表，使索引失效；如果不产生大量重复值，可

10、以考虑把子句拆开；拆开的子句中应该包含索引。例4：select count(*) from stuff where id_no in(0,1)23秒可以考虑将or子句分开：select count(*) from stuff where id_no=0 select count(*) from stuff where id_no=1然后再做一个简单的加法，与原来的SQL语句相比，查询速度更快。第五掌 尽量去掉 尽量去掉 ，防止全表扫描，如果数据是枚举值，且取值围固定，则修改为OR方式。例5：UPDATE SERVICEINFO SET STATE=0 WHERE STATE0;以上语句由于其中

11、包含了，执行方案中用了全表扫描TABLE ACCESS FULL，没有用到state字段上的索引。实际应用中，由于业务逻辑的限制，字段state为枚举值，只能等于0，1或2，而且，值等于=1，2的很少，因此可以去掉，利用索引来提高效率。修改为：UPDATE SERVICEINFO SET STATE=0 WHERE STATE = 1 OR STATE = 2。进一步的修改可以参考第4种方法。第六掌 去掉Where子句中的IS NULL和IS NOT NULLWhere字句中的IS NULL和IS NOT NULL将不会使用索引而是进展全表搜索，因此需要通过改变查询方式，分情况讨论等方法，去掉

12、Where子句中的IS NULL和IS NOT NULL。第七掌 索引提高数据分布不均匀时查询效率索引的选择性低，但数据的值分布差异很大时，仍然可以利用索引提高效率。A、数据分布不均匀的特殊情况下，选择性不高的索引也要创立。表ServiceInfo中数据量很大，假设有一百万行，其中有一个字段DisposalCourseFlag，取值围为枚举值：0，1，2，3，4，5，6，7。按照前面说的索引建立的规则，“选择性不高的字段不应该建立索引，该字段只有8种取值，索引值的重复率很高，索引选择性明显很低，因此不建索引。然而，由于该字段上数据值的分布情况非常特殊，具体如下表：取值围1567占总数据量的百分

13、比1%98%1%而且，常用的查询中，查询DisposalCourseFlag6 的情况既多又频繁，毫无疑问，如果能够建立索引，并且被应用，则将大大提高这种情况的查询效率。因此，我们需要在该字段上建立索引。第八掌 利用HINT强制指定索引在ORACLE优化器无法用上合理索引的情况下，利用HINT强制指定索引。继续上面7的例子，ORACLE缺省认定，表中列的值是在所有数据行中均匀分布的，也就是说，在一百万数据量下，每种DisposalCourseFlag值各有12.5万数据行与之对应。假设SQL搜索条件DisposalCourseFlag=2，利用DisposalCourseFlag列上的索引进展

14、数据搜索效率，往往不比全表扫描的高，ORACLE因此对索引“视而不见，从而在查询路径的选择中，用其他字段上的索引甚至全表扫描。根据我们上面的分析，数据值的分布很特殊，严重的不均匀。为了利用索引提高效率，此时，一方面可以单独对该字段或该表用analyze语句进展分析，对该列搜集足够的统计数据，使ORACLE在查询选择性较高的值时能用上索引；另一方面，可以利用HINT提示，在SELECT关键字后面，加上“/*+ INDE*(表名称，索引名称*/的方式，强制ORACLE优化器用上该索引。比方： select * from serviceinfo where DisposalCourseFlag=1

15、;上面的语句，实际执行中ORACLE用了全表扫描，加上蓝色提示局部后，用到索引查询。如下：select /*+ INDE*(SERVICEINFO,I*_S_DISPOSALCOURSEFLAG) */ * from serviceinfo where DisposalCourseFlag=1;请注意，这种方法会加大代码维护的难度，而且该字段上索引的名称被改变之后，必须要同步所有指定索引的HINT代码，否则HINT提示将被ORACLE忽略掉。第九掌 屏蔽无用索引继续上面8的例子，由于实际查询中，还有涉及到DisposalCourseFlag=6的查询，而此时如果用上该字段上的索引，将是非常不明

16、智的，效率也极低。因此这种情况下，我们需要用特殊的方法屏蔽该索引，以便ORACLE选择其他字段上的索引。比方，如果字段为数值型的就在表达式的字段名后，添加“+ 0，为字符型的就并上空串：“|如：select * from serviceinfo where DisposalCourseFlag+ 0 = 6 and workNo = 36 。不过，不要把该用的索引屏蔽掉了，否则同样会产生低效率的全表扫描。第十掌 分解复杂查询，用常量代替变量对于复杂的Where条件组合，Where中含有多个带索引的字段，考虑用IF语句分情况进展讨论；同时，去掉不必要的外来参数条件，减低复杂度，以便在不同情况下用

17、不同字段上的索引。继续上面9的例子，对于包含Where (DisposalCourseFlag v_DisPosalCourseFlag) or (v_DisPosalCourseFlag is null) and .的查询，(这里v_DisPosalCourseFlag为一个输入变量，取值围可能为NULL，0，1，2，3，4，5，6，7)，可以考虑分情况用IF语句进展讨论，类似：IF v_DisPosalCourseFlag =1 THENWhere DisposalCourseFlag = 1 and .ELSIF v_DisPosalCourseFlag =2 THENWhere Dis

18、posalCourseFlag = 2 and .。第十一掌 like子句尽量前端匹配因为like参数使用的非常频繁，因此如果能够对like子句使用索引，将很高的提高查询的效率。例6：select * from city where name like %S%以上查询的执行方案用了全表扫描TABLE ACCESS FULL，如果能够修改为：select * from city where name like S%则查询的执行方案将会变成INDE* RANGE SCAN，成功的利用了name字段的索引。这意味着Oracle SQL优化器会识别出用于索引的like子句，只要该查询的匹配端是具体值。

19、因此我们在做like查询时，应该尽量使查询的匹配端是具体值，即使用like S%。第十二掌 用Case语句合并多重扫描我们常常必须基于多组数据表计算不同的聚集。例如下例通过三个独立查询：例8：1select count(*) from emp where sal5000;这样我们需要进展三次全表查询，但是如果我们使用case语句：select count (sale when sal 5000then 1 else null end)count_poorfrom emp;这样查询的结果一样，但是执行方案只进展了一次全表查询。第十三掌 使用nls_date_format例9：select * f

20、rom record where to_char(ActionTime,mm)=12这个查询的执行方案将是全表查询，如果我们改变nls_date_format，SQLalert session set nls_date_formate=MM;现在重新修改上面的查询：select * from record where ActionTime=12这样就能使用actiontime上的索引了，它的执行方案将是INDE* RANGE SCAN。第十四掌 使用基于函数的索引前面谈到任何对列的操作都可能导致全表扫描，例如：select * from emp where substr(ename,1,2)=

21、SM;但是这种查询在客服系统又经常使用，我们可以创立一个带有substr函数的基于函数的索引，create inde* emp_ename_substr on eemp ( substr(ename,1,2) );这样在执行上面的查询语句时，这个基于函数的索引将排上用场，执行方案将是INDE* RANGE SCAN。第十五掌 基于函数的索引要求等式匹配上面的例子中，我们创立了基于函数的索引，但是如果执行下面的查询：select * from emp where substr(ename,1,1)=S得到的执行方案将还是TABLE ACCESS FULL，因为只有当数据列能够等式匹配时，基于函数

22、的索引才能生效，这样对于这种索引的方案和维护的要求都很高。请注意，向表中添加索引是非常危险的操作，因为这将导致许多查询执行方案的变更。然而，如果我们使用基于函数的索引就不会产生这样的问题，因为Oracle只有在查询使用了匹配的置函数时才会使用这种类型的索引。第十六掌 使用分区索引在用分析命令对分区索引进展分析时，每一个分区的数据值的围信息会放入Oracle的数据字典中。Oracle可以利用这个信息来提取出那些只与SQL查询相关的数据分区。例如，假设你已经定义了一个分区索引，并且*个SQL语句需要在一个索引分区中进展一次索引扫描。Oracle会仅仅访问这个索引分区，而且会在这个分区上调用一个此索

23、引围的快速全扫描。因为不需要访问整个索引，所以提高了查询的速度。第十七掌 使用位图索引位图索引可以从本质上提高使用了小于1000个唯一数据值的数据列的查询速度，因为在位图索引中进展的检索是在RAM中完成的，而且也总是比传统的B树索引的速度要快。对于那些少于1000个唯一数据值的数据列建立位图索引，可以使执行效率更快。第十八掌 决定使用全表扫描还是使用索引和所有的秘笈一样，最后一招都会又回到起点，最后我们来讨论一下是否需要建立索引，也许进展全表扫描更快。在大多数情况下，全表扫描可能会导致更多的物理磁盘输入输出，但是全表扫描有时又可能会因为高度并行化的存在而执行的更快。如果查询的表完全没有顺序，则

24、一个要返回记录数小于10的查询可能会读取表局部的数据块，这样使用索引会使查询效率提高很多。但是如果表非常有顺序，则如果查询的记录数大于40时，可能使用全表扫描更快。因此，有一个索引围扫描的总体原则是：1对于原始排序的表 仅读取少于表记录数40的查询应该使用索引围扫描。反之，读取记录数目多于表记录数的40的查询应该使用全表扫描。2对于未排序的表 仅读取少于表记录数7的查询应该使用索引围扫描。反之，读取记录数目多于表记录数的7的查询应该使用全表扫描。4 总结以上的招式，是完全可以相互结合同时运用的。而且各种方法之间相互影响，严密联系。这种联系既存在一致性，也可能带来冲突，当冲突发生时，需要根据实际

25、情况进展选择，没有固定的模式。最后决定SQL优化功力的因素就是对ORACLE功的掌握程度了。另外，值得注意的是：随着时间的推移和数据的累计与变化，ORACLE对SQL语句的执行方案也会改变，比方：基于代价的优化方法，随着数据量的增大，优化器可能错误的不选择索引而采用全表扫描。这种情况可能是因为统计信息已经过时，在数据量变化很大后没有及时分析表；但如果对表进展分析之后，仍然没有用上合理的索引，则就有必要对SQL语句用HINT提示，强制用合理的索引。但这种HINT提示也不能滥用，因为这种方法过于复杂，缺乏通用性和应变能力，同时也增加了维护上的代价；相对来说，基于函数右移、去掉“IN ，OR ， ，IS NOT NULL 、分解复杂的SQL语句等等方法，却是“放之四海皆准的，可以放心大胆的使用。同时，优化也不是“一劳永逸的，必须随着情况的改变进展相应的调整。当数据库设计发生变化，包括更改表构造：字段和索引的增加、删除或改名等；业务逻辑发生变化：如查询方式、取值围发生改变等等。在这种情况下，也必须对原有的优化进展调整，以适应效率上的需求。