数据库原理DatabasePrincipl.ppt
An Introduction to Database System,数据库原理Database Principle,仲恺农业技术学院计算机科学与工程学院,An Introduction to Database System,第九章 关系查询处理和查询优化,9.1 概述9.2 代数优化9.3 物理优化9.4 MSSQL优化之执行计划 9.5 小 结,An Introduction to Database System,9.1 概述,本章目的：RDBMS的查询处理步骤 查询优化的概念 基本方法和技术 查询优化分类：代数优化物理优化,An Introduction to Database System,9.1 概述（续）,9.1.1 查询处理步骤9.1.2 实现查询操作的算法示例,An Introduction to Database System,9.1.1 查询处理步骤,RDBMS查询处理阶段：1.查询分析2.查询检查3.查询优化 4.查询执行,An Introduction to Database System,查询处理步骤（续）,查询处理步骤,An Introduction to Database System,1.查询分析,对查询语句进行扫描、词法分析和语法分析 从查询语句中识别出语言符号 进行语法检查和语法分析,An Introduction to Database System,2.查询检查,根据数据字典对合法的查询语句进行语义检查 根据数据字典中的用户权限和完整性约束定义对用户的存取权限进行检查 检查通过后把SQL查询语句转换成等价的关系代数表达式 RDBMS一般都用查询树(语法分析树)来表示扩展的关系代数表达式 把数据库对象的外部名称转换为内部表示,An Introduction to Database System,3.查询优化,查询优化：选择一个高效执行的查询处理策略 查询优化分类：代数优化：指关系代数表达式的优化，改变操作的次序和组合物理优化：指存取路径和底层操作算法的选择查询优化方法选择的依据：基于规则(rule based)基于代价(cost based)基于语义(semantic based),An Introduction to Database System,4.查询执行,依据优化器得到的执行策略生成查询计划代码生成器(code generator)生成执行查询计划的代码,An Introduction to Database System,9.1 关系数据库系统的查询处理,9.1.1 查询处理步骤9.1.2 实现查询操作的算法示例,An Introduction to Database System,9.1.2 实现查询操作的算法示例,一、选择操作的实现 二、连接操作的实现,An Introduction to Database System,一、选择操作的实现,例1Select*from student where；考虑的几种情况：C1：无条件；C2：Sno200215121；C3：Sage20；C4：SdeptCS AND Sage20；,An Introduction to Database System,选择操作的实现（续）,选择操作典型实现方法：1.简单的全表扫描方法 对查询的基本表顺序扫描，逐一检查每个元组是否满足选择条件，把满足条件的元组作为结果输出 适合小表，不适合大表2.索引(或散列)扫描方法 适合选择条件中的属性上有索引(例如B+树索引或Hash索引)通过索引先找到满足条件的元组主码或元组指针，再通过元组指针直接在查询的基本表中找到元组,An Introduction to Database System,选择操作的实现（续）,例1-C2 以C2为例，Sno200215121，并且Sno上有索引(或Sno是散列码)使用索引(或散列)得到Sno为200215121 元组的指针通过元组指针在student表中检索到该学生例1-C3 以C3为例，Sage20，并且Sage 上有B+树索引使用B+树索引找到Sage20的索引项，以此为入口点在B+树的顺序集上得到Sage20的所有元组指针通过这些元组指针到student表中检索到所有年龄大于20的学生。,An Introduction to Database System,选择操作的实现（续）,例1-C4 以C4为例，SdeptCS AND Sage20，如果Sdept和Sage上都有索引：算法一：分别用上面两种方法分别找到SdeptCS的一组元组指针和Sage20的另一组元组指针求这2组指针的交集到student表中检索得到计算机系年龄大于20的学生算法二：找到SdeptCS的一组元组指针，通过这些元组指针到student表中检索对得到的元组检查另一些选择条件(如Sage20)是否满足把满足条件的元组作为结果输出。,An Introduction to Database System,二、连接操作的实现,连接操作是查询处理中最耗时的操作之一 本节只讨论等值连接(或自然连接)最常用的实现算法 例2 SELECT*FROM Student，SC WHERE Student.Sno=SC.Sno；,An Introduction to Database System,连接操作的实现（续）,1.嵌套循环方法(nested loop)2.排序-合并方法(sort-merge join 或merge join)3.索引连接(index join)方法 4.Hash Join方法,An Introduction to Database System,连接操作的实现（续）,嵌套循环方法(nested loop)对外层循环(Student)的每一个元组(s)，检索内层循环(SC)中的每一个元组(sc)检查这两个元组在连接属性(sno)上是否相等如果满足连接条件，则串接后作为结果输出，直到外层循环表中的元组处理完为止,An Introduction to Database System,连接操作的实现（续）,2.排序-合并方法(sort-merge join 或merge join)适合连接的诸表已经排好序的情况 排序合并连接方法的步骤：如果连接的表没有排好序，先对Student表和SC表按连接属性Sno排序 取Student表中第一个Sno，依次扫描SC表中具有相同Sno的元组,An Introduction to Database System,连接操作的实现（续）,An Introduction to Database System,连接操作的实现（续）,排序合并连接方法的步骤（续）：当扫描到Sno不相同的第一个SC元组时，返回Student表扫描它的下一个元组，再扫描SC表中具有相同Sno的元组，把它们连接起来 重复上述步骤直到Student 表扫描完,An Introduction to Database System,连接操作的实现（续）,Student表和SC表都只要扫描一遍如果2个表原来无序，执行时间要加上对两个表的排序时间对于2个大表，先排序后使用sort-merge join方法执行连接，总的时间一般仍会大大减少,An Introduction to Database System,连接操作的实现（续）,3.索引连接(index join)方法步骤：在SC表上建立属性Sno的索引，如果原来没有该索引 对Student中每一个元组，由Sno值通过SC的索引查找相应的SC元组 把这些SC元组和Student元组连接起来 循环执行，直到Student表中的元组处理完为止,An Introduction to Database System,连接操作的实现（续）,4.Hash Join方法 把连接属性作为hash码，用同一个hash函数把R和S中的元组散列到同一个hash文件中步骤：划分阶段(partitioning phase)：对包含较少元组的表(比如R)进行一遍处理把它的元组按hash函数分散到hash表的桶中试探阶段(probing phase)：也称为连接阶段(join phase)对另一个表(S)进行一遍处理把S的元组散列到适当的hash桶中把元组与桶中所有来自R并与之相匹配的元组连接起来,An Introduction to Database System,连接操作的实现（续）,上面hash join算法前提：假设两个表中较小的表在第一阶段后可以完全放入内存的hash桶中 以上的算法思想可以推广到更加一般的多个表的连接算法上,An Introduction to Database System,优化的一般步骤,1把查询转换成某种内部表示2代数优化：把语法树转换成标准（优化）形式3物理优化：选择低层的存取路径4生成执行计划，选择代价最小的,An Introduction to Database System,第九章 关系查询处理和查询优化,9.1 概述9.2 代数优化9.3 物理优化9.4 MSSQL优化之执行计划 9.5 小 结,An Introduction to Database System,9.2 代 数 优 化,9.2.1 关系代数表达式等价变换规则 9.2.2 查询树的启发式优化,An Introduction to Database System,9.2.1 关系代数表达式等价变换规则,代数优化策略：通过对关系代数表达式的等价变换来提高查询效率 关系代数表达式的等价：指用相同的关系代替两个表达式中相应的关系所得到的结果是相同的两个关系表达式E1和E2是等价的，可记为E1E2,An Introduction to Database System,9.2.1 关系代数表达式等价变换规则（续）,1)2)3)4)5),An Introduction to Database System,常用的等价变换规则：,1.连接、笛卡尔积交换律 设E1和E2是关系代数表达式，F是连接运算的条件，则有 E1 E2E2 E1 E1 E2E2 E1 E1 E2E2 E12.连接、笛卡尔积的结合律 设E1，E2，E3是关系代数表达式，F1和F2是连接运算的条件，则有(E1 E2)E3E1(E2 E3)(E1 E2)E3E1(E2 E3)(E1 E2)E3E1(E2 E3),An Introduction to Database System,关系代数表达式等价变换规则（续）,3.投影的串接定律(E)(E)这里，E是关系代数表达式，Ai(i=1，2，n)，Bj(j=1，2，m)是属性名且A1，A2，An构成B1，B2，Bm的子集。4.选择的串接定律(E)(E)这里，E是关系代数表达式，F1、F2是选择条件。选择的串接律说明选择条件可以合并。这样一次就可检查全部条件。,An Introduction to Database System,关系代数表达式等价变换规则（续）,5.选择与投影操作的交换律 F(E)(F(E)选择条件F只涉及属性A1，An。若F中有不属于A1，An的属性B1，Bm则有更一般的规则：(F(E)(F(E),An Introduction to Database System,关系代数表达式等价变换规则（续）,6.选择与笛卡尔积的交换律如果F中涉及的属性都是E1中的属性，则(E1E2)(E1)E2如果F=F1F2，并且F1只涉及E1中的属性，F2只涉及E2中的属性，则由上面的等价变换规则1，4，6可推出：(E1E2)(E1)(E2)若F1只涉及E1中的属性，F2涉及E1和E2两者的属性，则仍有(E1E2)(E1)E2)它使部分选择在笛卡尔积前先做。,An Introduction to Database System,关系代数表达式等价变换规则（续）,7.选择与并的分配律设E=E1E2，E1，E2有相同的属性名，则 F(E1E2)F(E1)F(E2)8.选择与差运算的分配律若E1与E2有相同的属性名，则 F(E1-E2)F(E1)-F(E2)9.选择对自然连接的分配律 F(E1 E2)F(E1)F(E2)F只涉及E1与E2的公共属性,An Introduction to Database System,关系代数表达式等价变换规则（续）,10.投影与笛卡尔积的分配律设E1和E2是两个关系表达式，A1，An是E1的属性，B1，Bm是E2的属性，则(E1E2)(E1)(E2)11.投影与并的分配律设E1和E2有相同的属性名，则(E1E2)(E1)(E2),An Introduction to Database System,9.2 代 数 优 化,9.2.1 关系代数表达式等价变换规则 9.2.2 查询树的启发式优化,An Introduction to Database System,典型的启发式规则：,选择运算应尽可能先做 目的：减小中间关系在执行连接操作前对关系适当进行预处理按连接属性排序在连接属性上建立索引投影运算和选择运算同时做目的：避免重复扫描关系将投影运算与其前面或后面的双目运算结合目的：减少扫描关系的遍数,An Introduction to Database System,查询优化的一般准则（续）,某些选择运算在其前面执行的笛卡尔积=连接运算 例：Student.Sno=SC.Sno(StudentSC)Student SC提取公共子表达式当查询的是视图时，定义视图的表达式就是公共子表达式的情况如果这种重复出现的子表达式的结果不是很大的关系并且从外存中读入这个关系比计算该子表达式的时间少得多，则先计算一次公共子表达式并把结果写入中间文件是合算的,An Introduction to Database System,查询树的启发式优化（续）,遵循这些启发式规则，应用的等价变换公式来优化关系表达式的算法。算法：关系表达式的优化输入：一个关系表达式的查询树输出：优化的查询树方法：(1)利用等价变换规则4把形如F1F2Fn(E)变换为F1(F2(Fn(E)。(2)对每一个选择，利用等价变换规则49尽可能把它移到树的叶端。,An Introduction to Database System,查询树的启发式优化（续）,(3)对每一个投影利用等价变换规则3，5，10，11中的一般形式尽可能把它移向树的叶端。注意：等价变换规则3使一些投影消失规则5把一个投影分裂为两个，其中一个有可能被移向树的叶端(4)利用等价变换规则35把选择和投影的串接合并成单个选择、单个投影或一个选择后跟一个投影。使多个选择或投影能同时执行，或在一次扫描中全部完成,An Introduction to Database System,查询树的启发式优化（续）,(5)把上述得到的语法树的内节点分组。每一双目运算(，-)和它所有的直接祖先为一组(这些直接祖先是(，运算)。如果其后代直到叶子全是单目运算，则也将它们并入该组但当双目运算是笛卡尔积()，而且后面不是与它组成等值连接的选择时，则不能把选择与这个双目运算组成同一组，把这些单目运算单独分为一组,An Introduction to Database System,优化的一般步骤(续),例2：求选修了课程2的学生姓名SELECT Student.SnameFROM Student,SCWHERE Student.Sno=SC.SnoAND SC.Cno=2;,An Introduction to Database System,(1)把SQL语句转换成查询树,结果,project(Sname),select(SC.Cno=2),join(Student.Sno=SC.Sno),Student,SC,查询树,An Introduction to Database System,为了使用关系代数表达式的优化法，假设内部表示是关系代数语法树，则上面的查询树如下图所示。,关系代数语法树,An Introduction to Database System,(2)对查询树进行优化,利用优化算法把语法树转换成标准（优化）形式,优化后的查询树,An Introduction to Database System,例3：,An Introduction to Database System,优化后的查询树,An Introduction to Database System,An Introduction to Database System,优化,An Introduction to Database System,第九章 关系查询处理和查询优化,9.1 概述9.2 代数优化9.3 物理优化9.4 MSSQL优化之执行计划 9.5 小 结,An Introduction to Database System,9.3 物理优化,代数优化改变查询语句中操作的次序和组合，不涉及底层的存取路径对于一个查询语句有许多存取方案，它们的执行效率不同，仅仅进行代数优化是不够的 代数优化比较粗糙,而存储路径优化效果明显物理优化就是要选择高效合理的操作算法或存取路径，求得优化的查询计划,An Introduction to Database System,存取路径选择优化,一、选择操作二、连接操作,An Introduction to Database System,存取路径选择优化,一、选择操作,An Introduction to Database System,存取路径选择优化(续),An Introduction to Database System,存取路径选择优化(续),二、连接操作1.如果2个表都已经按照连接属性排序 选用排序-合并方法2.如果一个表在连接属性上有索引 选用索引连接方法3.如果上面2个规则都不适用，其中一个表较小 选用Hash join方法,An Introduction to Database System,第九章 关系查询处理和查询优化,9.1 概述9.2 代数优化9.3 物理优化9.4 MSSQL优化之执行计划 9.5 小 结,An Introduction to Database System,9.4 MSSQL优化之执行计划,谈到优化就必然要涉及索引，就像要讲锁必然要说事务一样探索MSSQL的执行计划，来让大家知道如何查看MSSQL的优化机制，以此来优化SQL查询,An Introduction to Database System,9.4 MSSQL优化之执行计划（续）,例4 MSSQL优化新建测试表T_UserInfo 插入100条数据 演示,An Introduction to Database System,9.4 MSSQL优化之执行计划（续）,查询SELECT*FROM T_UserInfo WHERE USERID=ABCDE6EF Ctrl+L查看执行计划,这就是MSSQL的执行计划：表扫描：扫描表中的行,An Introduction to Database System,9.4 MSSQL优化之执行计划（续）,查看该语句对IO的读写 执行:SET STATISTICS IO ON 此时再执行该SQL:SELECT*FROM T_UserInfo WHERE USERID=ABCDE6EF,四个值分别为：执行的扫描次数;从数据缓存读取的页数;从磁盘读取的页数;为进行查询而放入缓存的页数;,An Introduction to Database System,9.4 MSSQL优化之执行计划（续）,注意：如果对于一个SQL查询有多种写法，那么这四个值中的逻辑读(logical reads)决定了哪个是最优化的。,An Introduction to Database System,9.4 MSSQL优化之执行计划（续）,接下来我们为其建一个聚集索引 CREATE CLUSTERED INDEX INDEX_Userid ON T_UserInfo(Userid)查询SELECT*FROM T_UserInfo WHERE USERID=ABCDE6EFCtrl+L查看执行计划,An Introduction to Database System,9.4 MSSQL优化之执行计划（续）,注意:此时逻辑读由原来的1变成2，说明我们又加了一个索引页，现在我们查询时，逻辑读就是要读两页(1索引页+1数据页)，此时的效率还不如不建索引。,An Introduction to Database System,9.4 MSSQL优化之执行计划（续）,测试数据改变成1000条 再执行SET STATISTICS IO ON,再执行 SELECT*FROM T_UserInfo WHERE USERID=ABCDE6EF在不加聚集索引的情况下：表T_UserInfo。扫描计数1，逻辑读10 次，物理读0 次，预读0 次。在加聚集索引的情况下：CREATE CLUSTERED INDEX INDEX_Userid ON T_UserInfo(Userid)表T_UserInfo。扫描计数1，逻辑读2 次，物理读0 次，预读0 次。(其实也就是说此时是读了一个索引页，一个数据页)在加索引的情况下：CREATE INDEX INDEX_Userid ON T_UserInfo(Userid)表T_UserInfo。扫描计数1，逻辑读3 次，物理读0 次，预读0 次据此，在数据量稍大时，索引的查询优势就显示出来了。,An Introduction to Database System,9.4 MSSQL优化之执行计划（续）,先小结下：当你构建SQL语句时，按Ctrl+L就可以看到语句是如何执行，是用索引扫描还是表扫描？通过SET STATISTICS IO ON 来查看逻辑读，完成同一功能的不同SQL语句，逻辑读 越小查询速度越快(当然不要找那个只有几百条记录的例子)。,An Introduction to Database System,9.4 MSSQL优化之执行计划（续）,-相关SQL语句解释-建聚集索引CREATE CLUSTERED INDEX INDEX_Userid ON T_UserInfo(Userid)-建非聚集索引CREATE NONCLUSTERED INDEX INDEX_Userid ON T_UserInfo(Userid)-删除索引DROP INDEX T_UserInfo.INDEX_Userid,An Introduction to Database System,9.4 MSSQL优化之执行计划（续）,-显示有关由Transact-SQL 语句生成的磁盘活动量的信息SET STATISTICS IO ON-关闭有关由Transact-SQL 语句生成的磁盘活动量的信息SET STATISTICS IO OFF-显示返回有关语句执行情况的详细信息，并估计语句对资源的需求SET SHOWPLAN_ALL ON-关闭返回有关语句执行情况的详细信息，并估计语句对资源的需求SET SHOWPLAN_ALL OFF-请记住：SET STATISTICS IO 和 SET SHOWPLAN_ALL 是互斥的。,An Introduction to Database System,9.4 MSSQL优化之执行计划（续）,?SELECT*FROM T_UserInfo WHERE USERID LIKE ABCDE8%,An Introduction to Database System,第九章 关系查询处理和查询优化,9.1 概述9.2 代数优化9.3 物理优化9.4 MSSQL优化之执行计划 9.5 小 结,An Introduction to Database System,9.5 小 结,查询处理是RDBMS的核心，查询优化技术是查询处理的关键技术 本章讲解的优化方法 启发式代数优化基于规则的存取路径优化基于代价的优化本章的目的：希望读者掌握查询优化方法的概念和技术,An Introduction to Database System,小 结（续）,比较复杂的查询，尤其是涉及连接和嵌套的查询不要把优化的任务全部放在RDBMS上应该找出RDBMS的优化规律，以写出适合RDBMS自动优化的SQL语句 对于RDBMS不能优化的查询需要重写查询语句，进行手工调整以优化性能,An Introduction to Database System,作业：275 2,
