关系查询处理和其查询优化课件.ppt

《关系查询处理和其查询优化课件.ppt》由会员分享，可在线阅读，更多相关《关系查询处理和其查询优化课件.ppt（67页珍藏版）》请在三一办公上搜索。

1、第九章 关系查询处理和其查询优化,9.1 关系数据库系统的查询处理9.2 关系数据库系统的查询优化9.3 代数优化9.4 物理优化,9.1关系数据库系统的查询处理,9.1.1 查询处理步骤 分4个阶段：查询分析，查询检查，查询优化，查询执行,1 查询分析 对查询语句进行扫描、词法分析和语法分析。2 查询检查 根据数据字典对合法的查询语句进行语义检查，即检查语句中的数据库对象，如属性名、关系名，是否存在和是否有效。权限和完整性检查，转换为查询树,3 查询优化 在许多的执行策略中选择一个高效的查询处理策略。分为代数优化和物力优化。4 查询执行 生成查询计划，由代码生成器生成执行查询的代码。,9.1

2、.2实现查询操作的算法示例一、选择操作的实现例 select*from student where;条件为：C1：无条件 C2:sno=200215121 C3:sage20 C4:sdept=CS AND sage20;,1.简单的全表扫描 对小表简单有效，对大表费时，效率低,2.索引扫描方法 如果选择条件中的属性上有索引，用索引扫描法。通过索引先找到满足条件的元组主码或指针，再通过指针找基表中的数据,二、连接操作的实现 连接操作是最费时的操作 例：select*from student,scwhere student.sno=sc.sno,1.嵌套循环方法,2.排序-合并方法适合于连接的诸

3、表已经排序的情况步骤：1）先对待连接的表在连接属性上排序2）取左表的第一个元组，一次扫描右表，找连接属性相等的元组，把他们连接起来3）当在右表中找到第一个与左表提供的值不相等时，返回左表取下一个元组再往下扫描右表。重复这一过程，直到左表扫描完毕。,3.索引连接方法步骤：1）在sc表上建立属性sno的索引2）对student中的每一个sno,通过sc的索引找相应的sc元组3）把这些元组与student中的当前元组连接起来4）重复2）3）直到student表处理完毕,9.2 关系系统的查询优化,9.2.1 查询优化概述,9.2.1 查询优化概述,查询优化的必要性查询优化极大地影响RDBMS的性能。

4、查询优化的可能性关系数据语言的级别很高，使DBMS可以从关系表达式中分析查询语义。,由DBMS进行查询优化的好处,用户不必考虑如何最好地表达查询以获得较好的效率系统可以比用户程序的优化做得更好(1)优化器可以从数据字典中获取许多统计信息，而用户程序则难以获得这些信息,由DBMS进行查询优化的好处,(2)如果数据库的物理统计信息改变了，系统可以自动对查询重新优化以选择相适应的执行计划。在非关系系统中必须重写程序，而重写程序在实际应用中往往是不太可能的。(3)优化器可以考虑数百种不同的执行计划，而程序员一般只能考虑有限的几种可能性。(4)优化器中包括了很多复杂的优化技术,查询优化目标,查询优化的总

5、目标 选择有效策略，求得给定关系表达式的值实际系统的查询优化步骤1.将查询转换成某种内部表示，通常是语法树2.根据一定的等价变换规则把语法树转换成标准（优化）形式,实际系统的查询优化步骤,3.选择低层的操作算法对于语法树中的每一个操作计算各种执行算法的执行代价选择代价小的执行算法4.生成查询计划(查询执行方案)查询计划是由一系列内部操作组成的。,代价模型,集中式数据库单用户系统总代价=I/O代价+CPU代价多用户系统总代价=I/O代价+CPU代价+内存代价分布式数据库 总代价=I/O代价+CPU代价+内存代价+通信代价,9.2.2 一个实例,例：求选修了课程2的学生姓名SELECT Stude

6、nt.SnameFROM Student,SCWHERE Student.Sno=SC.SnoAND SC.Cno=2;,假设1：外存：Student:1000条,SC:10000条,选修2号课程:50条假设2：一个内存块装元组:10个Student,或100个SC,内存中一次可以存放:5块Student元组,1块SC元组和若干块连接结果元组假设3：读写速度：20块/秒假设4：连接方法：基于数据块的嵌套循环法,3种执行策略,Q1Sname(Student.Sno=SC.SnoSC.Cno=2(StudentSC)2 name(SC.Cno=2(Student SC)3 Sname(Studen

7、t SC.Cno=2(SC),执行策略1,Q1Sname(Student.Sno=SC.SnoSC.Cno=2(StudentSC)StudentSC 读取总块数=读Student表块数+读SC表遍数*每遍块数=1000/10+(1000/(105)(10000/100)=100+20100=2100 读数据时间=2100/20=105秒,不同的执行策略,考虑I/O时间,中间结果大小=1000*10000=107(1千万条元组)写中间结果时间=10000000/10/20=50000秒读数据时间=50000秒总时间=1055000050000秒=100105秒=27.8小时,2.2 name(

8、SC.Cno=2(Student SC)读取总块数=2100块读数据时间=2100/20=105秒中间结果大小=10000（减少1000倍）写中间结果时间=10000/10/20=50秒读数据时间=50秒总时间1055050秒205秒=3.4分,3.3 Sname(Student SC.Cno=2(SC)读SC表总块数=10000/100=100块读数据时间=100/20=5秒中间结果大小=50条 不必写入外存读Student表总块数=1000/10=100块读数据时间=100/20=5秒 总时间55秒10秒,4.3 name(Student SC.Cno=2(SC)假设SC表在Cno上有索引

9、，Student表在Sno上有索引 读SC表索引读SC表总块数=50/1001块读数据时间中间结果大小=50条 不必写入外存,读Student表索引读Student表总块数=50/10=5块读数据时间 总时间10秒,9.3 代数优化,关系代数表达式等价指用相同的关系代替两个表达式中相应的关系所得到的结果是相同的上面的优化策略大部分都涉及到代数表达式的变换,9.3.1 常用的等价变换规则,设E1、E2等是关系代数表达式，F是条件表达式 l.连接、笛卡尔积交换律E1 E2 E2E1E1 E2E2 E1 E1 F E2E2 F E1,关系代数等价变换规则（续）,2.连接、笛卡尔积的结合律(E1E2)

10、E3 E1(E2E3)(E1 E2)E3 E1(E2 E3)(E1 E2)E3 E1(E2 E3)F F F F,关系代数等价变换规则（续）,3.投影的串接定律 A1,A2,An(B1,B2,Bm(E)A1,A2,An(E)假设：1)E是关系代数表达式2)Ai(i=1，2，n),Bj(j=l，2，m)是属性名3)A1,A2,An构成Bl，B2，Bm的子集,关系代数等价变换规则（续）,4.选择的串接定律 F1（F2（E）F1 F2(E)选择的串接律说明 选择条件可以合并这样一次就可检查全部条件。,关系代数等价变换规则（续）,5.选择与投影的交换律(1)假设:选择条件F只涉及属性A1，An F(A

11、1,A2,An(E)A1,A2,An(F(E)(2)假设:F中有不属于A1,An的属性B1,Bm A1,A2,An(F(E)A1,A2,An(F(A1,A2,An,B1,B2,Bm(E),关系代数等价变换规则（续）,6.选择与笛卡尔积的交换律(1)假设：F中涉及的属性都是E1中的属性 F(E1E2)F(E1)E2(2)假设：F=F1F2，并且F1只涉及E1中的属性，F2只涉及E2中的属性 则由上面的等价变换规则1，4，6可推出：F(E1E2)F1(E1)F2(E2),关系代数等价变换规则（续）,(3)假设：F=F1F2，F1只涉及E1中的属性，F2涉及E1和E2两者的属性 F(E1E2)F2(

12、F1(E1)E2)它使部分选择在笛卡尔积前先做,关系代数等价变换规则（续）,7.选择与并的交换假设：E=E1E2，E1，E2有相同的属性名F(E1E2)F(E1)F(E2)8.选择与差运算的交换假设：E1与E2有相同的属性名F(E1-E2)F(E1)-F(E2),9.选择对自然连接的分配律 F(E1 E2)F(E1)F(E2)F只涉及E1与E2的公共属性,关系代数等价变换规则（续）,10.投影与笛卡尔积的交换假设：E1和E2是两个关系表达式，A1，An是E1的属性，B1，Bm是E2的属性 A1,A2,An,B1,B2,Bm（E1E2)A1,A2,An（E1)B1,B2,Bm(E2),关系代数等

13、价变换规则（续）,l1.投影与并的交换假设：E1和E2 有相同的属性名 A1,A2,An(E1E2)A1,A2,An(E1)A1,A2,An(E2),小结,1-2:连接、笛卡尔积的交换律、结合律3：合并或分解投影运算4：合并或分解选择运算5-9：选择运算与其他运算交换5，10，11：投影运算与其他运算交换,9.3.2 查询树的启发式优化,选择运算应尽可能先做 目的：减小中间关系在执行连接操作前对关系适当进行预处理按连接属性排序在连接属性上建立索引投影运算和选择运算同时做目的：避免重复扫描关系将投影运算与其前面或后面的双目运算结合目的：减少扫描关系的遍数,查询优化的一般准则（续）,某些选择运算在

14、其前面执行的笛卡尔积=连接运算 例：Student.Sno=SC.Sno(StudentSC)Student SC提取公共子表达式,关系代数表达式的优化算法,算法：关系表达式的优化输入：一个关系表达式的语法树。输出：计算该表达式的程序。方法：（1）分解选择运算 利用规则4把形如F1 F2 Fn(E)变换为 F1(F2(Fn(E),关系代数表达式的优化算法(续),（2）通过交换选择运算，将其尽可能移到叶端 对每一个选择，利用规则49尽可能把它移到树的叶端。（3）通过交换投影运算，将其尽可能移到叶端对每一个投影利用规则3，10，l1，5中的一般形式尽可能把它移向树的叶端。,关系代数表达式的优化算法

15、(续),（4）合并串接的选择和投影，以便能同时执行或在一次扫描中完成利用规则35把选择和投影的串接合并成单个选择、单个投影或一个选择后跟一个投影。使多个选择或投影能同时执行，或在一次扫描中全部完成尽管这种变换似乎违背“投影尽可能早做”的原则，但这样做效率更高。,关系代数表达式的优化算法(续),（5）对内结点分组把上述得到的语法树的内节点分组。每一双目运算(，-)和它所有的直接祖先为一组(这些直接祖先是，运算)。如果其后代直到叶子全是单目运算，则也将它们并入该组，但当双目运算是笛卡尔积()，而且其后的选择不能与它结合为等值连接时除外。把这些单目运算单独分为一组。,关系代数表达式的优化算法(续),

16、（6）生成程序生成一个程序，每组结点的计算是程序中的一步。各步的顺序是任意的，只要保证任何一组的计算不会在它的后代组之前计算。,优化的一般步骤,1把查询转换成某种内部表示2代数优化：把语法树转换成标准（优化）形式3物理优化：选择低层的存取路径4生成查询计划，选择代价最小的,优化的一般步骤(续),（1）把查询转换成某种内部表示例：求选修了课程2的学生姓名SELECT Student.SnameFROM Student,SCWHERE Student.Sno=SC.SnoAND SC.Cno=2;,（1）把查询转换成某种内部表示,语法树,结果,project(Sname),select(SC.Cn

17、o=2),join(Student.Sno=SC.Sno),Student,SC,关系代数语法树,（2）代数优化,利用优化算法把语法树转换成标准（优化）形式,例:对于如下数据库：S(S,SNAME,AGE，SEX)SC(S#,C#,GRADE)C(C,CNAME,TEACHER)现有一个查询语句：查询至少学习LIU老师所授一门课程的女学生学号和姓名。该查询语句的关系代数表达式为：,自然联接的计算过程如下：计算RS；-计算笛卡尔积设R和S的公共属性是A1,A2Ak,挑选RS中满足R.A1=S.A1,R.AK=S.AK的那些元组；-选择公共属性值相等的元组。去掉S.A1,S.AK这些列。-做投影操

18、作。,则此查询语句的关系代数表达式为：,S#，SNAME(TEACHER=LIU SEX=F(L(SC.C#=C.C#SC.S#=S.S#(SSCC),这里L为S,SNAME,AGE，SEX，C#,GRADE,CNAME,TEACHER,下面使用优化算法对语法树进行优化1）将每个选择操作分裂成两个选择运算。共得到四个选择操作 teacher=liu sex=f c.c#=sc.c#sc.s#=s.s#,2)使用等价变换规则，把四个选择操作尽可能的向树的叶端靠拢。根据规则4和5可以把 teacher=liu和 sex=f移到投影和另外两个选择操作下面，得到表达式 teacher=liu（sex=

19、f（C SC)S)其中，外层选择仅涉及到关系C，内层选择仅涉及到关系S，所以上式又可变化为 teacher=liu（C）SC）sex=f（S)sc.s#=s.s#不能再往叶端移动了，因为他的属性涉及到两个关系Sc和S，但 c.c#=sc.c#还可以向下移，与迪卡尔积交换位置,然后根据规则3，把两个投影合并为一个，这样，原来的语法树变成了如下形式。,3）根据规则5，把头迎合选择进行互换，在选择前增加一个投影操作代替S.S#,SNAME和SC.S#=S.S#，再把 SC.S#,S.S#,SNAME分成 SC.S#和 S.S#,SNAME,使他们分别对c.c#=sc.c#()和 Sex=f()做投影

20、操作。,再根据规则5，将投影 S.S#和 S.S#，SNAME分别与前面的选择操作形成两个级连运算：,S.S#,C.C#=SC.C#,C.C#,SC.S#,SC.C#,再把 C.C#,SC.S#,SC.C#往叶端移，形成如下语法树,9.4物理优化：选择低层的存取路径,-优化器查找数据字典获得当前数据库状态信息选择字段上是否有索引连接的两个表是否有序连接字段上是否有索引然后根据一定的优化规则选择存取路径 如若SC表上建有Cno的索引，则应该利用这个索引，而不必顺序扫描SC表。,（4）生成查询计划，选择代价最小的,在作连接运算时，若两个表(设为R1，R2)均无序，连接属性上也没有索引，则可以有下面几种查询计划：对两个表作排序预处理 对R1在连接属性上建索引 对R2在连接属性上建索引 在R1，R2的连接属性上均建索引对不同的查询计划计算代价，选择代价最小的一个。在计算代价时主要考虑磁盘读写的I/O数，内存CPU处理时间在粗略计算时可不考虑。,