Ch03 软件测试方法 软件测试方法和技术课件.ppt

,软件测试方法和技术第3章 软件测试的方法,朱少民 K http:/,第2章 回顾,软件缺陷是软件质量的对立面软件缺陷(Bug)是什么验证和确认软件测试的分类静态测试与动态测试主动测试与被动测试黑盒测试与白盒测试测试级别：单元、集成、系统和验收软件测试计划与用例专业测试人员的责任和要求,第3章 软件测试的方法,3.1 基于直觉和经验的方法3.2 基于输入域的方法3.3 基于组合及其优化的技术3.4 基于逻辑覆盖的方法3.5 基于故障模式的测试方法3.6 基于模型的测试方法3.7 形式化方法,方法论和具体方法,从方法论看，更多体现了一种哲学的思想，例如辩证统一的方法，在测试中有许多对立统一体，如静态测试和动态测试、白盒测试和黑盒测试、自动化测试和手工测试等。软件测试的方法论来源于软件工程的方法论，例如有面向对象的开发方法，就有面向对象的测试方法；有敏捷方法，就有和敏捷方法对应的敏捷测试。,测试领域,Domains under Test,DNF: Disjunctive Normal Form(析取范式) FSM: Finite Status Machine,测试方法 SWEBOK 3.0,6,IDBT,CBT,FBT,UBT,MBT,TBNA,具体方法或技术,7,过去常提“黑盒和白盒”方法,8,等价类划分法边界值分析法判定表方法因果图法正交试验法功能图法错误推测法,语句覆盖判定覆盖条件覆盖判定条件覆盖条件组合覆盖基本路径覆盖,黑盒方法,白盒方法,其它方法 world,9,上下文驱动方法基于需求验证的方法基于场景的测试方法快速测试方法基于经验的方法,3.1 基于直觉和经验的方法,3.1.1 Ad-hoc测试方法和ALAC测试 3.1.2 错误推测法,基于经验和直觉推测程序中所有可能存在的各种错误，从而有针对性地设计测试用例。,3.1.1 ALAC测试和随机测试,ALAC，是Act-like-a-customer（象客户那样做）的简写，ALAC测试方法是一种基于客户使用产品的知识开发出来的测试方法，它的出发点是著名的Pareto 80/20规律,3.1.2 错误猜测法,错误推测法是测试者根据经验、知识和直觉来发现软件错误，来推测程序中可能存在的各种错误，从而有针对性的进行测试。,发现程序经常出现的错误的方法：单元测试中发现的模块错误；产品的以前版本曾经发现的错误；输入数据为0或字符为空；当软件要求输入时(比如在文本框中),不是没有输入正确的信息，而是根本没有输入任何内容，单单按了Enter键； ,3.2 基于输入域的测试方法,3.2.1 等价类划分法3.2.2 边界值分析法,3.2.1 等价类划分方法,等价类是某个输入域的子集，在该子集中每个输入数据的作用是等效的.将输入数据分成若干个子集，从每个子集选取一个代表性的数据作为测试用例分为有效等价类和无效等价类。在分析需求规格说明的基础上划分等价类，列出等价类表,设计测试用例时，要同时考虑这两种等价类。因为软件不仅要能接收合理的数据，也要能经受异常数据的考验。经过正反的测试才能确保软件具有更高的可靠性。,确定等价类的方法,在输入条件规定了取值范围或值的个数的情况下，则可以确立一个有效等价类和两个无效等价类,value,在输入条件规定了输入值的集合或者规定了“必须如何”的条件的情况下，可以确立一个有效等价类和一个无效等价类。在输入条件是一个布尔量的情况下，可确定一个有效等价类和一个无效等价类,确定等价类的方法（2）,not member of set,member of set,Boolean,Non-Boolean,确定等价类的方式 (3),在规定了输入数据的一组值(假定n个)，并且程序要对每一个输入值分别处理的情况下，可确立n个有效等价类和一个无效等价类。在规定了输入数据必须遵守的规则的情况下，可确立一个有效等价类(符合规则)和若干个无效等价类(从不同角度违反规则)。,有什么具体案例？,等价类测试用例-Example,等价类1: Integer等价类2: Decimal fraction等价类3: Negative等价类4: Invalid input,根据等价类创建测试用例的步骤,建立等价类表，列出所有划分出的等价类：为每个等价类规定一个唯一的编号；设计一个新的测试用例，使其尽可能多地覆盖尚未覆盖的有效等价类重复c)，最后使得所有有效等价类均被测试用例所覆盖；设计一个新的测试用例，使其只覆盖一个无效等价类。重复e)使所有无效等价类均被覆盖。,3.2.2 边界值分析方法,很多错误发生在输入或输出范围的边界上，因此针对各种边界情况设置测试用例，可以更有效地发现缺陷。BVA Boundary Value Analysis设计方法：确定边界情况（输入或输出等价类的边界）选取正好等于、刚刚大于或小于边界值作为测试数据,确定边界值的方法,如果输入条件规定了值的范围，则应取刚达到这个范围的边界的值，以及刚刚超越这个范围边界的值作为测试输入数据。如果输入条件规定了值的个数，则用最大个数、最小个数、比最小个数少一、比最大个数多一的数作为测试数据。,确定边界值的方法（2）,如果程序的规格说明给出的输入域或输出域是有序集合，则应选取集合的第一个元素和最后一个元素作为测试用例。如果程序中使用了一个内部数据结构，则应当选择这个内部数据结构的边界上的值作为测试用例。,Test cases for ABS(x) :class x = 0, arbitrary value x = 100classes x = 0, on boundary :x = 0classes x = 0, below and above:x = -1, x = 1,正常值（有效类）: X1 = 123123边界值: X2 = 12345边界值: X3 = 1234567边界值: X4 = 1边界值: X5 = 0无效类的值: X6 = -123123无效类的值: X7 = asdasd其它?,BVA 示例2,测试 限制性用户输入：6位正整数,无效值: X8 = 000123,X9 = asd123 X10 = Empty,BVA 示例3,Test cases :任意的正常值: 随机选择几个选项 边界值: 选择所有选项 边界值: 一个都不选边界值: 选择一个选项,二进制,0 和 1, byte 由8 bits 构成, 字由4 bytes构成, ,ASCII Table,字符编辑域,DefaultEmptyBlankNullZeroNone,一些特殊的边界值,数值字符位置数量速度位置体积,First/last， First-1/Last+1Min/Max，Min-1/max+1Star/Finish， Start-1/Finish+1Empty/FullLess than empty/ more than fullSlower/FasterLargest/SmallestOver/Under， just Over/Just UnderShortest/Longest ,有什么具体案例？,3.3 基于组合技术和组合优化的方法,3.3.1 判定表/决策表方法3.3.2 因果图3.3.3 两两组合方法3.3.4 正交实验法,3.3.1 判定表方法,在实际应用中，许多输入是由多个因素构成，而不是单一因素，这时就需要多因素组合分析。对于多因素，有时可以直接对输入条件进行组合设计，不需要进行因果分析，即直接采用判定表方法。判定表由“条件和活动”两部分组成，即列出一个测试活动执行所需的条件组合，所有可能的条件组合定义了一系列的选择，而测试活动需要考虑每一个选择。,判定表元素,条件桩，列出问题的所有条件动作桩：列出可能针对问题所采取的操作条件项：针对所列条件的具体赋值动作项：列出在条件项（各种取值）组合情况下应该采取的动作。规则：任何一个条件组合的特定取值及其相应要执行的操作。,判定表方法步骤,列出条件桩列出动作桩填入条件项及其组合填入动作项，制定初始判定表；简化、合并相似规则或者相同动作,条件桩,动作桩,规则,判定表 示例1,判定表示例2,3.3.2 因果图法,多种输入条件的组合，产生多种结果设计测试用例。设计方法：分析软件规格说明文档描述的哪些是原因（输入条件），哪些是结果（输出条件），给每个原因和结果赋予一个标示符。找出原因与结果，原因与原因之间的对应关系，划出因果图在因果图上标上哪些不可能发生的因果关系，表明约束或限制条件根据因果图，创建判定表，将复杂的逻辑关系和多种条件组合很具体明确的表示出来把判定表的每一行作为依据设计测试用例。,恒等-关系：果 j 取决于因 i。因出现，则果也出现。非-关系：只有当因 i 不存在时，果 j 才出现。,因果图的基本符合,或-关系：如果因 i1 或因 i2 或因 in 存在时，结果 j 才出现。与-关系：只有当因 i1 与因 i2 与因 in 同时存在时，结果 j 才出现。,因果图法示例（1）,有效等价类:输入条件有效类 .abs(N) N 0, N 0maxint k maxint, k maxint测试用例:maxintNresult maxintNresult55105510000 5410error100-11 56105510011 000,给定maxint 和 N ，如果结果 = maxint ，则按以下公式计算；否则提示出错:,result =,Causes k maxint 1100Inputs k maxint 0011N 01010N 00101Effects k1100Outputserror0011,因果图法示例（2）,Case Matrix:,因果图法示例（3）,3.3.3 两两组合（Pairwise）方法,http:/www.pairwise.org/tools.asp,大部分缺陷是在两个变量取值冲突的测试时被发现的 不仅仅是在所有的组合情况下才会发现所有的测试缺陷 这个是“Pairwise Testing”基本原理，不要测试所有的组合，测试所有的“Pairwise ”即可,Pairwise测试工具,http:/www.pairwise.org/tools.asp,3.3.4 正交实验法,确定影响功能的因子与状态选择一个合适的正交表利用正交表构造测试数据集,参考http:/www.math.hkbu.edu.hk/UniformDesignhttp:/,为什么使用正交试验法？,打印范围分：全部、当前幻灯片、给定范围打印内容分：幻灯片、讲义、备注页、大纲视图打印颜色/灰度分: 彩色、灰度、黑白打印效果分：幻灯片加框和幻灯片不加框。,在许多应用系统的测试工作中，不会象判断三角形那样简单，输入条件的因素很多，而且每个因素也不能简单用“是”和“否”来回答。比如，微软Powerpoint程序的打印测试，也需要考虑4个因素，每个因素也有多个选项,测试组合会变得很多，如果按照传统的测试方法，会导致很大的测试工作量,正交实验设计方法,依据Galois理论，从大量的（实验）数据（测试例）中挑选适量的、有代表性的点（条件组合），从而合理地安排实验（测试）的一种科学实验设计方法,实例,员工号（ID）。员工姓名（Name）。员工邮件地址（Mail Address）,信息系统中，员工信息查询功能是常见的。例如，设有3个独立的查询条件，以获得特定员工的个人信息,小结,黑盒方法,静态,动态,其它,错误推测法,3.4 基于逻辑覆盖的方法,3.4.1 语句覆盖3.4.2 判定覆盖3.4.3 条件覆盖3.4.4 判定条件覆盖3.4.5 条件组合覆盖3.4.6 基本路径测试法,逻辑覆盖 vs. 路径覆盖,逻辑覆盖：以程序或系统的内部逻辑结构为基础，分为语句覆盖、判定覆盖、判定-条件覆盖、条件组合覆盖等基本路径测试：在程序或业务控制流程的基础上，分析控制构造的环路复杂性，导出基本可执行路径集合，从而设计测试用例。,代码：语句覆盖,语句覆盖法的基本思想是设计若干测试用例，运行被测程序，使程序中的每个可执行语句至少被执行一次如果是顺序结构，就是让测试从头执行到尾如果有分支、条件和循环，需要利用下面的方法，执行足够的测试覆盖全部语句,程序源代码1.dim a, b as integerdim c as doubleif (a 0 and b 0) then c = c / aend ifif (a 1 or c 1) then c = c + 1end ifc = b + c,程序控制流图,示例：语句覆盖可发现的问题,(a, b ,c)= (1, 1, 2),程序源代码1.dim a, b as integerdim c as doubleif (a 0 or b 0) then c = c / aend ifif (a 1 and c 1) then c = c + 1end ifc = b + c,程序控制流图,示例：语句覆盖不能发现的问题,(a, b ,c)= (1, 1, 2),and,or,3.4.1 判定覆盖,判定覆盖法的基本思想是设计若干用例，运行被测程序，使得程序中每个判断的取真分支和取假分支至少经历一次，即判断真假值均曾被满足。一个判定代表着程序的一个分支， 所以判定覆盖也被称为分支覆盖。,示例：绘制控制图,示例：设计测试用例,(a, b ,c)= (1, 1, 2),(a, b ,c)= (-1, 1, 0),3.4.2 条件覆盖,条件覆盖的基本思想是设计若干测试用例，执行被测程序以后，要使每个判断中每个条件的可能取值至少满足一次。,（a0 and b0）,a0b0,示例：列出所有条件,判定条件M：条件a0： 取.T.时为T1取.F.时为F1条件b0： 取.T.时为T2取.F.时为F2；判定条件N：条件a1： 取.T.时为T3取.F.时为F3条件c1： 取.T.时为T4取.F.时为F4,示例：覆盖所有条件,(a, b ,c)= (2, -1, 0),(a, b ,c)= (-1, 1, 2),T1, F2, T3, F4,F1, T2, F3, T4,但有什么问题吗？,3.4.3 判定条件覆盖,判定-条件覆盖是判定和条件覆盖设计方法的交集，即设计足够的测试用例，使得判断条件中的所有条件可能取值至少执行一次，同时，所有判断的可能结果至少执行一次,示例：覆盖判定/条件,(a, b ,c)= (2, 1, 2),(a, b ,c)= (-1, 0, 1),T1, T2, T3, T4,F1, F2, F3, F4,3.4.4 条件组合测试,条件组合覆盖的基本思想是设计足够的测试用例，使得判断中每个条件的所有可能至少出现一次，并且每个判断本身的判定结果也至少出现一次。它与条件覆盖的差别是它不是简单地要求每个条件都出现“真”与“假”两种结果，而是要求让这些结果的所有可能组合都至少出现一次,示例 (1),示例 (2),覆盖了所有组合，但覆盖路径有限，1-2-5 没被覆盖,问题,条件组合效率不高，有些测试是不必要的判定/条件 还不够强,修正条件/判定覆盖,每个判定的所有可能结果至少能取值一次；判定中的每个条件的所有可能结果至少取值一次； 一个判定中的每个条件曾经独立地对判定的结果产生影响；每个入口和出口至少执行一次,http:/en.wikipedia.org/wiki/Modified_Condition/Decision_Coverage,http:/www.dsl.uow.edu.au/sergiy/MCDC.html,= n+1 test cases for a decision with n inputs.,示例,3.4.5 基本路径覆盖,顾名思义，路径覆盖就是设计所有的测试用例，来覆盖程序中的所有可能的执行路径。,基本路径覆盖的设计过程,依据代码绘制流程图确定流程图的圈复杂度（cyclomatic complexity ）确定线性独立路径的基本集合( basis set )设计测试用例覆盖每条基本路径,示例 源代码,Procedure: process records1.Do While records remain2.Read record;3.If record field 1 = 0 Then4.store in buffer;5.increment counter;6.Else If record field 2 = 0 Then7.reset counter;8.Else store in file;9.End If10.End If11.End DoEnd,示例 流程图,1,9,10,11,2,4,5,7,8,3,6,基本路径测试:流程图简化,1,2,3,4,5,10,11,流程图的圈复杂度,V(G) = 区域数量(由节点、连线包围的区域，包括图形外部区域) V(G) = 连线数量 - 节点数量 + 2 V(G) = 简单可预测节点数量 + 1,圈复杂度（Cyclomatic complexity）:代码逻辑复杂度的 度量，提供了被测代码的路径数量。复杂度越高，出错的概率越大,流程图复杂度例子,V(G)=4,Region 4,确定线性独立的路径集合,独立路径： 至少引入一系列新的处理语句或条件的任何路径 基本集： 由独立路径构成的集合 由基本集导出的测试用例，保证每行代码语句至少被执行一次基本集合不一定唯一,Path1: 1-2-3-6-7-9-10-1-11,示例：基本路径测试用例,Path2: 1-2-3-6-8-9-10-1-11,Path3: 1-2-3-4-5-10-1-11,Path4: 1-11,测试用例覆盖集合中每条路径,基本路径测试并不是测试所有路径的组合，仅仅保证每条基本路径被执行一次,不需要活动图, 但最好绘制程序流程图 计算每个逻辑测试，也就是布尔操作符数加1 最好每个单元都进行基本路径测试，对关键组件则是必要的,小结,语句覆盖,判定覆盖DC,条件覆盖CC,判定/条件覆盖DC/CC,条件组合覆盖MCC,基本路径覆盖BPC,Condition Coverage (CC)Decision Coverage (DC)Multiple Condition Coverage (MCC)Modied Condition/Decision Coverage (MC/DC),MC/DC,作业,DC/CC,BPC,MC/DC,1. Testwell CTC+2. CoverageMeter3. BullseyeCoverage4. GCT5. CppUnit6. Dynamic Code Coverage7. TCAT C/C+8. COVTOOL9. gocv10. xCover,+,找一合适的函数代码 + 选择一覆盖率工具 完成三种覆盖率的测试,小结：方法的灵活运用,代码中循环结构如何测试？从数据输入和结构两方面来考虑,目标: 在循环内部及边界上执行测试,循环测试 1,1.简单循环(迭代次数n) 完全跳过循环 只经过循环一次 经过循环两次 经过循环m（ m n ）次 分别经过循环n-1, n, n+1 次,循环测试 2,2. 嵌套（Nested）循环在最里面的循环完成前面所述的简单循环测试，同时设定外部循环的最小迭代次数逐步向外循环进行直到所有循环被测试,循环测试 - 3,其它非结构循环重新设计!,3. 串行连接的循环独立循环 可以分别看着简单循环测试依赖性循环 可以看着是嵌套循环,3.5 基于缺陷模式的测试,故障模型。安全漏洞模型性能模型并发故障模型不良习惯模型代码国际化模型易诱骗代码模型,检测步骤,预处理/预编译词法分析(Lexical Analysis)语法分析( Parsing) 和语义处理( Semantic Analysis)抽象语法树生成控制流图生成IP 扫描人工确认,3.6 基于模型的测试方法,3.6.1 功能图方法3.6.2 模糊测试方法,什么是MBT？,基于模型的测试 (MBT, Model-based testing）：通过构建能够正确描述被测软件系统功能特性的模型，然后基于这个模型产生测试用例并执行这些测试用例的过程,为被测试系统（SUT）建模基于模型产生测试用例将抽象的测试具体化使测试用例具有可执行性执行测试分析测试结果,MBT方法,MBT 示例,MBT 架构,MBT 工具,3.6.1 功能图法,每个程序的功能通常由静态说明和动态说明组成静态说明描述了输入条件和输出条件之间的对应关系动态说明描述了输入数据的次序或者转移的次序功能图法就是为了解决动态说明问题的一种测试用例的设计方法 功能图由状态迁移图（state transition diagram，STD）和逻辑功能模型（logic function model， LFM）构成,状态迁移图,状态迁移图，描述系统状态变化的动态信息动态说明，由状态和迁移来描述，状态指出数据输入的位置（或时间），而迁移则指明状态的改变,如何设计测试用例？,从功能逻辑模型（决策表或因果图）导出局部测试用例，覆盖各个状态的各种输入数据的组合从状态迁移图导出整体的测试用例，以覆盖系统（程序）控制的逻辑路径,功能图法设计测试用例，就是如何覆盖软件所表现出来的所有状态，可以转化为两个层次的测试用例,功能图法是综合运用黑盒方法和白盒方法来设计测试用例，即整体上选用白盒方法路径覆盖、分支和条件覆盖等，而局部上选用的是黑盒方法决策表或因果图方法,3.6.2 模糊测试方法,模糊测试（Fuzz testing）方法，简单的说，就是构造大量的变异数据作为系统的输入，从而检验系统在各种数据情况下是否会出现问题模糊测试方法可模拟黑客对系统发动攻击测试，完成安全性测试，并能应用于服务器的容错性测试参考网站：http:/www.cs.wisc.edu/bart/fuzz/fuzz.htmlhttp:/ www.fuzzing.org,3.7 形式化方法,3.7.1 形式化方法3.7.2 形式化验证3.7.3 扩展有限状态机方法,3.7.1 形式化方法,形式化方法:基于数学的方法（数学表示、精确的数学语义）来描述目标软件系统属性的一种技术形式化规范说明语言的构成：语法、语义和一组关系形式化方法可应用在软件规格和验证之上，包括软件系统的精确建模和软件规格特性的具体描述，即可以看作是面向模型的形式化方法和面向属性的形式化方法,http:/en.wikipedia.org/wiki/Formal_method,可参考：,示例,巴科斯范式（BackusNaur Form, BNF),形式化三部曲,形式化描述形式化开发形式化验证,形式化的具体方法,基于模型的方法，如Z语言、B语言等代数方法，如OBJ、CLEAR、ASL、ACT等过程代数方法，如CSP、CCS、ACP、LOTOS、TPCCS等基于逻辑的方法，如区间时序逻辑、Hoare 逻辑、模态逻辑、时序逻辑、时序代理模型等。基于网络的方法,3.7.2 形式化验证,形式化验证，就是根据某些形式规范或属性，使用形式逻辑方法证明其正确性或非正确性。一般通过形式化规范进行分析和推理，研究它的各种静态和动态性质，验证是否一致、完整，从而找出所存在的错误和缺陷。无法证明某个系统没有缺陷，因为不能定义 “没有缺陷”。只能证明一个系统不存在我们可以想得到的缺陷，以及验证满足系统质量要求的属性,形式化验证的一些具体方法,有限状态机（FSM）或扩展有限状态机（EFSM）SPIN和线性时态语言UML 语义转换 标准RBAC模型扩展的RBAC模型和基于粒计算的RBAC模型符号模型检验BAN逻辑模型,3.7.3 扩展有限状态机方法,有限状态机（ Finite State Machine ，FSM）是对象行为建模的工具，以描述对象在其生命周期内所经历的状态序列，以及如何响应来自外界的各种事件,EFSM示例-1,EFSM示例-2,上,来源: nach Spillner, Linz: Basiswissen Softwaretest, 2005,示例：状态图,(1)-push height 1,状态表,状态转化树生成测试用例,EFSM工具 - FSME,补充：基于用户场景的测试,也称作基于用户场景测试(user scenario testing)分析用户会是怎样与系统打交道的，以及用户典型行为分析根据不同的特性区分不同的用户群体、用户角色用例描述了参与者（包括用户与系统）之间的相互作用，并从这些交互产生一个从用户的角度所期望和能观察到的结果。每个用例都有测试前置条件(precondition)和后置条件(postcondition)： 为使应用情况能够顺利运行，必须满足前置条件。后置条件是在用例执行完成后能观察到的结果和系统的结束状态。,用户场景测试,针对典型的行为模式（用例/Use Case）组成测试场景 。用例通常有一个主场景（即最有可能发生的场景），有时候也会有可供选择的分支。 可以根据使用频繁度来确定这些用例的优先级 。,因为用例基于系统最可能使用的情况,因此从用例中得到的测试用例，是发现系统在实际应用中存在的缺陷的最有效的方式。所以很适用于由用户/客户一起参与的验收测试。也同样适用于在集成测试过程中，通过观察不同组件的相互作用和相互影响，从而发现错误的情况。,用例测试,111,用例测试示例,112,基于场景的测试方法,基于Use case或User Story直接进行验证根据UML的序列图来进行验证列出各种系统事件、观察和分析用户行为，设想各种可能的user scenario来进行验证分析同类系统和竞争对手的系统,参考：基于UML顺序图的场景测试用例生成方法基于场景的性能测试设计,SBT: Session-Based Testing/Scenario-Based Testing,作业,第3章 6、7、9尽可能采用所介绍的方法，完善上次作业,Thank you,Q & A,