软件测试技术交流课件.ppt

软件测试技术交流,深圳市中兴通讯股份有限公司2003年2月,软件测试,软件测试的重要性和必要性软件测试的目的和原则软件测试的基本概念软件测试的基本技术和策略软件测试阶段软件测试流程软件测试工具,1.1 软件测试保证软件质量的重要手段系统的、严密的软件测试能最大限度的发现软件中的错误，从而减少软件中残留的错误通过软件测试可以验证软件功能、性能、容量、约束、限制等指标是否满足规定的需求软件可靠性测试可得到软件可靠性指标软件测试为软件质量定量评定提供依据高层次的软件测试可以发现系统级错误,软件测试的重要性和必要性,软件测试的重要性和必要性,1.2 软件测试局限性被测系统存在故障敏感性和巧合正确性获得预期结果困难，甚至不可能测试本身也可能存在错误,1.2 软件测试局限性(续)完全的软件测试是不现实的软件测试不能保证发现软件中所有的错误软件测试不能取代其它质量保证手段软件测试：巨大的效益和艰苦的工作并存,软件测试的重要性和必要性,软件测试的重要性和必要性软件测试的目的和原则软件测试的基本概念软件测试的基本技术和策略软件测试阶段软件测试流程软件测试工具,软件测试,软件测试的目的和原则,2.1 软件测试的目的基于不同的立场，存在着两种完全不同的测试目的。从用户的角度出发，普遍希望通过软件测试暴露软件中隐藏的错误和缺陷，以考虑是否可接受该产品。从软件开发者的角度出发，则希望测试成为表明软件产品中不存在错误的过程，验证该软件已正确地实现了用户的要求，确立人们对软件质量的信心。,软件测试的目的和原则,2.2 软件测试目的测试是程序的执行过程，目的在于发现错误；一个好的测试用例在于能发现至今未发现的错误；一个成功的测试是发现了至今未发现的错误的测试。,软件测试的目的和原则,2.3 简而言之，软件测试的最终目的是：以最少的时间和人力，尽可能多地找出软件中潜在的各种错误和缺陷，把尽可能多的问题解决在产品出厂之前在可接受的开销下提高对软件的信心。测试的附带收获是，它能够证明软件的功能和性能与需求说明相符合。测试不能表明软件中不存在错误，恰恰相反它只能说明软件中存在错误。,软件测试的目的和原则,2.4 软件测试原则之一：Good-enough这是一种权衡投入产出比的原则，测试既不要不充分，也不要过分。不充分和过分都是一种不负责任的表现 Zero-bug是一种理想，Good-enough是我们的原则,软件测试的目的和原则,2.5 软件测试原则之二：bug的80%原则一般情况下，在分析、设计、实验阶段的复审和测试工作能够发现和避免的bug，而系统的软件测试能够找出其余bug中的。最后约5%的bug只有在用户大范围、长时间的使用后才会暴露出来。因此测试只能保证尽可能多地发现错误，不能保证发现所有的错误。,软件测试的目的和原则,2.6 软件测试的其他原则尽早地和不断地进行软件测试。问题发现得越早，解决问题的代价就越小程序员应避免检查自己的程序独立性原则在设计测试用例时，应包括合理的输入条件和不合理的输入条件充分注意测试中的群集现象。经验表明，一段程序中存在错误的概率与在这段程序中已发现的错误数成比例。严格执行测试计划，排除测试的随意性,软件测试的目的和原则,2.6 软件测试的其他原则（续）分派有经验、富有创造性的人员承担测试不能为了便于测试擅自修改程序既测试软件应该做的也检查软件不该做的既测试有效的和期望的输入也测试无效的和不期望的输入,软件测试的目的和原则,2.7 软件测试的完成准则完成测试计划规定的测试项使用规定的测试用例设计方法查出一定数目的错误标出单位时间查出的错误量，进行曲线分析某一测量值达到预期目标（如可靠性测试）考查测试充分性,软件测试的重要性和必要性软件测试的目的和原则软件测试的基本概念软件测试的基本技术和策略软件测试阶段软件测试流程软件测试工具,软件测试,软件测试的基本概念,3.1 什么是软件测试GB/T 11457-1995 的定义 由人工或自动方法来执行或评价系统或系统部件的过程,以验证它是否满足规定的需求;或识别出期望的结果和实际结果之间的差别.该定义也就是IEEE 1983中软件测试的定义,软件测试的基本概念,3.2 软件测试认识的变迁和发展历史上的一些错误认识测试和调试没有什么区别，除了支持调试外，测试没有别的目的(错误)测试的目的在于证明软件正确(错误)当前软件测试工作中的认识测试的目的在于证明软件错误(实际)测试的目的不是证明任何事情，仅是为了将已察觉的故障的风险程度减小到一个可接受的值(度量)测试是检验软件是否满足规定的需求(全面),3.2 软件测试认识的变迁和发展（续）软件测试的发展方向测试不是一种行为，它是不需要更多的测试工作即可以产生低风险的软件的一种认识上的训练（预防）.,软件测试的基本概念,3.3 什么是“错误”？“错误”这一术语，在没有特别加以说明的情况下，这是一个泛用的、模糊的概念它指的可能是bug(设计中的差错)、fault(故障)、error(出错)、failure(失效)、crash(重大事故)、problem(疑问)等,软件测试的基本概念,软件测试的基本概念,3.3 什么是“错误”？（续）故障(fault)：软件的内在缺陷。这些缺陷可以在生存期各个阶段被引入。出错(error)：故障在一定的环境条件下的暴露，导致系统在运行中出现了不正常、不正确、不按规范执行的状态，称为软件出错。失效(failure)：对错误不做任何修正和恢复，导致系统的输出不满足用户要求，称为软件的一次失效,软件测试的基本概念,3.4 测试是需要设计的测试是一项具有很大创造性的工作，其工作量一点也不比代码设计小测试是需要设计的，一个好的测试计划或方案往往能达到事半功倍的效果测试设计即利用测试工具提供的脚本语言进行测试用例设计测试设计可以是自动的，半自动的或手工编写,软件测试的基本概念,3.5 测试和调试是不同的,测试是查找潜在的错误，调试是定位已知的错误测试贯穿于整个软件生存期，调试主要是在软件开发过程中测试是发现问题，调试解决问题测试与调试不能相互替代，但可相互支持，相辅相成,软件测试的基本概念,3.6 软件的生命周期V字模型,用户需求定义,软件测试的基本概念,3.7 软件测试的分类按功能分类白盒测试（White box testing)黑盒测试（Black box testing）按测试阶段分类单元测试（Unit testing）集成测试（Integrated testing）确认测试（Validation testing）系统测试（System testing）按运行状态分类动态测试（Dynamic testing）静态测试（Static testing）,软件测试的基本概念,3.8 软件测试的流程,3.9 软件测试的工程化软件生命周期软件测试方法软件测试规程软件测试文档软件测试工具,软件测试的基本概念,软件测试的重要性和必要性软件测试的目的和原则软件测试的基本概念软件测试的基本技术和策略软件测试阶段软件测试流程软件测试工具,软件测试,软件测试基本技术和策略,4.1 软件测试的总体方略与软件设计的各阶段相对应，从单元测试 开始，然后集成测试、确认测试、系统测 试主要测试技术：静态分析、动态测试、覆盖测试主要方法：白盒法、黑盒法,软件测试基本技术和策略,4.1 软件测试的总体方略（续）,软件测试基本技术和策略,静态测试概念不运行被测程序检查软件是否易维护，是否符合编程标准软件工程度量（指标测试），如复杂度等代码统计静态测试具体技术人工审查：如代码走查、代码审议、技术评 审、桌面检查等自动静态分析：使用软件测试工具自动地完成,4.2 静态测试,4.3.1 动态测试的基本概念利用计算机运行被测程序取得程序运行的真实情况，主要测试软件的功能、覆盖率、运行时间等动态测试的关键在于测试用例设计使用的方法主要有黑盒法和白盒法,4.3 动态测试,软件测试基本技术和策略,软件测试基本技术和策略,4.3 动态测试,4.3.2 测试用例（Test Case）动态测试是由一个一个的测试用例来完成的测试用例通常是一段用脚本语言（Script language）编写的小程序，该程序定义了被测对象、测试条件、输入参数、期望输出参数、桩调用及其顺序等测试用例与被测程序一起运行才能生效,4.3.3 黑盒测试和白盒测试黑盒测试像中医：使用望、闻、问、切白盒测试像西医：使用X光、CT扫描目的都是发现病人的病症,P,IN,OUT,白盒测试:,黑盒测试:,软件测试基本技术和策略,4.3.4 黑盒测试:这种方法是把测试对象看做一个黑盒子，测试人员完全不考虑程序内部的逻辑结构和内部特性，只依据程序的需求规格说明书，检查程序的功能是否符合它的功能说明。黑盒测试又叫做功能测试或数据驱动测试。测试用例根据程序规格说明生成某些代码段可能得不到测试适用于从单元测试到系统测试需要用白盒测试加以补充,软件测试基本技术和策略,4.3.4 黑盒测试（续）黑盒测试方法是在程序接口上进行测试，主要是为了发现以下错误:是否有不正确或遗漏了的功能?在接口上，输入能否正确地接受?能否输出正确的结果?是否有数据结构错误或外部信息(例如数据文件)访问错误?性能上是否能够满足要求?是否有初始化或终止性错误?,软件测试基本技术和策略,ALAC测试,软件测试基本技术和策略,IBM对典型软件的一项研究1、客户所看到的57%以上的故障是由占错误总数2%以下的错误引起的2、超过总数61%的错误只引起低于3%的客户将会经历的故障。3、不同的错误在引起的故障率上存在高达四个数量级的巨大差异-一些错误运行几个小时就表现出来，而其他一些数年之后才出现。,软件测试基本技术和策略,4.3.5 白盒测试白盒法把测试对象看做一个透明的盒子，它允许测试人员利用程序内部的逻辑结构及有关信息，设计或选择测试用例，对程序所有逻辑路径进行测试。通过在不同点检查程序的状态，确定实际的状态是否与预期的状态一致。因此白盒测试又称为结构测试或逻辑驱动测试。可以发现黑盒测试后没有被测试到的部分用程序结构信息生成测试用例构造测试用例使特定程序部分得到运行适用于单元测试和覆盖率测试,软件测试基本技术和策略,4.3.5 白盒测试（续）软件人员使用白盒测试方法，主要想对程序模块进行如下的检查：对程序模块的所有独立的执行路径至少测试一次；对所有的逻辑判定，取“真”与取“假”的两种情况都至少测试一次；在循环的边界和运行界限内执行循环体；测试内部数据结构的有效性，等。,软件测试基本技术和策略,4.4.1 什么是单元测试单元测试又称模块测试，是针对软件设计的最小单位 程序模块，进行正确性检验的测试工作。其目的在于发现各模块内部可能存在的各种差错。单元测试需要从程序的内部结构出发设计测试用例。多个模块可以平行地独立进行单元测试。,4.4 单元测试,软件测试基本技术和策略,4.3.2 单元测试的步骤,软件测试基本技术和策略,4.4.3 单元测试的内容,软件测试基本技术和策略,模块,覆盖条件,边界条件,出错处理,模块接口,局部数据结构,4.4.4 单元测试的配制,软件测试基本技术和策略,驱动程序,被测模块,桩模块#2,桩模块#1,桩模块#3,测试用例,测试结果,4.4.4 单元测试的配制（续）被测模块并不是一个独立的程序，在考虑测试模块时，同时要考虑它和外界的联系，用一些辅助模块去模拟与被测模块相联系的其它模块。驱动模块(driver)模拟主程序调用 桩模块(stub)模拟被调用模块，此时被测模块并没有真正调用其他模块，而是从桩模块处得到一个所需的值。这种技术叫做打桩(Stub)，用来隔离其他模块对被测模块的影响。,软件测试基本技术和策略,概念集成测试又称组装测试、联合测试在单元测试的基础上，需要将所有模块按照设计要求集合成为系统，测试便进入集成测试阶段。这时需要考虑的问题是：在把各个模块连接起来的时侯，穿越模块接口的数据 是否会丢失；一个模块的功能是否会对另一个模块的功能产生不利 的影响；各个子功能组合起来，能否达到预期要求的父功能；,4.5 集成测试,软件测试基本技术和策略,在单元测试的同时可进行集成测试，发现并排除在模块连接中可能出现的问题，最终构成要求的软件系统有时我们需要将部分模块组装成子系统，针对子系统的集成测试特别称为部件测试，它所做的工作是要找出组装后的子系统与系统需求规格说明之间的不一致。,软件测试基本技术和策略,全局数据结构是否有问题；单个模块的误差累积起来，是否会放大，从而达到不能 接受的程度。,4.6.1 什么是确认测试（Validation testing）确认测试又称有效性测试。任务是验证软件的功能和性能及其它特性是否与用户的要求一致。对软件的功能和性能要求在软件需求规格说明书中已经明确规定。它包含的信息就是软件确认测试的基础。,4.6 确认测试,软件测试基本技术和策略,4.6.2 如何实施确认测试在模拟环境(如开发环境)下，运用黑盒测试的方法，验证被测软件是否满足需求规格说明书列出的需求。首先制定测试计划，规定要做测试的种类。还需要制定一组测试步骤，描述具体的测试用例。通过实施预定的测试计划和测试步骤，确定 软件的特性是否与需求相符；所有的文档都是正确且便于使用；对其它软件需求，例如可移植性、兼容性、出错自动恢复、可维护性等，也都要进行测试,软件测试基本技术和策略,4.6.2 如何实施确认测试（续）软件配置复查。软件配置复查的目的是保证：软件配置的所有成分都齐全；各方面的质量都符合要求；具有维护阶段所必需的细节；而且已经编排好分类的目录。应当严格遵守用户手册和操作手册中规定的使用步骤，以便检查这些文档资料的完整性和正确性。,软件测试基本技术和策略,4.7.1 系统测试（System testing）系统测试是将通过确认测试的软件，作为整个基于计算机系统的一个元素，与计算机硬件、外设、某些支持软件、数据和人员等其它系统元素结合在一起，在实际运行环境下，对计算机系统进行一系列的组装测试和确认测试。系统测试的目的在于通过与系统的需求定义作比较,发现软件与系统的定义不符合或与之矛盾的地方。,4.7 系统测试,软件测试基本技术和策略,4.7.2 系统测试的特点系统测试的对象已不限于被测软件本身，还包括硬件平台、操作系统、辅助设备等一切与之相关的环境因素系统测试发现的问题可能不仅仅由被测软件造成，因此对错误的分析定位尤其重要相对而言，系统测试的实施比较困难，特别是嵌入式软件的系统测试,软件测试基本技术和策略,4.8.1覆盖率测试的基本概念覆盖率测试又称覆盖率分析（Coverage analysis），它以程序内部的逻辑结构为基础，是白盒测试的一种。被测代码中某一条语句执行过了，就称该语句被覆盖了覆盖率测试就是分析被测软件在运行过程中各条语句（代码）的执行情况，如是否执行了？在什么条件下执行的？执行过的代码占总代码的比例称为覆盖率根据执行条件的不同，我们区分不同的覆盖率,4.8 覆盖率测试,软件测试基本技术和策略,4.8.2 覆盖种类语句覆盖：程序中每一可执行语句至少执行一次分支覆盖：程序中每个判断的取真分支和取假分支至少经历一次。分支覆盖又成判定覆盖。条件覆盖：程序中每个判断的每个条件的可能取值至少执行一次。条件组合覆盖：每个判断的所有可能的条件取值组合至少执行一次。条件组合覆盖又称布尔覆盖。.,软件测试基本技术和策略,4.8.3 覆盖测试的基本技术插装插装(Instrumentation)，又称软件探针(Software Probe),是白盒测试的一种常用技术。插装是在软件特定的位置插入一些语句，用来获取软件的运行信息并反馈给测试者。插装不应影响原程序的执行，更不能改变原程序的结构,软件测试基本技术和策略,软件测试基本技术和策略,4.9 测试策略之一：重视需求测试什么是需求(Requirement)?A definition of WHAT the system should do需求又称外部叙述、功能描述、系统需求定义、逻辑说明等软件的测试、验证和确认只有当具备软件需求分析时 才有意义。因此保证需求的正确是非常重要的需求测试，即基于需求的测试(Requirements Based Testing)指在系统尚处于需求定义阶段时就进行测试在软件生命周期的初级阶段进行测试，可以尽早地发现 错误,软件测试基本技术和策略,詹姆斯马丁的研究：测试所发现的错误中，超过50%的错误其根源在于错误的 或不恰当的需求定义上,软件测试基本技术和策略,同时，研究结果表明80%以上的用于定位软件错误的费用 是基于软件系统需求定义的错误,软件测试基本技术和策略,通常，错误发现得越早，用于纠正错误的开销就越小因此，改进软件系统测试方法的最佳途径，是改进软件系统需求定义开发过程和功能测试过程加强需求测试,软件测试基本技术和策略,4.10 测试策略之二：选择合适的测试工具工欲善其事，必先利其器根据测试需要和工具的特长进行选择Caliber-RBT：需求测试Cantata/Cantata+：单元测试、集成测试McCabe：结构化测试、白盒测试Trace32：实时在线测试.,软件测试的重要性软件测试的基本概念软件测试的工作内容软件测试的基本技术和策略软件测试阶段软件测试流程软件测试工具,软件测试,软件测试阶段,单元,单元,单元,单元,单元测试,单元测试,单元测试,单元测试,组装测试,确认测试,系统测试,已测单元,组装的,软件,确认的,软件,设计信息,软件需求,其它系统元素,5.1软件测试阶段图,5.2 单元测试特点a.相当于硬件设备板级部件的检验，是发现 和改正错误都较容易的阶段b.对详细设计说明书负责c.有条件进行较细致的白盒测试组织 在开发组内，可交叉进行。,软件测试阶段,5.2 单元测试(续）内容 a.功能测试 b.重要的执行路径测试 c.局部数据结构 d.错误处理测试 e.影响上述各条的边界条件 f.语句覆盖测试，分支覆盖测试,软件测试阶段,5.2 单元测试(续）要求 a.语句覆盖100%b.分支覆盖 c.软件特性覆盖方法 a.黑盒（功能、边界、随机）b.白盒（控制流/数据流）c.使用驱动/桩程序 d.某些工具支持,软件测试阶段,5.3 组装测试特点 a.相当于硬件设备的功能模块测试 b.对概要设计说明书负责 c.是发现和改正模块接口错误的重要阶段 d.是验证系统功能增长正确性的阶段组织 一般在开发小组内部进行,软件测试阶段,5.3 组装测试（续）内容a.单元间的接口测试b.部件的功能测试c.全局数据结构测试d.部件的运行时间、运行空间、计算精度测试e.边界和在人为条件下的性能,软件测试阶段,5.4 确认测试特点 a.对软件需求规格说明负责 b.对完整软件功能和性能的总体测试 c.相当于硬件设备成品检验组织 独立测试方式,软件测试阶段,5.4 确认测试（续）内容功能测试-安全性测试性能测试-恢复性测试界面测试-边界测试强度测试-功能多余物测试余量测试-安装性测试可靠性测试,软件测试阶段,5.4 确认测试（续）要求 a.有用户参加确认测试 b.采用独立测试方式 c.测试环境符合要求方法 a.功能特性分析及确定测试特性 b.黑盒测试方法、状态/转换测试等一般方法 c.仿真/模拟测试,软件测试阶段,5.5 系统测试特点 a.对系统/子系统任务书负责 b.是软件加入真实系统的阶段 c.强调测试软件在大系统中的表现 d.测试的内容和整个系统构成密切相关组织 由上级系统组织，软件开发和测试人员协助、参加,软件测试阶段,5.5 系统测试（续）内容（从软件角度）系统功能测试-系统安全性测试系统性能测试-系统恢复性测试系统接口测试-系统边界测试系统强度测试-系统敏感性测试系统余量测试 系统可靠性测试,软件测试阶段,5.5 系统测试（续）要求 a.加强技术状态管理(软件配置管理)b.加强测试环境数据记录 c.符合系统有关规定 d.从软件测试角度给出一些系统运行实例方法 a.运行测试 b.情景测试 c.半实物仿真试验 d.系统综合匹配试验,软件测试阶段,5.6 回归测试软件更动后重新进行的测试既要测试更动部分,也要测试受影响部分中心在决定哪些测试必须被重复关键是保证测试工作的可重现性编程 测试 发现错误 更动 回归测试,软件测试阶段,5.6 回归测试方法重复原先所有的测试确定并运行标准测试集进行系统级功能测试测试新功能，并人工判别需重复的测试使用回归测试辅助工具捕获和释放工具测试用例管理工具/测试管理工具,软件测试阶段,软件测试的基本概念软件测试的重要性软件测试的工作内容软件测试的技术和策略软件测试阶段软件测试流程软件测试工具,软件测试,6.1 软件测试的基本流程在测试工作中应产生完整的测试文档:测试计划、测试说明和测试报告正式测试中这三份文档应得到评审,软件测试流程,制订测试计划,产生测试用例集,执行测试,评价测试工作和被测软件,6.2 制订测试计划输入：软件需求规格说明、用户手册、操作手册、运行环境资料。任务：确定测试活动的范围，测试方法、进度、资源、功能验证的实施步骤，各级测试的详细规程、软件验收标准、测试报告和处理方法。输出：软件测试计划、测试支持资源需求（工具/环境）。,软件测试流程,6.3 产生测试用例集输入：软件测试计划、软件结构设计文档、测试支持资源需求。任务：根据被测试特性，设计测试用例集结构，为每一测试用例决定软件输入输出和控制方式（人工、半自动、自动）并控制相应的测试规程、获得并验证所需要的测试数据。输出：测试设计说明、测试规程说明、测试用例说明（也可以合并为测试说明）。,软件测试流程,6.4 执行测试输入：测试设计说明、测试规程说明、测试用例说明、软件数据结构描述、测试项、测试支持资源。任务：按测试规程执行测试用例，决定测试通过或失败，如果通过则进行评价，否则根据错误情况重新运行测试或修改软件设计、编码或文件的有关部分，然后再重新进行测试。输出：测试结果描述、错误描述、其它执行信息、修订后的测试说明。,软件测试流程,6.5 评价测试工作和被测软件输入：测试结果描述、错误描述、其它执行信息、修订后的测试说明。任务：依照评价准则，评价测试工作和被测软件，当发现测试工作不足时，应修订测试计划，重复制定计划开始的工作，直到测试完备时止。输出：测试总结报告。,软件测试流程,软件测试的基本概念软件测试的重要性软件测试的工作内容软件测试的技术和策略软件测试阶段软件测试流程软件测试工具,软件测试,白盒测试工具DevPartner Studio,自动错误检查工具BoundsChecker(VC)SmartCheck(VB)CodeReview(VB)Jcheck(Java)自动代码覆盖分析TrueCoverage(VC+/VB/Java)自动性能分析和优化TrueTime,软件测试工具,白盒测试工具Pure,自动错误检查工具Purify(C/C+/Fortran)自动代码覆盖分析PureCoverage(C/C+/Fortran)自动性能分析和优化Quantify(C/C+/Fortran),软件测试工具,黑盒测试工具QACenter,QADirector测试的组织与管理工具TrackRecord缺陷跟踪管理工具QARun应用的功能测试工具QALoad强度测试工具WebCheckWeb站点质量分析工具EcoTools性能监测工具,软件测试工具,黑盒测试工具Rational,TestManager测试管理工具Robot功能、回归、冒烟测试工具LoadTest强度测试工具Visual TestWindows应用功能测试工具ClearQuest缺陷跟踪和变更管理工具,软件测试工具,嵌入式软件测试工具,LogiScopeCodeTestCantata,软件测试工具,谢谢大家！,