嵌入式软件测试ppt课件.pptx
嵌入式软件测试第一部分,软件测试技术,软件测试技术提要,软件测试基础软件测试的典型问题及对策嵌入式软件测试级别及内容软件测试过程及管理,概述测试的定义,由人工或自动方法来执行或评价系统或系统部件的过程，以验证它是否满足规定的需求；或识别出期望的结果和实际结果之间有无差别。,概述测试的目的,验证软件是否满足软件开发合同或任务书、系统/子系统设计文档、软件需求规格说明和软件设计说明所规定的软件质量特性要求；通过测试，发现软件错误；为软件产品质量的评价提供依据。,概述测试的地位,有效的测试对于开发可靠、安全和成功的软件是必须的测试不是“银弹(silver bullet)”，它具有有效范围，它不是其他软件工程方法的替代品,概述测试的作用1,证实给定的软件满足其规格说明测试公理不可能对程序进行完全的测试局限无法确信规格说明100%正确无法确信可以达到100%足够的软件测试无法保证测试环境100%满足测试要求,概述测试的作用2,在给定的时限内尽可能多的发现缺陷和隐患测试公理测试无法说明软件没有缺陷局限软件质量体现在多个方面，但首先要面对并必须解决的方面是软件缺陷，在资源制约和技术限制的条件下，无法保证找到软件中所有的缺陷,概述测试的作用3,为软件产品质量的评价提供依据测试公理发现的问题越多, 那里潜在的问题也更多局限不可能通过测试获得100%的质量信心无法确信测试系统(或环境)的正确性无法确信测试人员完全理解了软件产品没有足够的资源彻底完成软件测试,概述测试的发展历程,概述测试对象的特点,软件被广泛应用，承担许多关键与核心任务软件是被开发或设计的，包括维护阶段软件是逻辑产品，可视性低软件是复杂的，输入空间无限大，可执行路径特别多大多数软件是定制的，可选标准构件少,概述软件的缺陷属性,无法提供无缺陷的软件，缺陷已成为软件的固有属性和特征各种研究报告表明，每写1000行代码会产生 30到85个缺陷大多数缺陷可通过测试捕获在大量的已完成测试的软件中，每1000行代码仍存在0.53缺陷软件缺陷有可能会给系统质量尤其是可靠性带来重大影响,概述缺陷与失效,概述缺陷过滤器,概述缺陷解决策略,避错(Defect avoidance)第一次就做正确排错(Defect removal)早发现,早实施容错(Defect tolerance)有缺陷，也能正确的完成任务恢复选用最佳恢复策略，失效后继续工作,概述如何获得高质量软件,软件质量,软件工程方法,正式技术评审,度量与控制,标准与过程,测试,SCM与SQA,概述验证与确认,验证与确认是广泛认可的质量保证方法和手段软件测试是软件验证与确认的重要组成部分验证是指对某项规定活动进行检查的过程，以确保该活动实现了规定功能确认是指审查已建立的软件产品是否符合客户需要的过程,验证(Verification): Are we building the product right?确认(Validation): Are we building the right product?,概述测试与调试,测试不是调试，调试也不是测试，实际工作中人们常将测试与调试混为一谈主要区别：测试是一种检验，调试是推理过程测试从已知条件开始，使用预先定义的规程并且有可预知的结果；调试的开始条件可能是不可知的，结果不可预见测试经常由非程序设计人员完成，调试必须由程序设计者完成,概述嵌入式软件,执行数据采集、控制等任务，逻辑复杂运行在资源受限系统上系统构成多样化部署后不受人的控制修补困难多为实时系统多为关键系统既可能运行在芯片上，也可能运行与大型工业控制系统,概述嵌入式软件测试,对测试环境的要求高对专业测试的依赖程度高测试输入和结果获得需要专门的手段测试约束大,软件测试典型问题及对策,软件测试时机软件测试层次软件测试环境软件测试管理软件测试风险软件测试复杂性软件测试追溯性软件测试终止准则,问题及对策测试时机,测试的时机问题代码出来了，甚至系统实现了，才开始测试文档开发滞后，更新不及时，追踪性差系统状态不稳定，测试的效果无法体现主要对策在软件开发过程中尽早开展软件测试做好软件设计评审和分析做好配置管理工作,问题及对策测试层次,典型问题调试代替低层次测试，ATP代替高层次测试不测试无效和不期望的输入不希望外部介入完全依赖外部测试主要对策开展第三方测试对开发过程中的测试提出明确要求,问题及对策测试环境,典型问题过分关注测试执行，而忽视测试设计期望自动工具替代测试工程师期望靠测试自动化节约测试成本期望靠测试自动化改善测试质量相信录制/回放工具是万能的主要对策先建立流程，再实现自动化与实际需求相结合,问题及对策测试管理,典型问题被测对象来自非受控渠道测试没有文档化的计划、方案支持独立测试组与开发组之间关系不协调主要对策建立测试过程，进行测试项目策划、跟踪与控制，开展测试的质量保证和配置管理将需求工程延伸到测试,问题及对策测试风险,典型问题不使用风险分析技术，测试不关注风险开发时希望成关键，测试时希望成一般主要对策通过风险分析确定测试范围、目标和策略将测试作为一种高风险活动进行管理,问题及对策测试复杂性,典型问题认为测试工作很简单，测试成为新程序员的过渡性工作/不合格程序员的归宿认为软件测试太复杂，投入很大，做了但是没有效果进行无知的测试主要对策培训，指派有经验、富有创造性的人员承担测试采用适当的技术、有效的方法进行测试设计完善动态仿真环境，掌握测试工具,问题及对策测试追溯性,典型问题软件需求规格说明太简单、过时即兴测试不创建和维护测试文档主要对策测试应源于用户需求维持完整的证据链进行可重复和可再现的测试,问题及对策测试终止准则,典型问题测试组应对保证质量负责用发现缺陷数量评价测试业绩测试到资源耗尽就结束主要对策明确定义测试结束的标准正确理解测试的作用和局限性提高和改善软件设计质量,级别测试策略,SRDCU IVST,系统工程,单元测试,编码,软件需求分析,设计,集成测试,配置项测试,系统测试,级别为什么要分级别？,与软件开发过程相适应为了说明软件系统内单元/部件的互操作性需要进行三种基本的测试单独单元/部件的测试测试单元/部件间互操作测试单元/部件结合成的软件系统,级别单元测试的特点,对象模块依据软件设计规格说明实现串行或并行测试方法白盒为主,被测模块,测试用例,结果,测试工程师,级别单元测试内容,静态测试代码走查代码检查静态分析动态测试黑盒测试白盒测试基于数据结构的测试,级别单元动态测试焦点,被测单元,单元接口,局部数据结构,边界条件,独立执行路径,错误处理的路径,测试用例,级别单元动态测试环境,被测模块,驱动模块,结果,测试用例,模块接口,局部数据结构,边界条件,独立执行路径,错误处理的路径,桩1,桩2,桩n,级别单元测试工作产品,单元测试计划单元测试说明单元测试报告测试记录问题报告与问题处理报告质量记录,级别集成测试,集成测试的对象是软件部件软件部件由软件单元组成集成测试前，部件中的所有单元必须已经完成了单元测试,级别集成测试准备,要求的文档可提交软件概要设计说明软件接口设计说明被集成的软件单元已通过单元测试被测试构件已纳入配置管理中具备了满足要求的集成测试环境和测试工具,级别集成测试内容,单元间的接口测试全局数据结构测试软件功能模块的功能测试性能测试边界和人为条件下的性能,级别集成测试焦点,重点寻找与下述内容相关的缺陷软件系统结构的设计和构造在子系统层次上被集成的功能或操作组件/模块之间的接口和相互作用资源集成环境集成,级别集成测试通过准则,单元间无错误连接满足各项功能、性能要求对错误有正确的处理对测试中的异常有合理解释接口正确,级别部件测试工作产品,部件测试计划部件测试说明部件测试报告测试记录问题报告与问题处理报告质量记录,级别配置项测试概念,配置项测试的对象是计算机软件配置项（CSCI）计算机软件配置项，是能够被独立地进行配置管理的，并能够满足最终用户功能的一组软件,级别配置项测试的目的,发现软件配置项内存在的缺陷和问题验证软件配置项实现了所需的能力验证软件是否按软件需求规格说明书中确定的软件功能、性能、质量属性、约束及限制等技术要求进行工作检验软件配置项与相关的软件/硬件配置项接口的正确性和互操作性,级别配置项测试依据,测试要求任务书、合同、测试规范等对软件测试有约束力的文件，规定了软件测试的类型、程度、管理，等等被测对象的规格说明软件需求规格说明书，等,级别配置项测试焦点,功能(针对业务/任务需求，逐项)接口(关注通信需求与手段)配置项级的性能(关注容量、余量、瓶颈)质量属性(关注质量设计的实现)设计约束(关注资源的利用率和余量),级别配置项测试主要内容,功能测试性能测试接口测试容错测试安全性测试边界测试安装性测试,文档审查用户操作特定条件下的行为与硬件配置项的集成与系统中其它软件配置项的集成与协作,级别配置项测试环境要求,配置项测试对测试环境的关注更关注环境的可控性，通常会在仿真或模拟环境下进行，要求高度的可控性和尽量的真实性 对侵入式测试方法的支持,级别配置项测试工作产品,配置项测试计划配置项测试说明配置项测试报告测试记录问题报告与问题处理报告质量记录,级别系统测试概念,软件系统作为一个整体进行测试，检验系统各部分之间的协调情况，以证实在目标环境下软件完成了全部系统功能和性能。系统测试是一系列不同测试的组合，这些测试目的不同，但都是为了整个系统成分能正常地集成到一起并完成分配的功能。,级别系统测试的目的,发现软件系统范围内存在的缺陷和问题验证软件系统实现了所需的能力验证软件系统各部分之间的协调情况，以证实在目标环境下软件系统完成了软件任务书或系统/子系统设计文档规定的全部软件需求检验软件系统能否与其他指定的系统成功地进行协同操作,级别系统测试的依据,测试要求任务书、合同、测试规范等对软件测试有约束力的文件，规定了软件测试的类型、程度、管理，等等被测对象的规格说明软件研制任务书系统/子系统需求规格说明系统/子系统设计文档，等,级别系统测试焦点,功能(针对高级系统需求，强调完整的业务/任务场景)接口(关注与其他系统的协同操作)性能(关注总体性能和资源竞争)质量属性(关注因协同操作带来的质量属性问题),级别系统测试主要内容,功能测试性能测试接口测试容错测试安全性测试边界测试容量测试强度测试,安装性测试文档审查用户操作特定条件下的行为软件与硬件的集成与协作软件与外部软件和系统的集成系统可用性测试,级别系统测试环境要求,系统测试对测试环境的关注更关注环境的真实性对于嵌入式软件，软件运行环境较容易保证，但是通用测试工具环境缺乏对于非嵌入式系统，尤其是大型系统，软件运行环境较难保证，而通用测试工具环境丰富,级别系统测试工作产品,系统测试计划系统测试说明系统测试报告测试记录问题报告与问题处理报告质量记录,级别回归测试,原因超过60%的对软件系统的修改会无意中引入新的错误每修改6行代码就会引入一个新的错误目标检验修改是否达到了预期的目的检验是否损害了原有的正常功能，从而造成系统的回归,级别回归测试,级别回归测试流程,识别变更，进行变更影响分析对原测试集进行维护，生成新的测试集从测试集中选择回归测试包用选择的测试包进行回归测试对回归测试结果进行分析并报告,级别回归测试用例集,再测试全部用例基于风险选择测试基于操作剖面选择测试再测试修改的部分防火墙内再测试,级别更改的影响性分析,通过跟踪矩阵，确定缺陷更改关联的范围通过修改属性(纠错、适用、需求)，确定受修改影响的范围通过被修改工作产品内部关系，保证修改的内部一致性、正确性,管理典型测试过程,测试要求,测试策划,测试设计和实现,测试执行,测试总结,需求管理,策划管理,跟踪与控制,质量保证,配置管理,软件测评项目管理,软件测试过程,管理关于测试过程的说明,过程和阶段的设置与测试的组织形式有关独立性测试组织的文化和成熟度在开发组织开展内部测试时软件测评项目管理应与软件开发管理活动融合，如需求管理、项目策划、项目监督与控制、质量保证、配置管理,管理测试策划,确定测试策略确定测试项确定测试方法确定测试工作产品确定资源要求确定人员要求,工作量估算风险分析确定结束条件确定评价准则和方法测试进度规划确定度量及采集要求,管理测试设计和实现,分解测试项根据测试项特征，确定用例设计方法确定数据选取依据测试用例设计确定测试环境,管理测试执行,确认和交接被测软件测试用例集的执行填写测试日志和测试记录故障隔离，填写问题报告问题报告/问题处理报告的交接选择回归测试用例集，完成回归测试根据退出准则确定是否结束测试执行,管理测试总结,评价测试工作评价被测软件编制测试报告评审测试报告,管理需求管理,建立跟踪矩阵需求跟踪：软件需求测试需求测试类型测试用例执行记录问题报告文档跟踪：测试需求规格说明测试计划测试说明测试报告更改跟踪：更改单文档版本维持需求的垂直和水平两维的双向可溯性跟踪需求的变更,管理测试项目策划,确定测试策略确定测试需要的技术或方法确定用于测试的资源要求确定人员组织安排测试进度确定测试任务的结束条件确定被测软件的评价准则和方法进行测试风险分析,管理测试项目跟踪与控制,跟踪与控制形式定期例会、测量等跟踪与控制依据项目计划跟踪与控制对象工作量和成本、进度、资源要求等,管理配置管理,可以与开发过程的配置管理工作合并开展测试采取独立方式进行时，对被测对象和测试工作产品进行交接管理将缺陷管理纳入SFRACAS协调被测对象的版本管理将测试工作产品作为软件的重要组成部分进行变更管理和版本控制,管理过程和产品质量保证,可以与开发过程的质量保证工作合并开展如何进行及时监督活动的标准符合性监督工作产品的质量监督应保证独立性,问题?,
