工程化测试过程和方法.ppt
2023/10/12,author:henry Date:20 Sep,2007,工程化测试过程和方法,2023/10/12,2,课程介绍,目标熟悉工程化测试的过程和方法听众测试管理人员、测试工程师高级经理、项目经理应用开发人员QA人员必备条件熟悉开发生命周期对测试有基本的了解,2023/10/12,3,课程内容,开展软件测试的时机测试生命周期工程化测试方法计划测试：测试需求、风险评估、测试策略、资源设计测试：黑盒白盒的用例设计、构造测试过程开发测试：脚本录制及注意事项执行测试：环境准备、缺陷记录、意外处理评估测试：评估标准、结果分析缺陷管理：缺陷生命周期、缺陷维护、缺陷分析,4,软件测试管理,下面我们学习开展软件测试的时机尽早开展测试工作,5,测试人员,测试人员,维护的费用1x 10 x 100 x,尽早开展测试的重要性,6,尽早开展测试的重要性,7,越早开展测试工作风险越小,传统的测试是在代码实现之后进行,尽早开展测试的重要性,2023/10/12,8,缺陷的代价,错误被发现和纠正的越早，为修复而付出的代价却显得越小。,9,软件测试管理,下面我们学习软件测试生命周期：计划设计实现执行评估缺陷跟踪,10,开发生命周期和测试生命周期,11,测试计划定义测试项目的阶段，以便于对项目进行适当的评估与控制。包括测试需求，测试策略，测试资源和测试计划。,测试生命周期-测试计划,12,测试设计设计测试的策略和方法，如：设计驱动、稳定桩等；还需要确定自动测试的内容和性能测试的内容。,测试生命周期-测试设计,13,测试开发对已定义的测试设计进行创建或修正，并开发出详细的测试过程、测试用例和测试脚本等。,测试生命周期-测试开发,14,测试执行按照设计的测试策略和过程，执行测试用例，并记录测试的结果。,测试生命周期-测试执行,15,测试评估分析测试结果并判断测试的标准是否被满足（完毕、通过等等）。,测试生命周期-测试评估,16,缺陷跟踪记录测试事件和发现的问题，提出解决它们的方案并进行跟踪，直到问题得到解决。,测试生命周期-缺陷跟踪,17,工程化测试方法,下面我们学习计划测试：测试需求风险评估测试进度测试策略资源评审计划,生成测试计划,18,测试需求,详细说明要验证的被测软件的工作情况，列出测试点,指出测试范围和任务。业务功能、流程性能指标用户界面的表现WindowsDialog boxesControls.保证测试需求可被验证，有明显可衡量的结果。,用户期待内容是否完成，极大的影响用户满意程度!,2023/10/12,19,测试需求,测试需求的关键点 正确的表示测试需求确定测试需求的优先级 确定测试需求的焦点核心设定测试完整性的尺度,2023/10/12,20,测试需求,测试需求来源项目组文档（需求规格说明、用户需求、设计文档、手册）培训项目组会议客户业务规则行业参考潜在用户已有系统使用习惯,2023/10/12,21,风险评估,风险包括的两特性不确定性损失风险类别(根据其影响程度)灾难性的 严重的轻微的可忽略的,2023/10/12,22,风险评估,评估角度人员及经验时间技术工具支持,2023/10/12,23,测试进度,以项目开发计划的进度为基础；以测试生命周期为裁剪对象；制定出符合项目实际情况的测试进度；,2023/10/12,24,测试进度,确定测试阶段确定里程碑及对应的交付物将测试工作范围进行细化和分解，形成工作分解结构（WBS）以网络图的形式说明WBS 中各项任务的相互顺序和依赖关系估计整个测试的工期和成本,2023/10/12,25,测试策略,描述起始方法和目标:测试技术和工具测试完成的标准特殊的考虑包括资源需求和进度表等,2023/10/12,26,测试策略,要考虑的问题:选择测试尺度时间、价值和质量的替换了解风险性使用的工具使用的一般和特殊的技术,2023/10/12,27,测试策略项例子测试的级别:系统测试类型:功能技术:为每个主要功能建立测试过程.所有夜间进行的测试是否被执行，数据/结果是否得到验证完成尺度:所有的测试过程被执行 所有易出问题的功能必须被执行.严重性级别为1或 2的缺陷不再出现 其它因素:测试必须在下午7:00以后到上午 9:00之前进行.,测试策略,2023/10/12,28,资源,人力资源-测试经理职责全面的管理-测试计划采集资源项目报告-测试评估要求有测试过程的知识熟悉测试工具有领导才能懂得项目的管理,2023/10/12,29,资源,人力资源-测试工程师(设计者/开发者)职责分解测试需求测试设计测试开发要求有应用需求方面的知识熟悉测试工具编程的技巧(附加),2023/10/12,30,资源,人力资源-测试工程师(测试执行)职责执行测试产生日志结果检查修正的错误要求了解要测试的系统网络服务器等熟悉测试工具有诊断的技巧善于观察，能识别细微的差别,2023/10/12,31,资源,人力资源-测试系统管理员职责管理测试的系统添加新用户处理用户的要求要求系统管理的经验和方法熟悉测试管理工具,2023/10/12,32,资源,系统资源测试开发系统测试管理系统测试存储库客户测试系统设备资源服务器客户机网络,2023/10/12,33,资源,数据资源恢复数据到指定的状态备份工具数据库实用工具如果数据不能被恢复，需要设计上的考虑记录池备份记录等,2023/10/12,34,生成计划,目标及范围注：不被测试特性也要作出说明测试策略资源要求人员/组织进度安排测试管理测试开始/结束准则测试移交（准则、涉及人员）、交互风险和应急其他,（切实可行）合理的测试计划,2023/10/12,35,评审测试计划,测试计划确定后，一定要和开发组成员一起评审测试计划；参与人员有：项目经理配置经理QA人员测试组所有人员客户不能和开发计划有冲突。,2023/10/12,36,工程化测试方法,下面我们学习设计测试：黑盒白盒的用例设计构造测试过程静态评估,2023/10/12,37,找出并描述测试用例,分析应用工作流描述测试活动找到测试用例描述测试用例被测对象或应用说明期望结果，如输出状态、条件或数据值确定测试用例数据作为输入数据的值测试期待结果值支持用例的数据，不作为输入、输出,2023/10/12,38,测试用例设计方法,白盒测试用例设计逻辑覆盖法：语句覆盖判定覆盖条件覆盖判定-条件覆盖条件组合覆盖路径覆盖 基本路径法,2023/10/12,39,测试用例设计方法,黑盒测试用例设计等价类划分法边界值分析法错误推测法因果图法功能图分析法。,2023/10/12,40,确定并构造测试过程,检查应用工作流检查事件流检查已有过程的描述遍历系统提供的功能,2023/10/12,41,确定并构造测试过程,开发测试模型确定测试过程关系和顺序确定测试起始条件(状态)、终止条件(状态)指出测试过程的测试用例考虑的问题相同测试过程是否满足关联的测试用例测试行为步骤可能包括不同的测试过程测试过程也可包含其它测试过程,2023/10/12,42,确定并构造测试过程,构造测试过程建立测试需要的数据测试过程的起始条件、状态、行为测试步骤输入的数据值期待的结果结果评估定义测试过程的结束条件、状态、行为,2023/10/12,43,评估测试覆盖,覆盖的度量标准基于需求的覆盖基于代码的覆盖判定标准均采用完成测试项的百分比生成覆盖报告测试有关人员软件开发代表文档管理代表,2023/10/12,44,工程化测试方法,下面我们学习开发测试：脚本编写以及注意事项,2023/10/12,45,编写测试脚本,创建测试脚本参考已有的有价值的脚本建立测试环境建立脚本修改脚本(如果必要),2023/10/12,46,录制 vs.编程,录制和编写测试脚本,先录制，如果需要的话再编程,2023/10/12,47,录制和编写测试脚本,创建测试脚本应注意：尽量使测试脚本可重用尽可能减少测试脚本的维护量如果可能，尽量使用已有的测试脚本使用测试工具创建测试脚本，减少手工作业,2023/10/12,48,录制和编写测试脚本,检查/调试测试脚本建立测试环境重新初始化环境执行测试脚本评估测试结果结果与期望值相同：不必其他操作不是期望的结果：找出问题发生的原因并解决问题,2023/10/12,49,建立外部数据集,创建外部数据集查阅测试用例、测试过程使用适当的工具和方法创建数据集利用数据集对测试脚本调整调试测试脚本,2023/10/12,50,建立外部数据集,使用外部数据集的好处：使测试脚本中不含数据，易于维护使数据易于修改，不受脚本影响方便增添测试用例，较少或避免修改测试脚本外部数据能够被多个测试脚本共享外部数据集中可包含用于控制测试脚本的数据值,2023/10/12,51,确定测试特需的功能,驱动模块如果被测试对象需要驱动模块才能测试，就需要开发驱动模块程序；桩模块如果被测试对象需要桩模块才能测试，就需要开发桩模块程序；,2023/10/12,52,工程化测试方法,下面我们学习执行测试：环境准备按测试用例执行缺陷记录和传递回测意外处理,2023/10/12,53,准备测试环境,测试环境的部署和维护是一项需要详细策划的工作；部署合理的测试环境是达到测试目标的前提和条件。测试环境将直接影响到软件测试结果的真实性、可靠性和正确性。,2023/10/12,54,准备测试环境,搭建测试环境，包括：单元测试需要编译执行环境；数据处理，需要基础数据环境；网络环境服务器、客户机环境中间件、工作流其它支持软件备份测试环境，构建可“复用”的测试环境。,2023/10/12,55,测试执行,任何工程产品都可以使用以下的两种方法进行测试：已知产品的功能设计规格，可以进行测试证明每个实现了的功能是否符合要求。（黑盒测试）。已知产品的内部工作过程，可以通过测试证明每种内部操作是否符合设计规格的要求，所有内部成分是否已经过检查。（白盒测试）,2023/10/12,56,测试执行,两种测试方法从不同的角度出发，反映了软件的不同侧面，也适用于不同的开发环境,黑盒测试,白盒测试,系统,2023/10/12,57,记录缺陷,记录缺陷文档记录（日志、报告）工具记录传递缺陷人工传递状态传递追踪缺陷参见后面的缺陷管理,2023/10/12,58,缺陷内容,一个缺陷或报告的内容，一般包括：发现的阶段发现的模块/子系统状态发现人员修改人员、修改时间修改的预期版本严重级别、修改的优先级别缺陷描述（概述、详述、附加文件）,2023/10/12,59,回测,目的是为了测试由于修正缺陷而更新的程序，以确保修正了上一版本的缺陷，且没有引入新的缺陷；开发人员修复了提交的缺陷后，测试人员需要对这些缺陷进行再次测试，并对相关的功能和应用也进行测试。,2023/10/12,60,意外处理,发生不可传递的缺陷时，测试组可以把系统退回给开发组；需求做重大调整时，测试工作可能会暂停；测试发生意外中断时，需要及时恢复。,2023/10/12,61,意外处理,不同的测试意外中断：当测试脚本正在执行的时候，有预想不到的动作、窗口、事件发生测试环境没有响应或不是期待的状态（如挂起或失败）致命错误系统失败（网络、硬件等）,2023/10/12,62,意外处理,如何从失败中恢复：确定错误发生的真正原因纠正错误重新建立测试环境重新初始化测试环境重新执行测试,2023/10/12,63,工程化测试方法,下面我们学习评估测试：评估标准,2023/10/12,64,评估测试-测试用例覆盖,覆盖要判定：对于测试目标有多少测试用例，已执行的测试用例数成功执行的测试用例数确保100%的测试用例全部成功地执行制定测试覆盖标准，考虑：风险和严重性可接受的覆盖百分比,2023/10/12,65,评估测试-代码覆盖,覆盖要判定：测试目标期望的总测试代码，在测试中真正执行的代码，及其百分比将此结果记录在测试评估报告中,2023/10/12,66,评估测试-分析缺陷,常用的缺陷分析方法：缺陷级别缺陷分布缺陷趋势缺陷滞留。,2023/10/12,67,评估测试-确定测试是否达到标准,确定标准：参阅测试计划有关测试覆盖和缺陷评估等策略检查测试结果、缺陷和缺陷分析,2023/10/12,68,评估测试-确定测试是否达到标准,如未达到标准，将：收集附加信息产生不同的报告，如不同的缺陷密度报告研究处理过程，判断是否有未知的条件影响到测试标准，从了解到的实际情况出发，重新制定标准建议附加测试实现新的测试，增加测试用例的深度实现新的测试，增加测试覆盖的广度修改测试标准检查和评估更改测试标准的风险,2023/10/12,69,工程化测试方法,下面我们学习缺陷管理缺陷的生命周期缺陷维护缺陷分类缺陷分析,2023/10/12,70,缺陷的生命周期,缺陷的六个生命状态：初始状态（New）打开状态（Open）修复状态（Fixed）关闭状态（Close）拒绝状态（Rejected）重现打开状态（Reopen）,2023/10/12,71,缺陷的生命周期,缺陷生命历程的几种典型过程:New OpenFixedCloseNewCloseNewOpenRejectedNewOpenRejectedReopenFixedClose,2023/10/12,72,缺陷的维护,各成员职责测试人员：记录New重新确认Reopen关闭Close管理人员：接收Open直接关闭Close开发人员：修改Fixed拒绝Rejected,2023/10/12,73,缺陷分类,缺陷类型（Type）缺陷严重程度（Severity）缺陷优先级（Priority）缺陷状态（Status）缺陷起源（Origin）缺陷来源（Source）,2023/10/12,74,缺陷分析,关注点：对软件问题的功能域分布进行分析，找出系统的薄弱环节；要采集每个功能模块或系统构件的bug数据，并按错误类型、严重程度等分类；比较实际发现的软件bug是否与预期的问题分布相吻合；二八定理：80%的软件问题总是发生在大约20%的功能模块（系统构件）中；对bug的注入阶段的分布进行分析，并与历史数据相比较。,2023/10/12,75,缺陷分析,分析方法指标分析反映产品质量的指标 反映缺陷发现及修复的效率的指标 反映缺陷修复成本的指标 汇总统计 缺陷发生日期统计 缺陷状态分布 缺陷测试情况统计 定性分析,2023/10/12,76,课程回顾,开展软件测试的时机测试生命周期工程化测试方法计划测试：测试需求、风险评估、测试策略、资源设计测试：黑盒白盒的用例设计、构造测试过程开发测试：脚本录制及注意事项执行测试：环境准备、缺陷记录、意外处理评估测试：评估标准、结果分析缺陷管理：缺陷生命周期、缺陷维护、缺陷分析,2023/10/12,77,Question?,THANKYOU,
