产品测试管理培训.ppt
产品测试管理将研发战略转化为高效的行动,内容提要,1、产品测试管理综述2、产品测试管理体系3、产品测试流程4、产品测试组织5、产品测试度量,第一节:产品测试管理综述,质量基本概念探讨质量管理体系与测试产品测试的基本原则产品测试的常见方法产品测试管理综述,产品测试管理综述,质量基本概念探讨,地球的质量约为61024千克高质量的生活如何提高睡眠质量。.(生活中广义的质量定义),符合需求适用/fitness for use“must-be quality”and”attractive quality”.对客户的价值.(专家学者的质量定义),质量基本概念探讨,质量基本概念探讨-如何衡量?,产品/服务固有特性,客户要求和期望,符合,指导,0 50%100%,质量管理体系与测试,质量管理的发展 ISO9000 ISO14000 CMMI/QS9000 数理统计 抽样检查 专职检查 严格控制,全面质量管理,统计质量管理,质量检验阶段,质量管理体系与测试,质量管理的活动-质量策划-质量控制-质量保证-质量改进质量管理方法及工具-PDCA-新老七种工具-SPC/FMEA/QFD,质量管理体系与测试,质量测试成本分析 利润 预防 POC 评估 质量成本 销售收入 Failure ponc 运营成本 开发 销售/行政/人事等必要成本 思考:1测试越充分越全面越好吗?,产品测试的基本原则,测试的定义我们认为测试是为了:-发现系统存在的问题-树立对系统的信心-增强团队对系统的熟悉程度,了解系统固有的缺陷,产品测试的基本原则,测试的一个事实:彻底的测试实际上不可操作!-如果让我再测一遍,肯定能发现问题(某测试人员)-我们如何面对这种局面?,产品测试的基本原则,1.客户化测试 系统中有许多错误 客户遇到的错误只占很小比例 针对客户最容易遇到的错误进行测试,以便改进测试的有效性IBM:客户所看到的57%以上的故障是由占错误总数2%以下的错误引起的.,Operationscenario,Testscenario,产品测试的基本原则,2.不同的测试等级不同系统/子系统需要不同测试质量要求A灾难性的影响 C重要的影响需要MC/DC测试 需要SC测试-引擎控制-无线数据链接-飞行计算-导航处理B危险的影响 D次要性影响需DC测试 函数进入/退出覆盖率测试-差分GPS-飞机内娱乐设施-飞机之间接近感应,3.尽早测试在部署之后又发现软件问题再进行修复，这通常要多花100到1000倍的成本。要防患于未然.在特定时间达到既定目标，在整个项目生命周期内不断对质量进行检验和管理必不可少。,产品测试的基本原则,4.Good-enough这是一种权衡投入/产出比的原则，测试既不要不充分也不要过分。不充分和过分都是一种不负责任的表现。,产品测试的基本原则,5.PARETO(排列图)一般情况下，在分析、设计、实验阶段的评审和测试工作能够发现和避免80%的BUG，而系统的软件测试能够找出其余BUG中的80%。最后约5%的BUG只有在用户大范围、长时间的使用才会暴露出来。因此测试只能保证尽可能多地发现错误，不能保证发现所有的错误。,产品测试的基本原则,小节结-完全测试基本不可能，应制定合理的策略-客户化测试-质量目标和测试强度-为了减少投入，主张尽早测试-测试需要在投入与收益上取得平衡-专网捕鱼策略讨论：质量是设计出来的，还是测试出来的？,产品测试的基本原则,常见的测试方法,白盒测试结构测试（打开盒子）黑盒测试功能测试（不关心内部结构）单元测试（软件单元模块）集成测试（软件集成模块）其它测试系统测试公司内部测试，完全受控Alpha 测试模拟用户环境，基本受控 Beta测试真实用户环境，不受控,第二节:产品测试管理体系,产品测试管理体系,1.产品测试管理体系概述2.产品测试流程及生命周期3.产品测试项目管理4.产品测试管理,产品测试管理体系概述,质量管理体系与测试管理体系映射,流程,组织,测度流程,测试,测试组织,研发管理体系中的“测试”、投资管理团队中需包括：（便于较快传达上级的产品变化情况）研发总监测试总监市场总监财务总监制造总监2、产品测试从产品概念阶段就需参与。（做出可测试性分析，能测哪些？不能做哪些？或委外等）3、计划阶段需做测试策略和计划,产品测试管理体系概述,产品测试流程及生命周期,1、瀑布模型（适用于开发过程变化较小，风险小的项目）2、V模型、3、W模型（开发与测试并行）,项目管理知识体系,产品测试项目管理,项目整体管理,人力资源管理,项目沟通管理,项目风险管理,项目采购管理,项目范围管理,项目时间管理,项目成本管理,项目质量管理,测试项目管理总体过程确定测试范围，启动测试项目设定测试目标（成本/进度/质量）制定测试策略/定义测试过程制定测试计划（进度/资源/风险。）计划监控（会议/报告。）问题和风险管理（定量与定性）变更控制（整体联动）阶段项目总结,产品测试项目管理,产品测试管理,质量保证TQA一手软一手硬引导和培训 产品过程审计,评审：（避免“抓壮丁”、“科普会”、“批斗会”）业务决策评审立项/概念/计划/技术评审需求/规划/计划同行评审正规检视走读,产品测试管理,第三节:产品测试流程,产品测试流程,产品测试全流程分析产品开发各阶段的测试活动产品测试自动化,产品测试全流程分析,定义可测试性需求,系统需求分析、功能分析、设计综合,定义产品包验证主计划,系统需求分析、功能分析、设计综合,系统需求分析、功能分析、设计综合,系统需求分析、功能分析、设计综合,定义产品测试策略,系统需求分析、功能分析、设计综合,系统需求分析、功能分析、设计综合,系统需求分析、功能分析、设计综合,系统需求分析、功能分析、设计综合,系统需求分析、功能分析、设计综合,系统需求分析、功能分析、设计综合,系统需求分析、功能分析、设计综合,概念阶段计划阶段开发阶段验证阶段,概念阶段的测试活动,要点参与市场需求分析及验证负责收集可测试方面的需求初步制定测试策略参与概念决策评审,计划阶段的测试活动,要点：负责制定验证测试计划可测试性测试设计经济效益与测试周期的衡量,要点协助开发，并监督单元测试，集成测试的开展。领导系统设计验证（SDV，原型机）系统集成测试（SIT，初始产品）技术评审,开发阶段的测试活动,SDV主要活动(对原型机渐增BUILD测试),开发阶段的测试活动,开发阶段的测试活动,SIT主要活动(初始产品)当初始产品与原型机没有差别时,SIT就没有必要重复做一次同样的渐增测试.,验证阶段的测试活动,要点(验证制造流程)系统验证测试(SVT)BATA测试测试结果评估技术评审主要活动:1、EMC测试2、环境测试3、安全测试4、回归测试5、一致性测试6、需要的特别测试,产品测试自动化,不适合自动化测试的领域一次性项目项目周期短的项目业务规则复杂的项目自动化测试误区期望自动化测试完全代替手工测试期望自动化测试发现大量的缺陷遥不可及测试工具开发失败的分析缺少组织保证领导不重视过分追求大而全缺少历史工具的继承缺少推广服务意识,第四节:产品测试组织,产品测试组织,产品测试在组织中的角色分析-协助者?-反对者?-破坏者?-建设者?-领导者?思考:我们扮演了什么角色?我们应该扮演什么角色?,产品测试组织,产品测试组织演化产品测试团队结构分析产品测试关键角色分析测试人员职业发展,产品测试组织演化,公司的测试组织属于哪个阶段！,混淆阶段没有专职的测试人员缺少完善的测试流程测试手段单一,严格区分阶段测试部门独立专职测试人员不断完善的测试流程测试工具技术开发,专业协作阶段专职测试人员完备的测试流程人人具备测试意识测试工具技术开发运营测试,第一步：重点开展系统测试工作控制测试版本的提交频度和过程，加强基线管理约束系统测试中开发、测试的责任重点开展功能测试、业务测试开始积累测试用例开始系统测试过程管理开始单元测试的操作，规定具体的测试量化指标开始代码静态检查工具的引入,实例：公司测试部发展历程,第二步：重点开展专项测试、测试工具引入加强市场问题的收集、汇总，补充到测试用例库加强版本走向市场的控制开展性能、安全性、可靠性等专项测试引入专项测试工具开始系统测试过程度量,实例：公司测试部发展历程,第三步：测试小工具开发、需求可测试分析针对系统测试中的具体需要开始专项小测试工具的开发在商业工具的基础上考虑二次开发开始产品开发前端工作，具体参与产品的需求分析、规格确定，确保需求、规格的可测试性产品开发前期就确定后期的测试规划,实例：公司测试部发展历程,实例：公司测试部发展历程,第四步：测试平台构造、集成测试整合历史测试工具，从而形成更加系统的测试工具开始规划测试公共技术平台测试工具的开发产品化运作开始集成测试工作开始关注测试技术的发展,实例：公司测试部发展历程,第五步：构造测试、运营测试、测试标准、可测试性设计“每日构造”测试整网测试、标准测试、规范测试参与测试标准的制定大量申请测试专利制定可测试性设计方面的规范，并在实际产品测试中施行,产品测试团队结构,跨部门产品开发团队PDTPDT成员分别来自各个功能/职能部门PDT功能/职能部门代表共同对产品负责,研发 市场制造,LPDT,核心组,项目经理,扩展/外围组,测试部门经理角色及义务管理并发展测试部人事/财务等部门基本运作建立优异的测试队伍领导测试技术平台开发项目执行测试部门的预算提供测试技术领导定义测试的策略、指导原则、工具和标准协调跨项目的测试合作制定并维护测试流程方针支持产品开发团队工作确定项目测试的人员和资源参与相关测试项目的评审,产品测试关键角色分析,测试项目经理测试经理的素质特征及性格特征素质特征1、有管理经验，是一个精明而讲究实际的管理者2、有个性魅力，使项目组成员快乐而有生气3、有全流程的丰富的工作经验4、具有创造性思维5、具有灵活性，同时具有组织性和纪律性性格特征1、诚实、正直、热情 2、沉着、冷静、果断3、善于沟通 4、敏感、反应敏捷5、多面手 6、精力充沛、坚忍不拔7、自信、有进取心 8、善解人意,产品测试关键角色分析,产品测试关键角色分析,测试工程师测试人员的素质要求1、沟通能力量对比 2、技术能力3、自信心 4、外交能力5、幽默感 6、很强的记忆能力7、耐心 8、怀疑精神9、自我督促 10、洞察力11、敢于“较真”的精神 12、细心13、责任心 14、板凳要做十年冷的精神15、逆向思维能力,测试人员职业发展,1、测式人员的双重晋升机制2、测试人员技术任职资格3、测试人员的工作重点划分,测试人员的双重晋升机制,领导者,管理者,监督者,资深专家,高级专家,专家,有经验者,初做者,6级 5级 4级 3级 2级 1级,专家经验丰富的骨干业务实施的基层主体,每级分为四等:职业等、普通等、基础等、预备等,审请、审核,考试,提供证据,评议,评审,颁证,测试人员技术任职资格,测试人员技术任职资格,第五节:产品测试度量,产品测试度量,产品测试度量介绍产品测试核心度量产品测试缺陷分析基础产品测试缺陷分析方法产品测试度量与绩效考核,产品测试度量的介绍,为什么要度量？刻画（系统/产品的成熟程度）评估（是否达到相应的要求）预测改进,产品测试度量的介绍,什么是度量？-测量（直接的）问题数 测试用例数 测试工作量-度量（间接的，算出来的）测试效率 缺陷密度 缺陷移除率,产品测试度量的介绍,度量的基本原则业务目标驱动不去定义不会收集的度量项/指标不去搜集不会分析的度量数据不分析不会使用的度量量力而行,产品测试的核心度量,四个基本度量项-规模-工作量-进度-缺陷-客户满意度产品测试核心度量-测试规模？-测试工作量？-测试进度？-产品缺陷（测试工作质量如何度量？）-测试效率,缺陷分析基础,缺陷基本分类需求缺陷：如需求不明确、不合理、不可测、不完整等。设计缺陷：如设计与需求不符，设计错误，设计不全面等。编码缺陷：如内存泄露、指针未初始化、功能错误、逻辑错误、接口错误等。文档缺陷：指交付给最终用户文档中的错误。测试用例缺陷：指测试用例设计中所犯缺陷。其他缺陷：指在支持软件产品开发或维护的软件人工制品中所发现的缺陷，包括测试工具、编译器、配置库、以及其他的计算机辅助软件工程工具。,缺陷分析基础,缺陷其他分类-按严重等级致命问题严重问题一般问题建意问题-按程序错误类型注释/消息语法接口数据函数,缺陷分析方法,、正交缺陷分类、Rayleigh曲线、Gompertz模型(可靠性分析)、四象限分析、根源分析,缺陷控制和缺陷预防,统计过程分析特定问题和共性问题不同阶段的缺陷、问题反馈建议的措施已实施的行动,阶段开工会,根源分析会议,行动措施数据库,缺陷预防数据库,项目阶段,测试度量指标（一）,产品测试度量和绩效考核,测试度量指标（二）,产品测试度量和绩效考核,产品测试度量和绩效考核,测试度量指标（三）,产品测试度量,讨论 目前我们实际工作中有哪些测试度量指标?度量操作中存在什么问题,怎么改进?测试人员如何考核?,结束语,以上通过对测试领域的种种案例及分析,阐明了测试过程中存在的一些问题及解决方法,不同的公司,不同的阶段有不同的测试系统支持；希望通过本次沟通,能使大家发现工作过程中的一些问题,并能解决！谢谢！,
