性能测试的组织.ppt

第3章 性能测试的组织,3.1 性能测试工具3.2 性能测试团队的人员构成3.3 性能测试流程,3.1 性能测试工具,性能测试工具的作用性能测试脚本录制时的协议类型性能测试工具的选择与评估,性能测试工具的作用,性能测试工具只能帮助你实施性能测试，并不能帮助你完成性能测试的需求、设计和分析（性能测试工具能够根据你的要求以各种方式提供报表，这些报表可以被用来分析系统性能状况）。,性能测试脚本录制时的协议类型,一般的性能测试工具都提供了多种协议支持，但具体在什么时候使用何种协议，如何选择也是一个问题。性能测试工具录制的是服务端和应用之间的通信数据，因此，选择何种协议取决于应用和客户端之间的通信协议。Web应用：HTTP/HTTPS协议；数据库应用：协议取决于数据库本身的类型；Socket应用：socket协议；除了这些，还有RMI、Corba、Web Service等多种类型的协议。,性能测试工具的选择与评估,对需要进行性能测试的组织来说，决定使用哪种性能测试工具也不是一个简单的问题。这个问题通常会有两个层面的意义：第一，创建还是购买？第二，如果购买，如何选择一种商业工具？,1、创建还是购买？,总之，”购买“的方式可以以较低的总体成本快速获得可用的软件，但如果被测试对象本身有一定的特殊需求，最好使用”创建“的方式构建适合的测试工具。,2.测试工具的评估和选择过程 测试工具的评估可被描述为“从很多可用的工具中选择一个工具”，对于商业的性能测试工具，一般可以按照下列的过程进行评估：（1）列出需要的工具功能列表工具能支持被测系统运行的平台（软硬件环境、数据库环境）吗？工具能支持被测系统使用的协议吗？工具是否能够支持我们的特殊要求，例如防火墙、负载均衡、动态页面生成等？工具能够提供对我们关心的服务器、应用服务器或是数据库类型计数器的监控吗？工具使用的脚本语言功能完善吗？,（2）工具比较 该步骤的主要目的是比较所有可供选择的工具，比较内容包括：功能比较。评价各种不同工具与所需要工具的功能的符合程度，可以在列出需要工具的功能时，一并给出每个需要功能的优先级权重，这样在进行符合度评价时，可以得出每个工具的功能符合度加权值，利用该加权值进行比较。工具能获取支持的比较。这方面的比较包括：开发商或是代理商对工具的支持力度如何？该产品的平均更新周期有多长？是否能方便地在应用中获取工具的使用支持？产品的支持方式包括哪些？时效性如何？供应商的信誉。这方面的信息主要通过其他客户对供应商的评价来获得。,（3）成本分析 工具的价格是成本的主要构成，工具的价格和产品的License方式直接相关。评估工具成本的时候，最先要弄清楚的就是工具的License方式。在了解工具License方式的基础上，就可以根据需要选择产品部件，估算需要支付的产品价格了。工具的学习曲线和必要的培训成本也是必须考虑的一个因素。永远不要相信测试工具供应商作出的“我们的工具非常简单易学，只需要很短时间就能让你学会”这种承诺。客观来说，目前的商业工具在产品架构和界面可操作性方面差别不大，学习曲线主要从系统支持的脚本语言类型是否被使用者熟悉，系统手册以及产品开发商或是代理商是否提供培训支持等。,3.2 性能测试团队的人员构成,要顺利开展软件性能测试，首要的条件是有一支合适的性能测试队伍。软件性能测试的组织和执行需要涉及较多的技术和技能，因此我们在学习性能测试流程之前，先需要掌握性能测试团队的人员构成。根据经验，在一个性能测试团队中应该包括这样一些角色：测试经理、测试设计人员、测试开发人员、测试执行人员、测试分析人员和支持人员（系统、网络、数据库工程师）。,3.3 性能测试流程,性能测试流程,测试流程,结果分析问题定位测试报告与评估,保证系统稳定组建测试团队,测试需求分析测试计划制定,搭建环境部署测试场景执行测试,测试脚本录制测试调试开发负载场景设计,2.测试需求&计划,2.测试需求&计划,2.测试需求&计划,2.测试需求&计划,5.结果分析&报告,测试流程 测试前期准备,性能测试一般是软件系统已经开发完成或是部署完成之后的测试，要求被测对象至少具有一定的稳定性，在功能上基本满足了需求。对一个很不稳定或是还处于“半成品”状态的软件系统进行测试，没有太大的意义。在这个阶段需要完成的任务主要有：,在进行性能测试前，首先要做的工作就是验证系统基础功能，来确保当前需要进行性能测试的应用系统已经具备了进行性能测试的条件。如果性能测试本身属于验收测试的一部分，只需要把性能测试安排在功能验收测试完成之后即可；如果性能测试不在验收测试阶段运行，则必须保证在性能测试之前进行至少一次系统的功能覆盖测试。,该活动的主要目标是建立一个可以进行性能测试的团队。在测试前期准备阶段，需要根据项目的大致情况，确定人员需要的技能，从而从组织中或是通过招聘挑选合适的人员组成测试组。,测试流程 测试需求&计划,该阶段需要完成的主要任务有：,测试需求就是应用需求的衍生测试用例也必须覆盖所有的测试需求测试需求的来源是多方面的，如需求文档、用户备忘录或系统日志等。,测试需求分析关键内容：测试的对象；系统配置，例如“预计有多少用户并发访问？”“用户客户端的配置如何？”“使用什么样的数据库？”“服务器怎样和客户端通信？”“网络设备的吞吐能力如何，每个环节承受多少并发用户的访问？”等相关问题；系统的使用模式；,用户的提问与我们的测试目标：,测试需求分析方法：（充分分析系统有价值的信息）任务分布图交易混合图用户概况分析,任务分布图,有哪些交易任务在一天的某些特定时刻系统都有哪些主要操作,交易混合图,高峰期有哪些操作？中间件操作有多少？数据库操作有多少？如果任务失败，那么商业风险有多少？,用户概况分析,哪些任务是每个用户都要执行的？针对不同角色的用户，他们的任务是什么？针对每个用户，不同任务的比例如何？,要素：测试目标测试案例测试成员测试时间测试环境,1、测试计划制定-测试目标测试目标首先是基于需求分析抽取出用户的需求其次，寻找用户的性能关注点，用户对系统性能的关注往往集中在少数几个业务活动上，如通过日志分析和用户调查分析获取,系统日志分析：指通过应用系统的日志了解用户的活动，分析出用户最关注、最常用的业务功能，以及达到业务功能的操作路径；用户调查分析：是在不具备系统日志分析条件（例如，该系统尚未交付用户运行实际的业务）时采用的一种估算方法，可以通过用户调查问卷、同类型系统对比的方法获取用户最关注、最常用的业务功能等内容。,测试目标可能描述为以下几种：该应用能够以1秒的最大响应时间处理200个并发用户对业务A 的访问；峰值时刻有400个用户，允许响应时间延长到3秒。通过性能调优测试，本系统的A业务和B业务在200并发用户的条件下，响应时间提高到3秒，此时服务器的CPU占用不能超过75%，内存使用率不超过70%。,2、测试计划制定-测试案例设计测试案例好的案例具有以下几个性质：有效性：可以发现缺陷可重用性：可以重复使用的案例，保证测试的一致性可维护性：当测试环境、测试数据发生变化后，测试案例经过简单维护，可以继续使用,3、测试计划制定-测试成员 前面已讲述。,4、测试计划制定-测试时间,5、测试计划制定-测试环境,测试环境的基本原则：符合软件运行的最低要求，不一定选择将要部署的环境选用比较普及的操作系统和软件平台营造相对简单、独立的测试环境无毒的环境,5、测试计划制定-测试环境,负载压力性能测试，测试环境还需要注意以下几点：必须考虑测试工具的硬件和软件配置需求，比如支持工具的操作系统、工具是否支持当前的应用协议等测试环境与实际生产环境有无差异，硬件配置是否是影响性能的主要因素测试环境中应该包括安装、备份及恢复过程排除网络问题给环境带来的影响,5、测试计划制定-测试环境,好的测试环境的标准：一个稳定、可重复的测试环境能够保证测试结果的正确保证达到测试执行的技术需求保证得到可重复的和易理解的测试结果,5、测试计划制定-测试环境,测试数据：在测试环境中需要输入一些适当的测试数据，包括：初始数据 系统运行所必须的初始化数据业务数据 提供负载压力背景脚本中参数数据 脚本中参数数据真实模拟负载,测试流程 测试设计与开发,该阶段需要完成的主要任务有：,以测试工具LoadRunner为例,作用：用于设计测试活动需要使用的场景测试场景从不同角度的剖面模拟实际业务的运行,场景包含内容：业务和业务比例测试指标的目标需要在测试过程中进行监控的性能计数器,测试场景可以是多个测试目标的体现，下表描述了一个测试场景的内容。,表 测试场景示例,测试流程 测试执行,该阶段需要完成的主要任务有：,硬件环境 设备、网络拓扑软件环境 应用部署、测试工具数据环境 数据规模,部署脚本场景运行时设置 如循环次数、业务比例、运行时间等等性能指标和资源监控设置（重点关注）,在执行测试的过程中，应该使用一些性能指标来关注性能测试。常用的性能指标有以下几种：交易处理性能指标并发性能测试的主要监控指标,交易处理性能指标 交易：为了完成一个任务，用户对应用程序执行的一组操作，例如登陆一个Web站点，搜索一个飞机票信息、在网上购买一本书等等。,每秒交易数（Transactions per second）交易响应时间（Response Time）虚拟并发用户数（Total Virtual Users）吞吐量（Throughout）,服务器监控资源，例如：Windows、Unix、Linux应用服务器监控，例如：IIS、J2EE数据库资源监控：例如：Oracle、SQLServer,并发性能测试的主要监控指标,Windows资源监控指标,Unix/Linux资源监控指标,J2EE资源监控指标,数据库资源监控指标,数据库资源监控指标,测试流程 结果分析，报告,对测试结果进行分析，依据测试的目标给出测试结论结果分析问题定位测试报告与评估,