软件测试 系统测试方法及实践课件.ppt
2023年1月17日,1,软件测试培训课程,第4单元 系统测试方法及实践,2023年1月17日,2,第4单元 系统测试方法及实践,性能/压力测试易用性测试配置和兼容性测试安装/卸载测试,2023年1月17日,3,系统测试方法及实践,单元目标掌握常用的系统测试方法性能/压力测试、易用性测试配置和兼容性测试、安装/卸载测试,2023年1月17日,4,系统测试方法及实践,性能/压力测试引言性能测试确认在预定的各个负载等级上的系统性能是否是可以接受的测试和评估系统性能是否满足性能需求或达到性能目标，找出应用系统的性能瓶颈以作为性能优化的依据,2023年1月17日,5,系统测试方法及实践,性能/压力测试引言性能测试负载等级：同时在线用户数为 10、20，平均每秒事务数为 200、300性能需求/目标：最长事务响应时间不超过 4 秒,2023年1月17日,6,系统测试方法及实践,性能/压力测试引言压力测试通过将负载等级增加至足够高，观察系统是否失效或崩溃，以找出系统的断点有的也称负载测试,2023年1月17日,7,系统测试方法及实践,性能/压力测试引言压力测试加压方法增加并发的用户数增加每秒请求处理的事务数增加中断次数（实时系统、嵌入式软件）,2023年1月17日,8,系统测试方法及实践,性能/压力测试引言所使用的负载下列消耗系统资源内存（物理内存、虚拟内存、缓存等）CPU 时间IP 地址网络带宽文件句柄,2023年1月17日,9,系统测试方法及实践,性能/压力测试引言测试目标测量最终用户的响应时间，完成一个业务流程需要多长时间确定最优的硬件配置，哪一种硬件配置可以提供最佳性能检查可靠性，系统无错误或无故障运行的时间长度观察硬件或软件升级效果，升级对性能或可靠性有何影响在选购新的服务器硬件或软件时进行评估度量系统容量，在没有显著性能下降的前提下，系统能够处理多大的负载确定瓶颈，哪些因素会延长响应时间,2023年1月17日,10,系统测试方法及实践,性能/压力测试引言在性能是项目成败的关键因素时必须做性能/压力测试主要针对 C/S 和 B/S 应用、嵌入式软件用户对性能的要求、性能问题的经济影响分析一个示例网上零售书店,2023年1月17日,11,系统测试方法及实践,性能/压力测试引言尽可能早地、反复地进行性能测试，尽早发现性能问题，以便为性能问题的解决留出足够的时间系统测试阶段的早期，可能部分功能不可用回归测试中包含性能测试性能/压力测试需要自动化工具的支持预先制订切实可行的性能/压力测试计划,2023年1月17日,12,系统测试方法及实践,性能/压力测试Web 应用模型客户端发送一个请求至服务器服务器处理这个请求，形成响应处理结果服务器把响应发送到客户端客户端分析响应，然后显示或执行,2023年1月17日,13,系统测试方法及实践,性能/压力测试Web 应用模型性能瓶颈分析最有可能的性能瓶颈一般是：服务器处理这个请求，形成响应处理结果服务器把响应发送到客户端其他两步也有可能,2023年1月17日,14,系统测试方法及实践,性能/压力测试性能/压力测试的主要测量指标CPU 消耗（服务器）CPU 利用率=CPU 繁忙时间所占的百分比 CPU 消耗=CPU 利用率 x CPU 个数 x CPU 速度（MHz）/每秒事务请求数一般地，增加 CPU 的最好效果：双 CPU=单 CPU 的 1.8 倍,2023年1月17日,15,系统测试方法及实践,性能/压力测试性能/压力测试的主要测量指标内存消耗（服务器）消耗的内存峰值可用物理内存每秒页输入，虚拟内存（硬盘）物理内存每秒页输出，物理内存虚拟内存（硬盘）,2023年1月17日,16,系统测试方法及实践,性能/压力测试性能/压力测试的主要测量指标BoW（Bytes over the wire）服务器和客户端之间传输的字节数首次动作（Initial action），客户端无可利用的缓存图像、脚本或网页缓存模式（Cached mode）吞吐量：每秒在客户端和服务器之间传输的数据量,2023年1月17日,17,系统测试方法及实践,性能/压力测试性能/压力测试的主要测量指标TTLB（Time to last byte）从客户端发出请求到接收到服务器的响应的最后一个字节之间的时间TTFB（Time to first byte）,2023年1月17日,18,系统测试方法及实践,性能/压力测试性能/压力测试的主要测量指标用户体验到的响应时间TTLB+客户端接收响应后显示和执行时间数据库查询响应时间每秒错误数,2023年1月17日,19,系统测试方法及实践,性能/压力测试性能/压力测试的主要步骤准备性能/压力测试设计性能/压力测试执行性能/压力测试分析测试结果改进系统性能,2023年1月17日,20,系统测试方法及实践,性能/压力测试准备性能/压力测试建立测试环境与用户真实工作环境的差异客户端、服务器的硬件软件配置网络速度/带宽、网络配置虚拟用户与真实用户的差异测试版本与发行版本的差异要求进行最终真实环境下的通过测试,2023年1月17日,21,系统测试方法及实践,性能/压力测试准备性能/压力测试建立测试环境测试环境的硬件软件配置到性能最优状态排除测试环境成为性能瓶颈的潜在根源多次进行测试环境的配置优化性能测试工具消耗资源占用内存、CPU 时间使用足够数量的客户端,2023年1月17日,22,系统测试方法及实践,性能/压力测试准备性能/压力测试应用系统分析利用性能需求文档，观察应用系统从用户和市场获得相关的数据与信息确定应用系统的主要行为，即所关注的主要用户动作收集和利用原有系统的历史数据，作为基准性能数据收集单用户的基准性能数据,2023年1月17日,23,系统测试方法及实践,性能/压力测试准备性能/压力测试确定预期的工作负载各个等级的并发用户数、每秒事务量尽可能有效地反映应用系统的真实使用情况高峰工作时间段事务类型及比例会话时间长度使用双倍的工作负载业务发展空间,2023年1月17日,24,系统测试方法及实践,性能/压力测试准备性能/压力测试确定性能目标理想的、可以接受的或不可接受的目标范围用户体验到的响应时间,2023年1月17日,25,系统测试方法及实践,性能/压力测试设计性能/压力测试确定工作负载模式确定性能测试的测量指标开发自动测试脚本,2023年1月17日,26,系统测试方法及实践,性能/压力测试设计性能/压力测试常用的工作负载模式 递增模式在测试初期，只有一部分虚拟用户参与测试，逐步增加到所有用户参与测试适用条件：用户希望发现在多少并发用户下系统崩溃，或响应时间超出可接受值，或错误超出阀值,2023年1月17日,27,系统测试方法及实践,性能/压力测试设计性能/压力测试常用的工作负载模式固定状态模式固定数目的虚拟用户参与到整个测试过程。每个虚拟用户执行脚本中定义的事务，结束后继续开始，事务间没有延迟，直到simulation time已经到达适用条件：用户希望知道被测系统在指定负载下的行为,2023年1月17日,28,系统测试方法及实践,性能/压力测试设计性能/压力测试常用的工作负载模式动态模式可以在测试过程中手工改变虚拟用户的数目。在预设的最大虚拟用户数范围内，用户数可以随时增减。没有simulation time，手工结束测试。适用条件：用户希望实验不同的负载水平，并且方便的控制,2023年1月17日,29,系统测试方法及实践,性能/压力测试设计性能/压力测试常用的工作负载模式全天模式最灵活的方式。客户可以在测试的任何间隔时间指定不同的虚拟用户数目，每个用户类型有不同的负载分布。因此可以按周或天指定复杂的测试场景，可以在测试中调整尚未开始的测试间隔的负载水平。适用条件：客户希望对复杂的长时间运行的测试场景以最实际的方式建模,2023年1月17日,30,系统测试方法及实践,性能/压力测试设计性能/压力测试开发自动测试脚本自动测试脚本的开发规范简单、可维护性好的自动测试脚本使用参数化输入,2023年1月17日,31,系统测试方法及实践,性能/压力测试执行性能/压力测试设置性能计数器初始化运行，使系统达到稳定状态执行自动测试脚本观察性能计数器，收集测量数据,2023年1月17日,32,系统测试方法及实践,性能/压力测试执行性能/压力测试利用 Windows 的性能计数器,2023年1月17日,33,系统测试方法及实践,性能/压力测试分析测试结果内存消耗可用物理内存不少于 10%为好若每秒页输入和页输出持续高，则内存可能为瓶颈若每秒页输入远远小于每秒页输出，则可能内存泄漏CPU 利用率小于 75%为好若持续大于 90%，则CPU 可能为瓶颈数据库高速缓存中找到数据的命中率 Cache Hit Ratio如果持续小于 85%，则表示内存有问题,2023年1月17日,34,系统测试方法及实践,性能/压力测试分析测试结果不同负载下的 CPU 利用率不同负载下的 TTLB不同负载下的用户体验到的响应时间,2023年1月17日,35,系统测试方法及实践,性能/压力测试分析测试结果事务级、函数级的性能瓶颈分析计算各类事务、各个函数的最短、最长、平均执行时间，统计累计执行时间及在总的执行时间中所占的比例找出占用时间比例高、调用频繁的事务类型或函数，作为优化对象,2023年1月17日,36,系统测试方法及实践,性能/压力测试改进系统性能压缩多媒体数据的大小，减少线路上的流量使用服务器缓存和客户端缓存，以减少数据库访问次数和数据流量使用分布式架构，保持必要的冗余的服务器优化代码，减少不必要的数据流量服务器硬件配置升级在部署应用系统后继续监测其运行情况，为进一步的性能改进收集数据,2023年1月17日,37,系统测试方法及实践,性能/压力测试一个示例网上零售书店,2023年1月17日,38,系统测试方法及实践,易用性测试基本概念测试内容测试方法,2023年1月17日,39,系统测试方法及实践,易用性测试基本概念易用性 Usability 与可用性 Availability一个软件产品的易用性是指用户使用软件产品时体验到的难易程度和满意度。,2023年1月17日,40,系统测试方法及实践,易用性测试基本概念易用性 ISO 9241 三要素有效性即一种产品能力，它在规定的使用环境下准确地、完整地为用户提供所要求的服务效率即一种产品能力，它使用户在使用上述服务时耗费的资源数量是适当的满意即一种产品能力，它在规定的使用环境下使用户满意,2023年1月17日,41,系统测试方法及实践,易用性测试基本概念易用性 ISO 9126 四个属性可理解性用户理解产品功能和使用方法所需要的时间和精力易学习性用户学习如何操作和应用产品所需要的时间和精力可操作性用户操作和控制产品的费力程度吸引力用户喜欢产品的程度,2023年1月17日,42,系统测试方法及实践,易用性测试测试内容用户界面测试用户文档测试联机帮助用户手册,2023年1月17日,43,系统测试方法及实践,易用性测试测试内容用户界面测试标准化一致性舒适性宽容性反馈性简明性个性化/灵活性,2023年1月17日,44,系统测试方法及实践,易用性测试测试内容用户界面测试标准化参考现行的用户界面标准Microsoft Windows User Experience Microsoft PressMacintosh Human Interface Guidelines Addison-Wesley公司、项目或/和用户遵循的标准或规范,2023年1月17日,45,系统测试方法及实践,易用性测试测试内容用户界面测试一致性与用户的现实世界的一致性与用户常用或习惯的软件产品的一致性不同用户界面之间的一致性,2023年1月17日,46,系统测试方法及实践,易用性测试测试内容用户界面测试舒适性尽可能降低用户操作复杂性，尽量减少结构层次及用户操作量，提供在线帮助和快捷键等功能用户界面的外观、风格与用户的工作性质和环境协调，符合用户审美观当用户执行导致无法挽回的后果的操作时，提示用户确认,2023年1月17日,47,系统测试方法及实践,易用性测试测试内容用户界面测试宽容性通过各种逻辑设计，把用户出错的概率减至最少 尽可能提供用户错误操作的恢复功能,2023年1月17日,48,系统测试方法及实践,易用性测试测试内容用户界面测试反馈性用户每一步的操作应尽可能快地得到可见的反馈，否则用户会怀疑计算机是不是出了问题，或者没有执行用户的命令如果用户操作的响应处理比较费时间，应使用进度状态条和显示剩余时间，否则用户可能会误认为“死机”了,2023年1月17日,49,系统测试方法及实践,易用性测试测试内容用户界面测试简明性神奇的数字 7分组、分区、分类界面上的信息应准确、清楚、简洁，表达正确的含义个性化/灵活性不同用户所使用的功能和数据存在差异，这种差异应反映到界面，即要为不同用户提供合适的个性化界面或选择的灵活性,2023年1月17日,50,系统测试方法及实践,易用性测试测试内容用户文档测试一致性正确性合适性可读性完整性,2023年1月17日,51,系统测试方法及实践,易用性测试测试内容用户文档测试一致性在功能说明、操作步骤、屏幕抓图等方面与交付的软件产品保持一致所有示例/样例在通过软件产品再现时获得的结果与示例/样例所描述的一致上下文敏感的联机文档应与上下文保持一致文档内部的一致性：术语、用法、格式、风格、字体等,2023年1月17日,52,系统测试方法及实践,易用性测试测试内容用户文档测试正确性联机帮助文档中超级链接的正确性：错误链接、断开链接、遗漏链接在语言使用、定义术语、缩写语等方面的正确性合适性文档内容适合软件产品的用户，易于用户理解用户可以快捷地查到或得到所需要的文档内容,2023年1月17日,53,系统测试方法及实践,易用性测试测试内容用户文档测试可读性文档主题明确，语言表达准确、无冗余性主题的层次结构分明，提供主题目录和索引文档的版面形式统一、简明完整性没有遗漏的主题提供理解和使用软件产品的完整说明,2023年1月17日,54,系统测试方法及实践,易用性测试测试方法测试准备测试执行,2023年1月17日,55,系统测试方法及实践,易用性测试测试方法测试准备用户调查表（易用性测试）软件产品用户界面和用户文档调查,2023年1月17日,56,系统测试方法及实践,易用性测试测试方法测试准备软件产品用户界面和用户文档调查各组成部分的用户界面的组成元素-窗口、菜单、工具条、图表-对话框、提示信息、错误信息-命令按钮、单选按钮、复选按钮-滚动条、下拉菜单、文本编辑框-列表、下拉列表、其他,2023年1月17日,57,系统测试方法及实践,易用性测试测试方法测试准备软件产品用户界面和用户文档调查用户文档的目录、索引，以及所有主题和结构用户文档中的插图、表格、示例和实例,2023年1月17日,58,系统测试方法及实践,易用性测试测试方法测试执行易用性测试工作表逐项检查，发现问题易用性测试用户评分表征询用户反馈意见,2023年1月17日,59,系统测试方法及实践,配置和兼容性测试确定配置测试范围罗列用户的硬件类型，排除不需要考虑的类型。考虑下列各种可能的情况：厂商及型号主机配置特性外设配置特性接口设备驱动程序网络配置特性,2023年1月17日,60,系统测试方法及实践,配置和兼容性测试确定配置测试范围使用等价类划分方法缩小要测试的配置情况数目识别必须重点测试的配置情况填写配置测试矩阵，标明需要测试的配置情况 估算工作量，根据项目情况调整和确定配置测试范围,2023年1月17日,61,系统测试方法及实践,配置和兼容性测试确定配置测试范围配置测试矩阵示例,2023年1月17日,62,系统测试方法及实践,配置和兼容性测试配置测试过程确定配置测试范围确定与硬件配置相关的关键应用程序特性避免测试所有特性/功能，也没有必要测试重点是软件产品与这些硬件设备的接口测试软件产品的主要功能及错误处理 设计和确定在不同配置情况下执行的测试案例集在选定的一种配置情况下运行测试案例集调整测试范围，反复测试直至达到测试目标,2023年1月17日,63,系统测试方法及实践,配置和兼容性测试确定兼容性测试范围罗列用户计算机上使用的软件类型，排除不需要考虑的类型。考虑下列各种可能的情况操作系统及版本、补丁程序版本数据库系统及版本应用程序类型及版本其他罗列必须遵循的各种标准和规范 包括但不限于数据/文件格式、通信协议、用户界面、接口,2023年1月17日,64,系统测试方法及实践,配置和兼容性测试确定兼容性测试范围运用等价类划分方法减少要测试的组合数识别必须重点测试的组合情况填写兼容性测试矩阵，标明需要测试的软件组合 估算工作量，根据项目情况调整和确定兼容性测试范围,2023年1月17日,65,系统测试方法及实践,配置和兼容性测试确定兼容性测试范围兼容性测试矩阵示例,2023年1月17日,66,系统测试方法及实践,配置和兼容性测试兼容性测试过程确定兼容性测试范围设计在每种组合情况下执行的测试案例集在选定的一种组合情况下执行测试案例集 调整测试范围，反复测试直至达到测试目标,2023年1月17日,67,系统测试方法及实践,安装/卸载测试安装程序的工作流程从源主机上执行安装程序登录目的主机，询问目的主机以获得其环境信息；如果进行升级安装，则还要收集已安装的旧版本的信息根据环境信息和用户的选择（例如用户选择最小安装、完全安装、自定义安装）安装软件组件解压缩 ZIP 或者 TAR 文件搜索或创建目录，安装过程中一些文件被复制到这个（些）目录中,2023年1月17日,68,系统测试方法及实践,安装/卸载测试安装程序的工作流程复制可执行文件、DLL 文件 和数据文件，复制前与已安装的同名文件进行版本比较，确认安装哪个版本复制共享文件，这些文件与其他已安装的软件共享创建注册表项，填写注册表内容改变注册表项，INI 文件或 BAT 文件重新启动系统，启动数据库，创建或更新配置文件,2023年1月17日,69,系统测试方法及实践,安装/卸载测试安装程序的常见问题测试重点安装失败安装过程中止，或安装后无法启动安装的软件产品文件复制错误复制的文件不完全，有遗漏；复制的文件的版本错误；未按用户选择安装，复制的文件清单不符合用户选择。未正确地收集用户环境信息例如，未检测到已安装的软件或组件,2023年1月17日,70,系统测试方法及实践,安装/卸载测试安装程序的常见问题测试重点未正确地设置注册表安装程序的用户界面问题丢失或损坏旧版本的数据文件，或未正确地把这些数据文件迁移到新安装的软件产品中,2023年1月17日,71,系统测试方法及实践,安装/卸载测试卸载程序的工作流程删除应用程序可执行文件、专用 DLL 文件和数据文件如果没有其他应用程序使用，删除共享文件删除目录删除注册表项恢复原有注册表项,2023年1月17日,72,系统测试方法及实践,安装/卸载测试卸载的其他途经通过连接和命令行执行卸载通过添加/删除程序执行卸载,2023年1月17日,73,系统测试方法及实践,安装/卸载测试卸载程序的常见问题测试重点卸载失败卸载过程被中止，不能完整地执行。文件删除错误未完全删除文件（有遗漏），或删除了不该删除的文件（例如删除了不该删除的、与其他应用共享的文件）。未正确地删除目录未正确地恢复注册表,2023年1月17日,74,系统测试方法及实践,安装/卸载测试主要测试内容安装程序的功能和用户界面被安装的应用程序的主要功能安装/卸载程序中已知的错误条件及其错误处理方法安装/卸载程序对已有系统环境的影响软件产品和硬件的接口安装程序在不同的安装选项和条件下的功能安装程序对已有文件和注册表所作的配置和修改卸载程序是否删除了所有由安装程序安装的文件,2023年1月17日,75,系统测试方法及实践,安装/卸载测试在不同测试条件下执行安装/卸载测试软件产品标明的最低配置下安装在一个“干净”的操作系统上安装和运行在一个“脏”的操作系统上安装和运行在不同的操作系统上安装和运行进行升级安装在安装过程中减少可用磁盘空间在安装中途取消安装改变默认的安装路径,2023年1月17日,76,系统测试方法及实践,提问与回答,2023年1月17日,77,结束,谢 谢Thank You,
