论软件系统的第三方评测.doc

《论软件系统的第三方评测.doc》由会员分享，可在线阅读，更多相关《论软件系统的第三方评测.doc（5页珍藏版）》请在三一办公上搜索。

1、论软件系统的第三方评测 黄江平 中国软件评测中心 一、第三方评测 概述 直至目前，我国还没有适应国情的、系列化协调配套的、工程化的软件生产过程管理、软件质量评测、控制技术规范和法律规程指导，为此，我国急需以大力发展软件第三方测试工程为基础，建立、健全我国软件工程质量保障体制。 第三方测试有别于开发人员或用户进行的测试，其目的是为了保证测试工作的客观性。从国外的经验来看，测试逐渐由专业的第三方承担。同时第三方测试还可适当兼顾初级监理的功能，其自身具有明显的工程特性，第三方测试工程主要包括需求分析审查、设计审查、代码审查、单元测试、功能测试、性能测试、安全性测试、可靠性测试、资源占有率测试、安装配

2、置测试、兼容性测试、可扩充性测试、文档测试以及最终的验收测试等。 测试并不仅仅是为了要找出错误。测试方还需要对错误进行归类和总结，通过分析错误产生的原因和错误的分布特征，可以帮助项目管理者发现当前所采用的软件过程的缺陷，以便改进，更好地帮助用户。根据软件工程的要求，测试工作应贯穿开发的全过程。 从整个软件工程的流程看，编码和单元测试基本上属于程序的调试，一般由开发方自己进行。作为第三方测试，主要是在系统测试和集成测试最为有效。但是，为了得到高质量的软件，第三方也要适当介入编码与单元测试，能够更好地保证测试的有效性、准确性和可信性。 第三方测试的责任 第三方测试以合同的形式制约了测试方，使得它与

3、开发方存在某种对立的关系，所以它不会刻意维护开发方的利益，保证了测试工作在一开始就具有客观性。第三方一般都不直接参加开发方系统的设计和编程，为了能够深入理解系统，发现系统中存在的问题，第三方测试必须按软件工程的要求办事，以软件工程的标准要求开发方和用户进行配合，从而较好地体现软件工程的理念。引入第三方测试后，由于测试方相对的客观位置，由用户、开发方、测试方三方组成的三角关系也便于处理以往用户、开发方双方纠缠不清的矛盾，使得许多问题能得到比较客观的处理。 第三方测试不同于开发方的自测试。由开发人员承担的测试存在很多弊病，除去自身利益驱使带来的问题外，还有许多不客观的毛病，主要表现在思维的定势上。

4、由于他熟悉设计和编程等，往往习惯于按一定的“程式”考虑问题，以至思路比较局限，难于发现“程式”外存在的问题。因为第三方测试的目的就是为尽量多地发现程序中的错误而运行程序的过程， 年全国高速公路联网收费技术研讨会论文集可以更多的发现问题。此外，随着系统越做越大，客观上讲开发人员也无精力参与测试，同时也不符合大生产专业分工的原则。 第三方测试不同于用户的自测试。用户是应用软件需求的提出者，对于软件应该完成的功能是非常清楚的，是进行功能验证的最佳人选。客观情况是，大部分的用户都不是计算机的专业人士，很难对系统的内部实现过程进行深入的分析。对系统的全面测试，功能测试仅仅是一个方面，还要包括并发能力、性

5、能等多种技术测试。这些测试对技术有很高的要求，必须由计算机的专业人员才能完成。 第三方测试一般还兼顾初级监理的职能，不但要对应用进行各种测试，还进行需求分析的评审、设计评审、用户类文档的评审等，这些工作对用户进行系统的验收以及推广应用都非常有意义。 组织管理 在测试的过程中，用户、开发方与测试方形成了一个三角关系，从最终目标来讲，三方是完全一致的，都是希望保证系统稳定运行。但在测试过程中，三方的关系却是既对立又合作。对立是指各自坚持自己的职责，合作是指每一方的工作都需要其它两方的支持和帮助。 软件测试的过程 为了保证测试的顺利进行，测试方必须强化内部的组织管理。中国软件评测中心从是专业化评测服

6、务的机构，测试中心依据国际 检测和校准实验室能力的通用要求建立有严谨的质量控制体系，严格遵循 、 、 、 、 年全国高速公路联网收费技术研讨会论文集等国际、国家软件产品评测标准，以及 软件产品评测机构规程国际标准的规定，承担各类软硬件产品测试、信息系统验收、软件成果技术鉴定等质量保证工作。 。第三方测试种类 根据软件的特性，第三方软件测试工程可划分为三种类型四个层次： 第一类是系统软件、环境软件和各类工具软件等的评测。这类软件多作为计算机的环境或作“公用”支撑软件，产品类型多、市场销量大、生产厂商多，产品的特点大都有企业、甚至国际的产品质量标准，用户选择使用时大都希望进行产品功能、性能的对比测

7、试；对于这类软件的评测重点是软件产品的功能、性能和特点评测。 第二类是面向应用软件系统的评测。这类软件具有很强的行业应用特性，往往要由用户与开发商签定项目合同，开发商负责开发，用户负责验收。对这类软件的评测，根据用户对第三方的依赖程度，又可分为两个层次。第一个层次只对应用软件系统进行综合性功能、性能测试。大体是在软件系统级进行“黑盒”测试，并不对软件过程进行控制、监督。第二个层次是对应用软件系统进行质量监理与评测。不仅承担第一个层次的任务还要对软件过程进行监控，具备初级软件工程监理的职责。承担该类软件质量监理评测的第三方，承担软件过程质量监理的责任，在软件生命周期过程中，从软件定义开始，要对软

8、件过程从质量保证角度进行规范化的监督、管理和控制。评测工作不仅包括软件生命周期各阶段的评审，而且还要对程序系统，进行包括模块白盒测试在内的系统集成、系统验收等测试。第三方实际上是软件业主授权的初级的软件工程监理。 第三类是对软件企业的评估认证，也是最高层次的软件评测。 测试评估 测试评估是软件测试的一个阶段性的结论，用所生成的测试评估报告，来确定测试是否达到完全和成功的标准。在测试评估阶段向用户提供强有力的支持，包括通过测试报告，验证测试结果是否符合测试计划中制定的测试标准；根据缺陷报告提供的测试结果数据，给出软件质量和测试完整性的评估报告；特别在以下几方面对测试的过程进行评测： （）评估测试

9、用例覆盖：测试的目标是确保的测试用例全部成功地执行。如果这个目标可行或不可能达到，则要根据不同的情况制定不同的测试覆盖标准。主要考虑风险和严重性、可接受的覆盖百分比。 （）评估代码覆盖：需要断定测试目标期望的总的测试代码行数，在测试中真正执行的代码行数及其百分比，将此结果记录在测试评估报告中。 （）分析缺陷：对缺陷进行分析，应遵照缺陷分析策略中制定的分析标准。最常用的缺陷分析标准有三种：缺陷分布缺陷数量作为随缺陷属性变化的函数（如状态和级别）；缺陷趋势缺陷数量作为以时间为条件的函数；缺陷滞留特殊的缺陷密度报告，缺陷数量与缺陷在某一状态保留的时间长短有关。 （）确定测试是否达到完全和成功的标准在

10、此阶段将判定测试是否已达到完全并可接受，生成测试结果报告。 年争目高速公路联收费挂术研讨会论文集 二、软件测试 软件测试阶段划分 测试工作应谩渗透到从分析、设计直到编程的各个阶段中，随编程工作的 不断深它也在进行中。我们将提供软件试的完整解决方案，包括明显的、同等重要的三个阶段：单元测试、集成测试和系统测试（验收女试）如图所示。 单元测试阶段 一零垂 删一一瓣一 曦 图软件测试阶段划分圈 单元测试足测试的第步。软件单元测试是个过程，也是软件工程实践中的基础。单元测试的方法是种综台的方法，目的是对软件单元进行系统化的测试，包括测试计划的执行、测试集的获取以厦测试单元与其需求的对照衡量。测试过程是

11、由一系列具有层次结构的阶段、活动及任务组成。 单元测试适用于新开发的或修改过的软件单元，不要求使用特定的测试机制或具，也不蕴含任何特定的方法学咀进行文件控制，配置管理、质量保址、或测试步骤管理。同时也不规定软件排错的过程。 单元测试是开发过程中的测试，第三方的土要职责是： 审核集兑商制定单元测试计划和测试方案。 监督集成商确实按照单元测试计划对软件所有的功能模块进行全面的单元测试。 耐单元测试结果进行审核和跟踪，确保集成商对所有的测试问题进行修改。 第三有权对育疑义的模块进行抽查测试。 整理单元测试结果文档和修改情况，向业土提交单元测试阶段报告。 集成测试阶段 （）集成测试目的 集成测试是为了

12、保证各个模块之间的数据传输的叫靠性，整体功能的完整性，主要目的 年全国高速公路联网收费技术研讨会论文集是： 系统各个模块连接起来时，穿越各个模块接口的数据是否会丢失。 一个模块的功能是否会对另一个模块的功能产生不利的影响。 各个子功能组合起来后，是否能够达到父功能的预期要求。 全局的数据结构是否存在问题。 各个模块的误差累积起来是否会达到不能接受的程度。 （）集成测试流程 集成测试分为两个阶段完成。 第一阶段： 由集成商对本项目进行内部的集成测试，第三方对其工作进行集成测试监理，如图所示。 审核集成商制定集成测试计划和测试方案。 监督集成商按照集成测试计划和测试方案进行集成测试。 对集成测试中

13、发现的测试问题的修改过程进行跟踪，确保集成商对所有的测试问题进行修改。 整理集成测试结果文档和修改情况，向业主提交集成测试阶段报告。 集成商 监理方 图集成商集成测试流程 第二阶段： 年全国高速公路联网收费技术研讨会论文集 为了能够切实了解本项目的开发质量，为业主和集成商提供第一手的质量汇报，第三方也应该对本项目进行集成测试，具体测试流程如图所示。 测试组制定详细的集成测试计划 建立集成测试所需的硬件环境。 需要开发人员提供必要的模拟数据。 使用黑盒测试方法，测试小组按照测试方案对软件进行测试。 测试小组提交集成测试问题报告。 开发人员对出现的问题进行确认并修改。 测试小组对修改的结果进行回归

14、测试。 测试小组提交集成测试分析报告。 不 通 过 图第三方集成测试流程 （）第三方集成测试需求 集成商必须提交有关文档资料：需求分析说明书、概要设计说明书、需求变更说明、结构设计说明书、详细设计说明书、数据库结构设计说明、用户手册、操作手册、单元测试报告。如果没有以上基础文档，无法进行集成测试。 年全国高速公路联网收费技术研讨会论文集 集成商需要安排熟悉情况的软件设计人员、开发工程师作全程配合。 业主（用户方）需要提供集成测试过程中必要的硬件环境。 系统测试（验收测试） （）验收测试目的 本项目开发完成后，第三方应该对软件项目进行必要的验收测试。验收测试基于系统测试方法，主要是将计算机系统与

15、软件、数据和人员结合在一起，在实际运行（使用）环境下，对本项目进行测试。 主要目的是一方面网络环境和计算机硬件环境能够适应软件运行的需要，另一方面是在本项目投入实际运行前进行最后一次质量把关，确保本项目能够顺利上线运行。 （）验收测试流程 第三方测试组制定详细的验收测试计划，确定测试依据、测试方法、测试案例和测试工具。 集成商系统设计人员、软件开发人员和网络施工人员负责对本系统进行最后一次系统调试。 集成商软件开发人员和数据库设计人员提供必要的模拟数据。 使用黑盒测试方法，监理方测试小组按照测试规范和测试案例对集成软件进行测试。 第三方测试小组提交验收测试问题报告，并与本工程的设计和开发人员一起分析出现问题的软硬件原因。 第三方监督集成商开发人员对出现的问题进行确认并修改。 第三方向业主提交验收测试报告，对整个系统做出评价。 （）验收测试条件 需要本项目各项工作基本完成 需要以下文档资料：需求分析说明书、概要设计说明书、需求变更说明、结构设计说明书、详细设计说明书、数据库结构设计说明、用户手册、操作手册、单元测试报告 注：如果没有以上基础文档，无法进行验收测试 在验收测试过程中，需要集成商安排熟悉情况的软件设计人员、开发工程师的全程配合。