航天中认华南分中心材料介绍.ppt

软件测试服务及体系建设方案航天中认软件测评科技（北京）有限责任公司,目录,航天中认软件测评科技（北京）有限责任公司（以下简称航天中认）是在推动军民融合，推进信息化与工业化融合，提升中国民用软件产业质量和效率的背景下，由中国航天软件评测中心、中国质量认证中心、中国家用电器研究院、北京航天科工军民融合科技成果转化创业投资基金合资建立。,一、航天中认概况,为客户提供民用软件资质认证和软件质量能力提升的一站式服务，成为中国民用软件质量服务行业综合实力最强、品牌价值最好和商业价值最高的软件质量服务机构,成就软件质量以航天品质,一、航天中认概况使命、定位与愿景,一、航天中认概况股东构成,一、航天中认概况中认股东（航天软件测评中心）,一、航天中认概况中认股东（航天软件测评中心）,一、航天中认概况中认股东（航天软件测评中心）,1998,2002,2004,2007,1996,2008,国内第一家以软件评测为认证项目通过了新时代认证中心的质量管理体系,国内第一家通过了GBJ 5000（CMM）三级正式评估的软件测评机构；具有中国载人航天工程和月球探测工程的软件独立测试资质,国内第一家通过了中国人民解放军总装备部军用软件测评实验室认可,通过国防实验室和国家实验室资质认可和国家实验室资质认定的现场评审,2月，获得国家认证认可监督管理委员会计量认证资质认定；3月通过中国合格评定国家认可委员会实验室（CNAS）认可，出具的测试报告国际认可；国防科工委认定成为国内唯一国防科技工业软件测试和评价实验室,6月中心成立，是国内第一家从事高安全、高可靠软件测评的专业机构,发展历程,一、航天中认概况中认股东（航天软件测评中心）,软件评测任务,一、航天中认概况中认股东（航天软件测评中心）,所获资质,一、航天中认概况中认股东（航天软件测评中心）,所获荣誉,一、航天中认概况中认股东（航天软件测评中心）,一、航天中认概况中认股东（中国质量认证中心）,一、航天中认概况中认股东（中国质量认证中心）,CQC颁发的认证标志,一、航天中认概况中认股东（中国质量认证中心）,一、航天中认概况中认股东（中国家用电器研究院）,一、航天中认概况中认股东（中国家用电器研究院）,一、航天中认概况中认股东（北京航天科工军民融合科技成果转化创业投资基金）,三,品牌优势航天品牌高技术 高质量,管理优势丰富行业管理经验扁平的管理模式,资源优势政府支持项目资源丰富,核心优势,一、航天中认概况中认股东（北京航天科工军民融合科技成果转化创业投资基金）,一、航天中认概况中认发展主旨,一、航天中认概况中心愿望,围绕以上我国软件行业现况和发展需求，结合航天中认企业及股东资源，我们主要通过软件测评与认证、软件质量能力提升两大类业务，为行业和企业提供软件质量的一站式服务。,二、主要产品与服务中认软件测评行业解决方案,软件及信息技术企业的“高端认证”、“医院”、“4S”店和“学校”，为这类企业发展提供良好的区域公共平台。,软件测评业务为第三方软件测评服务，通过全面的、专业的测试保证软件的正确性、可靠性和完整性，具有专业性、客观性。,产品标准符合性测试服务、产品确认测试服务、系统验收测试服务和系统运维测试服务。,一站式服务,软件测评与认证,软件测评服务类型,二、主要产品与服务中认软件测评行业解决方案,家电行业,交通行业,轨道交通,高校,国际顶级认证机构,电力行业,行业软件准入标准，海尔、小天鹅、美的、长虹等软件测试和软件实验室等。电力行业软件测试标准，高端软件测试，国家电网软件测试联合实验室等。交通部软件测试实验室建设，软件质量管理整体实施规划。轨道交通-航天中认联合软件测评实验室。大连理工大学软件测评实验室等。航天中认-南德联合软件测评实验室。,二、主要产品与服务中认软件测评实验室建设,。,。,软件第三方测试服务,软件测试领域咨询,软件测试工具（代理及自研）,软件工程技术咨询,软件测试整体解决方案,软件测试、软件工程培训及认证,产品及服务,二、主要产品与服务服务介绍,。,。,二、主要产品与服务中认软件测评实验室部分 工具介绍,C+TEST,二、主要产品与服务中认软件测评实验室部分 工具展示,LoadRunner,二、主要产品与服务中认软件测评实验室部分 工具展示,代码分析,二、主要产品与服务软件测试类型介绍,二、主要产品与服务软件测试流程介绍,二、主要产品与服务中认质量管理体系,实行内外网物理隔离，严格保护客户 商业机密及知识产权,二、主要产品与服务中认保密管理,二、主要产品与服务软件测试级别,二、主要产品与服务软件测试主要类型,二、主要产品与服务软件测试主要类型,针对测试工作需求，选取适当测试工具并实施采购、培训,实现对软件测试的资源、活动以及过程等进行有效的控制和管理，提高软件测试的规范化、自动化程度和管理水平,测评实验室建设,软件质量体系建设,测评过程管理体系建设,测试工具采购及培训,包括质量方针和质量目标、质量手册、程序文件、作业指导书、质量记录等规范与文档,二、主要产品与服务软件测评实验室建设服务,云测试平台是实现“以航天品质成就软件质量”的关键板块。国内软件企业软件工程和软件测试能力提升有赖于技术基础设施的改善。航天中认致力于将云测试平台建设成为中国软件测试和软件质量服务的“京东”和“淘宝”。为中小型软件开发机构、软件测试机构和软件质量服务机构打造国内最大的软件测试、软件工程和软件培训的在线公共基础设施平台和服务交易平台。同时依托云测试平台，为高端行业客户提供软件测试整体方案和认证等服务。,二、主要产品与服务云测试平台建设,独特的3+2构架和运营模式。,二、主要产品与服务云测试平台建设,3+2构架和运营模式，不仅仅是技术和产品的叠加，开放的平台，开放的架构，类似安卓和苹果运营思路，也是运营和管理模式的突破。云测试平台将填补国内空白，为海量中小型软件开发机构提供软件质量提升和测试服务综合，为中国软件行业整体品牌和质量的提升奠定良好的基础。,二、主要产品与服务云测试平台建设,为CMM评估的企业提供支持服务，帮助企业实现每个关键过程域的目标。CMM强调过程管理，其本质是为软件组织持续的改进软件过程提供一种模型，它包括初始级、可重复级、已定义级、已管理级和持续优化级五个成熟度等级，在CMM中每个成熟度级（第一级除外）规定了不同的关键过程域，一个软件组织如果希望达到某一个成熟度级别，就必须完全满足关键过程域所规定的不同要求。,二、主要产品与服务软件工程能力成熟度评估,软件测试外包服务可以促进软件测评业务向规模化、高端化方向发展，依托专业的测试机构提供软件测评服务，不仅降低了企业进行软件测评的时间、人力、工具等成本，同时加快了软件产品的测试进度，保障软件产品的质量。,二、主要产品与服务软件测试外包服务,软件测试工具研发和代理销售是规划中能迅速形成规模效益的业务，同时凭借航天软件评测中心、中国质量认证中心、中国家电研究院已有的技术优势、渠道和市场影响力，快速整合软件质量服务市场中各类行业资源，形成航天中认自身的品牌优势和核心产品，促进中国软件测试工具行业的整体发展。,二、主要产品与服务软件测试工具研发与销售,建设华南软件测评公共服务平台，为企业提供软件测评、人员培训、软件工程咨询等服务，帮助企业搭建测试平台，使华南地区软件企业可就近享受高品质服务，从而显著提升企业的可持续发展能力。,航天中认打造成为华南地区顶级的专业的测试团队、服务于重点行业或企业。,三、航天中认华南中心规划,三、航天中认华南中心规划行业方向,标准制定：制定软件工程标准规范GJB102/Z-97 软件可靠性和安全性设计准则GJB5369-2005 航天型号C语言安全子集GJB2434A-2004 军用软件产品评价GJB5234-2004 军用软件验证和确认GJB5236-2004 军用软件质量度量GJB/Z 141-2004 军用软件测试指南921工程软件工程化技术标准,四、项目案例标准制度及项目案例,电力行业：1.广东电网2014年产品及设备入网测试技术支持项目技术服务；2.电网自动化检测及评估机理研究；3.关系数据库及实时数据库委托测试；4.智能电网调度技术支持系统白盒外协测试试验与加工；5.测试体系建设外协测试试验与加工项目；6.安全操作系统及地理信息系统委托测试；7.变电站自动化设备及规约检测技术服务；,四、项目案例标准制度及项目案例,军工行业：1.编码调制器FPGA 软件第三方评测航天火箭；2.基带干扰信号仿真模块卫星领域；3.导航接收机软件导航领域；4.导引头软件导弹领域；,项目案例,政府行业：1.北京奥运场馆指挥平台系统测试项目；2.奥运安保指挥系统测试项目；3.奥运电子票证系统测试项目；4.国家电网管理信息系统测试项目；5.交通部管理信息系统测试项目；6.公安部管理信息系统测试项目；7.科工集团涉密邮件系统；8.中毒判定软件测试;9.城际铁路地面通信控制服务器（CCS）软件测试项目；10.嵌入式程序技术服务；,项目案例,家电行业：1.V850室外电控软件测试技术开发 广东美的；2.洗衣机电脑板软件可靠性测试。,项目案例,典型软件测评项目案例介绍,数字化核安全级控制保护系统MPU板卡正常运行模式软件,数字化核安全级控制保护系统SCU板卡软件,数字化核安全级控制保护系统MPU板卡维护模式软件,广利核测试项目介绍被测软件,系统概述,本次测试系统为：数字化核安全级控制保护系统。被测系统主要包括三个软件：MPU板卡正常运行模式软件、MPU板卡维护模式软件及SCU板卡软件。MPU板卡正常运行模式软件主要实现主控制站运算处理功能，MPU板卡维护模式用于实现工程师站控制算法下装和参数整定的工作模式，当系统处于维护模式中，不能执行正常运行模式以及测试模式的功能，SCU板卡软件实现主处理单元板卡和I/O板卡之间的数据传输，SCU板卡通过SN1总线与I/O板卡进行通信，通过SN2总线与MPU板卡交换数据。系统框图如下图所示。,MPU板卡正常运行模式软件 功能介绍,数字化核安全级控制保护系统B系列MPU板卡正常运行模式软件主要实现主控制站运算处理功能，功能分解如图所示。,MPU板卡维护模式软件 功能介绍,数字化核安全级控制保护系统B系列MPU板卡维护模式软件主要实现主控制站运算处理功能，功能分解如图所示。,SCU板卡软件 功能介绍,数字化核安全级控制保护系统SCU板卡正常运行软件实现主处理单元板卡和I/O板卡之间的数据传输功能，功能分解如图所示。,被测系统基本情况介绍,动态测试手段,软件的动态测试是在数字化核安全级控制保护系统软件仿真平台测试环境中进行，动态测试分为两部分：系统级黑盒测试 系统级白盒测试系统级黑盒测试覆盖测试类型主要包括：功能测试、性能测试、接口测试、安全性测试、余量测试、强度测试、边界测试等。系统级白盒测试是使用Cuttle-ITE对被测软件的源程序进行白盒测试，逐个函数进行覆盖率 统计，对未执行到的语句、分支逐一进行分析说明。,关键技术解决方案,动态测试需要在仿真平台测试环境中进行，测试过程中遇到的难点问题主要包括以下几个方面：1、I/O板卡为实际硬件板卡，如何模拟I/O板卡异常及发 送错误配置信息；2、系统级白盒测试需要测试工具辅助统计代码运行覆盖率，测试工具通过网口接收网络数据，如何实现测试平台正确搭建；3、系统级白盒测试通过Cuttle ITE工具实现代码打桩，如何保证打桩方式不会对程序运行的性能产生影响。,关键技术解决方案,针对动态测试过程中遇到的困难和问题，测试组与承研单位反复沟通协商，最终一一解决了动态测试问题，并获得研制单位的认可。解决方案如下：1、测试方通过自研的模拟I/O板卡应用软件，实现了模拟I/O板卡异常及模拟发送异常配置信息，覆盖了系统级黑盒测试中所有判断I/O反馈信息的正常及异常测试用例，覆盖了系统级白盒测试中与I/O板卡交互部分的覆盖率统计。2、由于测试环境为实验室仿真平台测试环境，软硬件结合紧密，调试过程中一个环节异常将导致测试工具无法从网口获取正确的数据信息，经过反复的调试，终于获取正确的数据信息。3、由于程序运行一个周期的时间为6ms，要保证测试插桩不影响程序的正常运行，必须保证插桩后的一个流程数据处理时间小于6ms，并保有20%的余量，测试组通过示波器对插桩前及插桩后的数据时间进行探测，发现插桩后的数据处理时间远小于6ms，并经过长时间运行，系统运行正常。,广利核典型案例分析,动态测试过程中发现的重要错误类型：功能项未实现；数组越界；变量使用之前未初始化；程序设计错误；逻辑判断条件冲突；不可达分支和语句；异常保护错误；传入参数未进行保护。,典型问题描述数组下标越界 if(1U!=a_32_ccois_slot_numu32_ccois_io_slot_num)a_32_ccois_slot_numu32_ccois_io_slot_num=1U;；数组a_32_ccois_slot_num定义为：a_32_ccois_slot_numIO_MAX_NUM+2U=0U,0U,0U,0U,0U,0U,0U,0U,0U,0U,0U,0U,0U,0U;其中IO_MAX_NUM值为12，而由于数组下标使用过程中判断错误，导致下标存在14的可能，存在数组越界的隐患。,数字化核安全级控制保护系统软件,下标越界，导致I/O板卡槽号判断错误，将越界的数组强制赋值为1，影响反馈信息的正确性,典型问题描述程序逻辑错误 if(SUCCESS=b_ih_ret)b_ih_ret=clear_dpram();/*clear dpram*/if(FAILURE=b_ih_ret)b_ih_flag=SUCCESS;if(SUCCESS=b_ih_ret)b_ih_ret=clear_ram();/*clear ram*/if(FAILURE=b_ih_ret)set_status_error_code(ERROR_INIT_CHECK_MEM);if(SUCCESS=b_ih_flag)/*note error code*/,数字化核安全级控制保护系统软件,当满足b_ih_flag等于SUCCESS，必有b_ih_ret为FAILURE，即双口RAM初始化失败，而只有b_ih_flag为SUCCESS且b_ih_ret为SUCCESS时，提示“ERROR_INIT_CHECK_DPRAM”，程序存在逻辑错误。设计师用多个变量做双口RAM失败时的判断条件，而两个条件逻辑有冲突,典型问题描述程序设计错误 if(0 x1U=u32_cs_board_eth_use)/*set return flag to failure*/此段程序有两个重要问题：1、此程序为判断网口是否正常可用，网口一与网口二为独立关系，而程序设计中将网口二的判断作为网口一的判断分支。2、程序中当网口一初始化失败并且网口二初始化失败的情况下，才设置变量b_cs_ret为失败，设计不当。应为网口一初始化失败或网口二初始化失败时，设置b_cs_ret为失败，即一旦一个网口有误就应报错。,数字化核安全级控制保护系统软件,1.高速铁路LKD2-T2型列控中心（TCC）主机单元系统软件；2.临时限速服务器软件（TSRS）,国家电网智能电网调度技术支持系统,铁路,电力,家电,全自动洗衣机控制系统软件,航天软件评测中心典型测试项目,列控中心主机单元,实现站内和区间轨道电路的载频、低频信息编码功能,实现应答器报文的实时组帧、编码、校验和向LEU发送的功能,实现TCC站间安全信息的实时传输,实现区间信号机的点灯控制,实现进出站信号机的驱动采集,实现异物侵限防护,实现区间运行方向与闭塞的控制,实现自诊断与维护功能,系统功能,临时限速服务器软件功能,控制列车按限速要求运行,负责控制应答器传送相应的限速信息给C2列车；负责通过GSM-R传送相应的限速信息给C3列车,负责校验临时限速命令，并分发给相关TCCRBC执行（边界处限速还要传递给相邻TSRS下发）,提供临时限速计划调度命令输入及执行操作和限速状态显示的人机界面,CTC,TSRS,TCC/RBC,车载设备,高速铁路TCC和TSRS软件,测试结果,家电全自动洗衣机控制系统软件,数码显示功能,按键选择功能,蜂鸣功能,记忆功能,风干功能,自动平衡调整功能,预约洗涤功能,软化剂自动投放功能,家电全自动洗衣机控制系统软件,测试结果,国家电网智能电网调度技术支持系统,总体目标,国家电网智能电网调度技术支持系统,系统结构,国家电网智能电网调度技术支持系统,系统模块图黄色部分为已测模块,测试结果,国家电网智能电网调度技术支持系统,航天软件评测中心典型案例分析,测试过程中发现的重要错误类型：数组越界；变量使用之前未初始化；数据溢出；逻辑判断条件冲突；不可达分支和语句；逻辑处理错误；异常保护错误；传入参数未进行保护。,高速铁路临时限速服务器（TSRS）软件,典型问题描述数组下标越界for(j=0;j 6);数组flkqdztij中j的最大取值为59，上述代码中subcfgi.uby_bsnum的值存在为0 xff的情况，导致数组flkqdztij在引用过程中存在数组越界的隐患。,临时限速服务器（TSRS）软件,下标越界，导致发送给外部联锁设备的列车线路状态错误，影响联锁设备对线路状态的判断,典型问题描述变量使用之前未初始化if(qdlx=0 xA800)qdzt=BIT_TC_CLEAR;局部变量qdzt在满足上述if条件时赋值，当该if条件不满足时，此时程序其它地方引用局部变量qdzt时该变量使用之前未初始化。,临时限速服务器（TSRS）软件,局部变量qdzt使用之前未初始化，为任意值，运行过程中程序有可能进入意想不到的分支,临时限速服务器（TSRS）软件,v_data16数据溢出导致接收的接口转换站设备发送的调度命令号错误，无法正确地实现临时限速命令的控制,典型问题描述不可达语句和分支n=fnMarkSpCmd(index1);if(n!=0)fnSetCmdBad(index1,index2,2,n);return 2;ind=fnGetSectionIndex(j,if(ind allMainLinej.sum)若处if条件满足，则处if判断条件必满足，程序退出，导致异常处理情况失效。,临时限速服务器（TSRS）软件,处if条件不可达，导致临时限速命令异常判断失效，无法判断是否对不存在的线路下达了限速命令,测试过程中发现的重要错误类型：数组越界；异常处理不正确；逻辑处理错误；存在死循环的可能；语句表达错误；存在不可达语句和分支；边界值使用不当；逻辑判断条件错误。,航天软件评测中心典型案例分析,全自动洗衣机控制系统软件,典型问题描述数组下标越界，导致计算网络传输数据校验和错误cTemp=cUartBuffer2+2;c0 x55Count=0 x00;for(pUartIndex=,cUartBuffer2的值存在为0 x0c的可能，此时变量cTemp的值为24，而数组cUartBuffer大小为23，引用了下标为24的数组元素，数组下标越界，导致校验和计算功能异常，无法保证传输数据的正确性,全自动洗衣机控制系统软件,典型问题描述异常处理不正确，存在安全隐患软件功能规格书中指出：连续进水40分钟进行故障报警，切断继电器；连续排水8分钟进行故障报警，切断继电器；程序实现为：当出现上述故障状态时只进行报警未切断继电器，存在安全隐患。,全自动洗衣机控制系统软件,继电器未及时切断有可能在洗衣过程中漏电，存在安全隐患,典型问题描述逻辑处理错误，时间计算出现负值全局变量cProcessingControl：正在处理的子流程控制；全局变量cProcessControl：正在处理的主流程控制；运行过程中按下暂停键重新选择程序，程序的处理逻辑为只对cProcessingControl进行清零，未对cProcessControl进行清零，程序重新选择运行时，cProcessControl保留的是上次程序运行时的值（即暂停点的运行状态）。,全自动洗衣机控制系统软件,将有可能引起洗衣流程紊乱、时间计算出现负值异常等情况。,典型问题描述存在死循环for(T0Count=0 x0000;T0Count3908;)if(IsT0)T0Sig=0 x00;T0Count+;T0Sig=0 x00;if(IsOut)OutSig=0 x00;OutCount+;OutSig=0 x00;ClearDog();,全自动洗衣机控制系统软件,如果T0中断总没有，则陷入死循环，程序停止运行，应使用最大检测次数限制,84,航天软件评测中心典型案例分析,测试过程中发现的重要错误类型：数组越界；变量使用之前未初始化；程序调用空指针；不可达分支和语句；内存泄露；野指针问题。,国家电网智能分析与辅助决策系统,智能分析与辅助决策系统,典型问题描述数组越界int fchbs31;int bchbs31;for(_i=0;_i41;_i+)fchbs_i=0;bchbs_i=0;数组fchbs和数组bchbs的大小为31，for循环中变量_i的取值范围为040，造成数组fchbs和数组bchbs越界。,初始化数组fchbs 和bchbs 时，由于数组越界错误，可能改写了其他堆栈空间，导致系统运行时存在系统出错的安全隐患。,典型问题描述数组越界 strcpy(pwr_basvio.name,formula_se.descr);结构体数组descr定义大小为255,数组name定义大小为64,函数strcpy的功能是将数组descr的内容复制到数组name中,造成数组name越界错误。,智能分析与辅助决策系统,在对结构体数组name执行strcpy操作时，由于内存空间不够，造成数据复制错误，导致系统运行存在决策数据出错的安全隐患，且此类错误发生后原因很难排查。,典型问题描述程序可能调用为空的指针 myptr=localtime(函数strftime调用指针myptr，指针myptr为函数localtime的返回值，有可能为空，程序存在调用空指针的可能性。,智能分析与辅助决策系统,空指针myptr 指向一段不确定的内存空间，在系统运行过程中可能会导致系统崩溃。,典型问题描述内存泄漏double*c=new double*n_period_minute+1;return SAOSA_FAIL;指针c为动态分配内存，在使用之后未释放，造成内存泄漏问题。,智能分析与辅助决策系统,系统持续运行，内存空间一直没有释放，造成系统内存空间不断减小，最终会导致系统运行崩溃。,典型问题描述代码不可达 if(_cur_blist!=NULL)_cur_blist-afterele=_cur_blist-afterele 结构体指针_cur_blist定义初始化为NULL,之后其值未被改变,故if判断条件_cur_blist!=NULL永远为假,导致if分支代码不可达。,智能分析与辅助决策系统,在进入异常处理if分支语句前，结构体指针_cur_blist一直为NULL，if分支不可达，导致决策系统异常处理模块无法正常实现。当后面结构体指针内容被改变，系统出现异常情况时，无法进行异常处理，造成系统运行出错。,谢谢,