中国移动小型机服务器性能测试规范V1.doc

中国移动小型机服务器性能测试规范中国移动通信企业标准版本号：1.0.0中国移动通信集团公司 发布Performance Testing Specification for Unix ServerUQB-I-006-20092009-3-27实施2009-3-27发布目 录 前 言II1.范围12.规范性引用文件13.术语、定义和缩略语14.测试环境14.1.被测设备14.2.配合设备14.3.设备逻辑连接图15.测试相关参数配置25.1.操作系统版本及软件25.2.数据库版本25.3.中间件版本35.4.文件系统大小35.5.用户和组35.6.Oracle数据库相关参数45.7.数据库裸设备划分说明55.8.数据库表空间划分65.9.数据库用户及权限65.10.存储设备配置说明75.11.业务表空间情况76.测试工具和测试方法86.1.测试工具86.2.测试方法87.测试配置127.1.码号配置127.2.测试网络连接图148.测试用例148.1.小型机服务器性能测试用例149.编制历史15前言本标准对小型机服务器性能需要测试的内容提出了要求，明确了相应的测试环境、测试配置和测试过程等内容，是进行测试时所需要遵从的纲领性技术文件。本标准规定了小型机服务器设备性能测试中所用到的测试环境和测试方法，是取自现网应用环境的模型。主要包括以下几方面内容：测试环境搭建，测试工具和测试方法描述，测试配置，测试用例。本标准由中移技200983号印发。本标准由中国移动通信有限公司研究院提出，集团公司技术部归口。本标准起草单位：中国移动通信有限公司研究院本标准主要起草人：唐本亭、高峰、史彤、贠文辉、鲁江华、吴楠1. 范围 本测试规范对中国移动的小型机服务器设备提出性能测试要求，原则上在中国移动通信有限公司内部使用，用于在招标选型和工程建设上为有限公司和省公司提供技术依据。本标准规定了小型机服务器设备性能测试中所用到的测试环境和测试方法，2. 规范性引用文件下列标准所包含的条文，通过在本标准中引用而成为本标准的条文。本标准出版时，所示版本均为有效。所有标准都会被修订，使用本标准的各方应探讨使用下列标准最新版本的可能性。3. 术语、定义和缩略语下列术语、定义和缩略语适用于本标准：词语解释TPC Transaction Processing Corp 事物处理性能委员会TPS Transaction Per Second 每秒事务处理数BOSSBusiness Operation Support System 业务支撑系统OLTPOnline Transaction Processing 在线交易进程4. 测试环境 4.1. 被测设备 原厂商按中国移动要求提供统一配置要求的硬件被测设备。在此基础上，要求服务器的HBA卡通道数不能小于4，千兆IP接口不得少于4个（低端设备不得少于2个）。参测服务器的配置，每个厂家的高端服务器CPU与Memory的比例为1:4，其他服务器CPU与Memory的比例为1:2。4.2. 配合设备 配合设备包括：l 用于测试产生压力的压力机（刀片服务器、pc服务器等）l 用于测试环境搭建的中间件服务器（高性能的小型机）l 用于测试环境搭建的存储磁盘阵列l 光纤交换机；4.3. 设备逻辑连接图 5. 测试相关参数配置5.1. 操作系统版本及软件厂家操作系统版本C+JAVA 版本IBM5.3.0.5-CSP6.01.4.2HP11i v2ANSI C+1.4.2SolarisSolaris 10Sun WorkShop 6 update 2 C+ 5.3FujitsuSolaris 10Sun WorkShop 6 update 2 C+ 5.35.2. 数据库版本数据库版本 版本ORACLE 单实例数据库，版本9.2.0.75.3. 中间件版本名称操作系统版本LicenseTUXEDOTuxedo8.1  patch level 2432000WEBLOGICweblogic8.1 sp5有效期到2008年5月5.4. 文件系统大小目录名称大小/stand196 M/1 G/tmp2 G/opt2 G/usr4 G/var4 G/home5 G/oracle8 G/data80G -此目录用来存放备份数据等，此目录建立在盘阵上，各个主机都可以识别到交换分区主机内存配置在32G以内的，交换分区设置和内存大小一致。主机内存配置在32G以上的，交换分区设置为32G。各硬件厂家可以调整各自的主机参数，以便达到性能最优，但是各厂家需提交相关文档。安装Solaris的操作系统文件大小的设置参考如上。5.5. 用户和组说明： 每个机器都设置如下组和用户名称。组信息表主机名组名gid用户列表*dba300dfd oracle aigrp400aiyz、cbossbea500tuxedo、weblogic用户信息表主机名用户名称home目录组uid*oracle/home/oracledba300aiyz/home/aiyzaigrp401cboss/home/cbossaigrp402tuxedo/home/tuxedobea501weblogic/home/weblogicbea5025.6. Oracle数据库相关参数测试数据库配置参数ORACLE_BASE/oracle/app/oracleORACLE_HOME (Unix)/oracle/app/oracle/product/9.2ORACLE_SIDcsdbTNS_ADMIN$ORACLE_HOME/network/adminOracle管理帐户的口令 sys Systemsys/change_on_installSystem/manager初始化参数： pga_aggregate_target db_cache_sizedb_keep_cache_size shared_pool_size large_pool_size java_pool_sizedb_writer_processesundo_tablespacetemp_tablespace>=2G>=4G>=3G2-4G>=256M>=256M>=2undotbs 24GTemp 24G说明： 主机内存在32G以下，db_cache_size预设为8G主机内存在96G以下，db_cache_size预设为24G主机内存大于96G的，db_cache_size预设为40G主机内存在32G以下，pga_aggregate_target预设为4G主机内存在96G以下，pga_aggregate_target预设为8G主机内存大于96G的，pga_aggregate_target预设为12G以上指定的参数可根据不同的服务器型号进行调整，以达到性能的最优，但是在调整之前必须提出申请。如果有其它和操作系统紧密相关的参数，必须在预测试之前提出进行确认。数据库参数： db_block_size character set national character set maxinstances MaxdatafilesProcessescursor_sharingoptimizer_modeundo_management undo_retentionworkarea_size_policyopen_cursors说明： 以下参数不可调整。8KZHS16GBKAL16UTF163240964000SIMILARCHOOSEAUTO10800AUTO512数据库存放位置裸设备是否使用归档方式运行数据库Yes5.7. 数据库裸设备划分说明VGLV/RAWSIZE(GB)Group BySize(GB)UsageTypeDescriptionVgcs1lv_system2GSystemSystem Tablespace系统表空间第一块盘lv_ctl_01512mctlfile1Control filelv_temp14Gtemptemplv_temp24Gtemptemplv_temp34Gtemptemplv_temp44Gtemptemplv_temp54Gtemptemplv_temp64Gtemptemplv_4g_0014G数据文件lv_4g_0024G数据文件4G数据文件lv_4g_00n4G数据文件lv_ctl_02512mctlfile1Control file第二块盘lv_512m_1512mRedo_1Online Loglv_512m_2512mRedo_2Online Loglv_512m_3512mRedo_3Online Loglv_512m_4512mRedo_4Online Loglv_512m_5512mRedo_5Online Loglv_512m_6512mRedo_6Online Loglv_4g_undo14Gundoundolv_4g_undo24Gundoundolv_4g_undo34Gundoundolv_4g_undo44Gundoundolv_4g_undo54Gundoundolv_4g_undo64Gundoundolv_4g_00n+14G数据文件4G数据文件lv_4g_00n+j4G数据文件lv_4g_00n+j+1第三快盘Vgcs15.8. 数据库表空间划分营业帐务数据库系统相关表空间的划分情况如下表所示：NO.TBS NameTBS TypeSize(GB)RAWSInit SizeDescription1.SystemPermanent2 G1*2GB系统表空间2.TempTemp24G3*4GB临时表空间3.UndotbsUndo24G3*4GB回滚表空间4.数据表空间请看附录测试数据库服务器识别的所有存储都划分为4G大小的LV.5.9. 数据库用户及权限UserDefault TablespaceTemporary TablespaceRolePrivilegesDescriptionZK TS_WORK_USER_DEFTEMPresourceconnect ZG OP TJ KT ZY ZC XG QD CBOSSJF CP KF WF CX ISMG JS RPT AI CVT 5.10. 存储设备配置说明存储采用raid01的方式，LUN统一划分为72G.5.11. 业务表空间情况1表空间名称大小G2TBS_DB_512K_01223TS_ACCT_8M_01944TS_ACCT_8M_02945TS_ACCT_IDX_1M_01406TS_ACCT_IDX_1M_02407TS_CBOSS_1M_0128TS_CBOSS_IDX_1M_0129TS_CBOSS_LONG_16M_01210TS_CUST_8M_014011TS_CUST_8M_024012TS_CUST_8M_034213TS_CUST_8M_043814TS_CUST_8M_054415TS_CUST_8M_064216TS_CUST_8M_074617TS_CUST_8M_084618TS_CUST_IDX_1M_01246. 测试工具和测试方法 6.1. 测试工具 根据性能测试内容，测试工具选用：1、HP Mercury LoadRunner性能测试工具；2、Quest的数据库监控工具6.2. 测试方法 一、测试内容定义：Boss应用性能测试此次性能测试将选取统一的性能评价标准，在相同业务、相同环境、相同性能压力模型下进行性能综合评测。本次小型机服务器的性能测试将选取中国移动的BOSS应用作为本次测试软件系统，根据交易量规模、交易处理类型从中抽取若干个关键交易模型，并依此对BOSS系统时行合理裁剪，构建一下简化版的BOSS系统，作为此次用小型机性能评估标准。1、 BOSS系统选取此次测试目标是对小型机性能进行测试，采用BOSS系统作为性能评判的标准和依据。因此，BOSS系统选取应综合考虑BOSS系统部署难度、硬件要求、数据规模、数据库类型、裁剪难度等因素，建议依据以下要素选取BOSS系统：1) 采用B/ S架构的BOSS(1.5或2.0)系统；2) 移动用户规模在1300万用户；3) 采用ORACLE数据库；4) 具有不同操作系统下的可执行代码（或可由BOSS开发商在现场用同一源代码在不同操作系统下重新编译生成可执行代码）；5) 模块耦合度低，能方便进行应用级裁剪（保留营业前台模块中的关键交易）；6) 开发商能提供现场支持；7) BOSS应用应能够允许用户进行多次缴费操作，即用户可进行多次话费预存动作；8) 测试环境中的BOSS系统应具有计费系统模拟功能，能够向数据库服务器批量发送模拟生成的用户话单；2、 BOSS系统业务选取业务选取原则如下：a) 业务交易量较大，对BOSS性能产生较大影响；b) 充分考虑不同业务处理方式的性能影响，如对数据库增、删、改、查操作；基于以上原则，建议抽取如下业务，作为此次参测对象：1） 前台缴费；2） 详单查询；3） 用户资料修改；4） 开户5） 测试日报 二、测试组网三、测试压力模型BOSS业务模型： 参考现网模型：比例设置如下，请参考。（用户数定1300万）业务名称响应时间要求（s）业务比例并发用户数开户65%25服务变更615%75营业缴费350%250详单查询3030%150合计100%500四、测试方法描述性能测试方法是在系统真实运行环境，基于重点事件优先的原则，设计业务执行效率测试用例，采用测试脚本回放的方法，仿真实现事务的处理过程，通过在单台或多台测试用机上执行多线程或多进程实现多用户并发测试，或者基于批处理模式，加载一定规模的数据量，进行系统资源监控测试。1. 测试方法主要通过自动化的测试工具录制或编写具有一定代表意义的典型操作，并进行测试脚本编译即可形成确定的测试案例，然后通过压力测试工具，模拟多用户同时循环进行这些业务操作，测试服务器事务处理执行效率和资源使用等相关参数，考察系统在各种情况下的性能表现。性能测试过程中需考虑以下内容：l 测试脚本：选择影响系统执行效率的功能模块，录制典型的业务脚本作为执行效率测试的基础案例。测试脚本的制定方法，可以利用测试工具的“录制”功能录制相应的测试脚本；也可以通过脚本编程语言进行脚本的编写。l 并发用户数量：压力测试是指系统能够承受的最大用户并发数量；l 并发方式：主要指用户并发过程中与真实情况相似程度，包括并发用户数量变化的方式、并发过程使用的真实客户端数量、对于并发峰值的模拟等。本次测试中采用逐步增大虚拟用户加大压力的方式改变并发用户数量。2. 监控指标本次测试中性能测试的监控指标包括执行效率和资源使用。l 执行效率：主要测试在特定应用的业务逻辑、用户界面、功能下系统能够承受的用户并发的数量和响应时间，监控指标包括测试服务器事务处理平均响应时间、每秒事务处理数等相关参数。l 资源使用：主要指系统CPU占用率、内存占用率、磁盘占用率等资源，体现软件在进行业务处理过程中对于硬件资源的占用情况，包括数据库服务器、应用服务器和客户端等。3. 性能测试实施策略并发测试的过程，是一个负载测试和压力测试的过程。即逐渐增加负载，直到系统的瓶颈或者不能接收的性能点，通过综合分析交易执行指标和资源监控指标来确定系统并发性能的过程。并发性能测试的测试过程如下：l 负载压力测试：模拟不同数量并发用户执行关键业务，测试系统能够承受的最大并发用户数，并获得每秒交易数、响应时间等指标；l 系统资源监控：在进行负载压力测试的同时，用测试工具对数据库服务器、应用服务器的操作系统、数据库以及中间件等资源进行监控，获得CPU、内存等指标。 此次性能测试根据测试压力模型，采用编写综合交易的性能测试脚本，在负载测试工具中设置并发用户数和用户加载方式，每次运行测试20分钟，获取每秒钟处理的业务交易数、每个操作的平均响应时间，以及系统资源指标，主要参考指标如下表所示。计量单位说明CPU开销平均值CPU%User%Sys%Wait%Idle%CPU开销最大值CPU%User%Sys%Wait%Idle%磁盘繁忙平均值Disk %Busy磁盘繁忙最大值Disk %Busy内存消耗最大值Real Use(MB)页面读取率Page reads/sCPU队列长度Processor Queue Length网络I/ O读平均值KB/ s网络I/ O写平均值KB/ s网络I/ O读最大值KB/ s网络I/ O写最大值KB/ s为了避免中间件/应用服务器成为整个环境的性能瓶颈，因此在测试中由四个服务器厂家各提供一台中间件服务器。四台服务器不需要负载均衡的机制，只需人工的将压力机分为四部分，分别对四台中间件/应用服务器进行压力加载来进行测试。测试过程中，压力加载的流程如下图所示。测试过程分为两个阶段，第一阶段中设置一个较大的步长，测试出被测设备的大致性能范围。其中，初始值可以由参测厂家的工程师指定。第二阶段中将在最后两步中寻找被测设备准确的性能，精度为10个用户。其中，判断“响应延迟满足要求？”是由以下公式决定。注：操作n满足响应时间百分比1(实际响应时间规定响应时间)/规定响应时间×100当“时延加权值”大于90%，表示压力测试成功；反之，则表示压力已经超过了被测设备的性能上限。关于“数据恢复到初始状态”，由压力机来决定是否需要恢复。压力机产生压力时将对1300万用户数据进行轮循操作，调优阶段中，如果压力机没有遍历1300万用户数据，则不需要“数据恢复到初始状态”。最终获取最大并发用户数，以及该压力下个系统资源性能；7. 测试配置 7.1. 码号配置 业务数据的参数化压力测试过程中，要求对1300万用户的数据进行轮询操作，因此脚本中涉及到向服务器提交的数据，要进行参数化。由于1300万用户的信息量过大，参数池不可能放在一个文件中，因此将其放于MS SQL server数据库的表中，以SQL查询的方式获取参数池中的数据，同时设计对应的规则，将1300万数据分割成小的数据段，供每次并发测试使用。将数据先进行排序，然后依次入库，对入库的数据进行分组，如下图，分成N组：组名1234567N数据A1A2A3A4A5A6A7ANAN+1AN+2AN+3AN+4AN+5AN+6AN+7A2NA2N+1A2N+2A2N+3A2N+4A2N+5A2N+6A2N+7A3NA3N+1A3N+2A3N+3A3N+4A3N+5A3N+6A3N+7A4NA4N+1A4N+2A4N+3A4N+4A4N+5A4N+6A4N+7A5NA5N+1A5N+2A5N+3A5N+4A5N+5A5N+6A5N+7A6NA6N+1A6N+2A6N+3A6N+4A6N+5A6N+6A6N+7A7NA7N+1A7N+2A7N+3A7N+4A7N+5A7N+6A7N+7A8NA9N+1A9N+2A9N+3A9N+4A9N+5A9N+6A9N+7A9N注：AN表示排序后的连续数据同时，为了尽可能的模拟现实中访问的随机性，在每组的参数选取过程中，直接使用Loadrunner工具中的随机选择功能，从而确保压力测试过程中不会顺序的读取数据库中的数据信息。服务器的参数化本次测试主要考核小型机数据库的性能，因此需要尽量避免中间件服务器成为系统测试的瓶颈，所以，在测试过程中，考虑对Weblogic中间件服务器采用横向或者纵向扩展，比如在单个服务器上启动多个Weblogic服务器实例或者在多台机器上运行Weblogic服务器。因此，需要对录制的脚本中的URL地址中的服务器地址进行参数化。实现方式是将录制的脚本中的URL地址中包含的服务器IP地址信息以及端口直接定义成Loadrunner中的一个参数，将所有的实际使用的服务器IP地址以及端口添加到参数池中，按照轮换循环的方式，将参数赋给每个虚拟用户，从而保证将压力分配给每个服务器，同时，可以在实际测试中灵活的调整服务器的数量以及地址信息。7.2. 测试网络连接图 8. 测试用例 8.1. 小型机服务器性能测试用例 测试编号：boss-001项 目：综合业务交易测试分 项 目：综合业务性能并发测试测试目的：测试综合业务的并发性能，验证小型机的并发服务能力预置条件：1. 开户、营业缴费、详单查询和资费变更等功能实现正确2. 数据库已加载所规定的数据量测试步骤：1. 根据各业务流程，录制调试脚本，其中每个业务单独作为一个action，并参数化脚本2. 在压力测试场景中，加载脚本，对脚本中的每个action设置业务比例，设置初始的虚拟并发用户数3. 按照测试终止条件的判定流程逐步加压，加压的初始值和步长都可以协商设定，直至达到响应延迟不能满足要求的性能点。4. 记录最终的分析交易执行指标和资源监控指标预期结果：1. 工具模拟的客户端并发请求均被发送到应用服务器，服务器响应客户端请求2. 执行情况被测试工具正确记录3. 数据库处理结果与测试工具记录结果相符测试数据： 交易记录交易响应时间（平均值）每秒交易数（平均值）总交易数成功率(%)缴费-进入缴费-提交开户-进入开户-提交查询-进入查询-提交资费变更-进入资费变更-提交缴费开户查询资费变更系统资源使用（平均值）系统资源使用（最大值）磁盘和网络使用值CPU占用率(%)内存占用(MB)CPU占用率(%)占用内存(MB)磁盘繁忙(%)系统用户等待系统用户平均最大测试说明：1. 每次加压的持续时间在20分钟左右2. 每一轮压力测试完成后，检查数据库数据，验证测试结果的正确性9. 编制历史 版本号更新时间主要内容或重大修改1.02008-04-021.0.0版本；编号：QB-I-006-2009规定了小型机测试规范的主要内容及测试要求，并明确要求了测试环境要求及测试方法等。并根据评审意见针对测试内容部分做细节性修改。