压力测试报告案例（存储转发机制优化系统）47P.doc

一级XXXX枢纽存储转发机制优化系统压力测试报告Document InformationProject Name:Document Version No:1.0Document Version Date:2005-08-16Prepared By:Preparation Date:2005-08-16Reviewed By:Review Date:Distribution ListFrom DateCompany / RoleEmail / Phone To Action*Due DateCompany / RoleEmail / Phone * Action Types: Approve, Review, Inform, File, Action Required, Attend Meeting, Other (please specify)Version HistoryVer. No.Ver. DateRevised ByDescriptionFilename1.02005-09-07初稿版 权 说 明目录1概述81.1测试目的81.2测试方法81.3压力测试场景81.4测试系统环境配置81.5参考资料92压力测试场景一102.1场景一特征102.2测试数据102.2.1线程信息表102.2.2线程与落地方关系表102.2.3saf数据关系112.3测试步骤112.4测试结果122.4.1测试日志和脚本122.4.2基本测试结果132.4.3支撑数据和测试结果表132.4.4性能曲线图142.4.5压力测试小结153压力测试场景二153.1场景二特征153.2测试数据163.2.1线程信息表163.2.2线程与落地方关系表163.2.3saf数据关系173.3测试步骤183.4测试结果183.4.1测试日志和脚本183.4.2基本测试结果183.4.3支撑数据和测试结果表193.4.4性能曲线图203.4.5压力测试小结224压力测试场景三224.1场景三特征224.2测试数据234.2.1线程信息表234.2.2线程与落地方关系表234.2.3saf数据关系234.3测试步骤234.4测试结果244.4.1测试日志和脚本244.4.2基本测试结果244.4.3支撑数据和测试结果表244.4.4性能曲线图254.4.5压力测试小结275压力测试场景四275.1场景四特征275.2测试数据285.2.1线程信息表285.2.2线程与落地方关系表285.2.3saf数据关系285.3测试步骤285.4测试结果295.4.1测试日志和脚本295.4.2基本测试结果295.4.3支撑数据和测试结果表295.4.4性能曲线图305.4.5压力测试小结326压力测试场景五326.1场景五特征326.2测试数据336.2.1线程信息表336.2.2线程与落地方关系表336.2.3saf数据关系346.3测试步骤346.4测试结果356.4.1测试日志和脚本356.4.2基本测试结果356.4.3支撑数据和测试结果表356.4.4性能曲线图366.4.5压力测试小结387压力测试场景六387.1场景六特征387.2测试数据397.2.1线程信息表397.2.2线程与落地方关系表397.2.3saf数据关系407.3测试步骤407.4测试结果417.4.1测试日志和脚本417.4.2基本测试结果417.4.3支撑数据和测试结果表417.4.4性能曲线图427.4.5压力测试小结448调整表空间-压力测试场景七448.1场景七特征448.2测试数据458.2.1线程信息表458.2.2线程与落地方关系表458.2.3saf数据关系458.3测试步骤458.4测试结果458.4.1测试日志和脚本458.4.2基本测试结果468.4.3支撑数据和测试结果表468.4.4性能曲线图478.4.5压力测试小结499性能分析499.1总体负载能力4910附录491 概述1.1 测试目的本次压力测试主要针对存储转发机制优化系统性能进行压力测试。 1.2 测试方法l 测试工具及脚本：应用ORM工具（Hibernate）作为辅助工具，对应用系统的主要参数（例如线程数、线程与落地方的对应关系、每次捞saf记录数、落地方的可承受接收记录数）等等进行管理，及对运行log进行正确行分析，计算压力测试结果，计算性能图绘制数据等等。另外，监控服务器的CpuIdle、Memory、DiskIO等重要数据则由perfmon.Sh脚本完成。l 测试方法：通过工具webMethods Developer启动/关闭saf线程,直到应用系统满足压力测试要求的循环次数为止。1.3 压力测试场景压力测试场景主要分为两种方式：² 单场景：50万saf数据中，在未处理数据不同比例中，应用系统的吞吐能力。50万saf数据中，不同的线程数量，应用系统的吞吐能力。² 混合场景：50万saf数据中，在未处理数据不同比例与不同的线程数量中，应用系统的吞吐能力。1.4 测试系统环境配置服务器环境如下：服务器操作系统：HP-UX 11.11服务器IP：10.1.132.5JDK版本：JDK 1.4.1 1.4.1.03-030630-22:07-PA_RISC2.0 PA2.0测试环境是:中心: 服 务 器: 10.1.132.5 用 户: cmcbadm 系统目录: csc:/home/cmcbadm及/opt/webMethods webMethods端口: 5555 数 据 库: 10.1.132.5 配 置: jdbc:oracle:thin:10.1.132.5:1521:dbtest2 & user=cmcbadm CSN1: 服 务 器: 10.1.132.5 用 户: wm_sn1 系统目录: csn1:/home/wm_sn1及/opt/webMethods webMethods端口: 6666 数 据 库: 10.1.132.5 配 置: jdbc:oracle:thin:10.1.132.5:1521:dbtest2 & user=csn1CSN2: 服 务 器: 10.1.132.5 用 户: wm_sn2 系统目录: csn2:/home/wm_sn2及/opt/webMethods webMethods端口: 8888 数 据 库: 10.1.132.5 配 置: jdbc:oracle:thin:10.1.132.5:dbtest2 & user=csn21.5 参考资料存储转发机制优化概要设计_v1.3.doc一级BOSS抗容功能规格说明书存储转发机制优化系统测试方案及案例.doc2 压力测试场景一2.1 场景一特征saf数据有1000条，很少，线程有3个，每个线程只对应与一个落地方。本场景的测试意义更多是验证功能的正确性，例如验证saf存储转发是否满足三个原则？线程名与落地方的对应关系是否正确？线程每次循环取saf记录数是否正确？线程循环间隔时间是否正确？线程睡眠时间是否自适应？等等（详见2.4.2节的基本测试结果），为其它真正的压力测试场景测试做好基础工作。本场景是在启动sc、sn1、sn2应用后进行测试。2.2 测试数据2.2.1 线程信息表线程标识间隔时间(ms)每次捞数线程15000100线程25000100线程35000100注释:共3个线程,循环间隔时间5000ms,每次捞saf数据记录100条2.2.2 线程与落地方关系表线程标识落地方机构码落地方当前接收能力（条/次）落地方最大接收能力（条/次）线程121013030线程222016060线程325019090注释:1.共3个机构,占总机构(31个)的10%,其中机构码8888是特殊机构,是中心应用日月结数据2.每个线程大约管理1个机构的saf数据发送3.落地方的接收能力是一个随机数,在30条/次,60条/次,90条/次三种能力的其中之一2.2.3 saf数据关系节点数Saf总记录未处理数已处理数间隔时间中心捞数/次线程数每线程处理的省每省承受10%的省(3省)1000100005s1001130/60/90注释:1.saf总记录数1000,未处理的02.1000未处理的数据平均散落到3个省中,平均大约300条/省3.每条saf记录的发送优先级别在4,5,6三个优先级别的其中之一2.3 测试步骤1 开始2 关闭saf线程update SAF_DISPATCHERS set STATUS=1;3 删除测试日志:rm /tmp/testlog.log*4 启动Cpu、Mem、Disk监控程序/tmp/perfmon.sh5 启动saf线程update SAF_DISPATCHERS set STATUS=0;通过工具webMethods Developer启动saf线程6 观察测试日志ls l /tmp/testlog.log*,共有8页：9该数据根据定义的线程数而定个文件（每个线程单独有一个文件）ls l /tmp/*.stat,共有4个文件，分别是：cmcbtst2_cpu.stat（Cpu活动记录，每隔5s记录一次）cmcbtst2_mem.stat（Memory活动记录，每隔5s记录一次）cmcbtst2_disk.stat（Disk活动记录，每隔5s记录一次）cmcbtst2_is.stat（java进程活动记录，每隔5s记录一次）7 循环观察ls l /tmp/testlog.log*,直到循环处理saf数据810次为止8 关闭saf线程update SAF_DISPATCHERS set STATUS=1;通过工具webMethods Developer观察，直到8个线程均退出为止9 关闭Cpu、Mem、Disk监控程序【Ctrl】 【c】10 ftp测试日志把测试日志ftp到本地PC测试日志有：/tmp/testlog.log*,共有8页：10该数据根据定义的线程数而定个文件（每个线程单独有一个文件）/tmp/cmcbtst2_cpu.stat（Cpu活动记录，每隔5s记录一次）/tmp/cmcbtst2_mem.stat（Memory活动记录，每隔5s记录一次）/tmp/cmcbtst2_disk.stat（Disk活动记录，每隔5s记录一次）/tmp/cmcbtst2_is.stat（java进程活动记录，每隔5s记录一次）11 运行本地的测试日志拆分、分析程序程序：HibernateTest1.java作用：根据多线程存储转发运行日志testlog.logxxx（xxx是线程名）进行拆分解析,并得到运行过程中的重要数据12 结束注释：本压力测试主要测试从几十万级的saf数据中捞出需要发送数据记录的能力，因此为突出重点，简化了系统环境，即把程序中发送语句临时注释掉（不发送）。2.4 测试结果2.4.1 测试日志和脚本1).（参见压力测试场景一测试日志.rar）2).（参见压力测试日志解释程序）HibernateTest1.java2.4.2 基本测试结果主要检查项主要检查点结果三个原则优先级高的先发OK同级时间优先OK按照落地方承受能力发送OK线程名与落地方的对应关系线程名与落地方的完全对应OK线程每次循环取saf记录数记录数正确OK线程循环间隔时间间隔时间正确OK线程睡眠时间若T2-T1>=T,则告警（须调整间隔时长），继续执行1。否则Sleep（T- (T2-T1)）OK落地方与线程同一个落地方与线程唯一对应错误:可以不唯一对应2.4.3 支撑数据和测试结果表线程每次捞saf数量落地方落地方接收能力压力测试项压力测试结果线程1100210130捞次数/睡次数49/49最少/最大/平均捞数据耗时ms141/879/264最少/最大/平均睡眠时间ms4121/4859/4735线程2100220160捞次数/睡次数43/43最少/最大/平均捞数据耗时ms126/696/210最少/最大/平均睡眠时间ms4304/4874/4789线程3100250190捞次数/睡次数49/49最少/最大/平均捞数据耗时ms132/870/247最少/最大/平均睡眠时间ms4130/4868/47523个线程共捞且发送saf记录共22740条3个线程共捞且发送saf记录平均耗时(264+210+247)/3=240.33毫秒3个线程共捞且发送saf记录循环平均次数(49+43+49)/3= 47次3线程共同捞且发送saf数据平均速度: 22740/240.33*1000/47= 2013.19 (条/秒)2.4.4 性能曲线图2.4.4.1 图表说明：捞saf数据且发送数据所耗时间(毫秒)图X轴为线程循环次数，Y轴为捞saf数据且发送数据所耗时间(毫秒)整个运行期间,所有线程中耗时最小126毫秒,最大879毫秒,平均值: 240.33毫秒2.4.4.2 图表说明：Memory free检测图X轴为每间隔5秒循环检测Memory free次数，Y轴为Memory free值（M）Memory free值来源于服务器的TOP命令中Memory free值物理内存: 2097152 KbytesMemory free值（M）(起点92.83M):整个运行期间,最小值: 74.72M,最大值92.83M,平均值:84.38M(平均耗内存92.83-84.38= 8.45M)2.4.4.3 图表说明：userCpu、sysCpu idleCpu的平均值检测图X轴为每间隔5秒循环检测Cpu次数，Y轴为userCpu、sysCpu idleCpu的平均值(%)userCpu、sysCpu idleCpu值来源于服务器的TOP命令中userCpu、sysCpu idleCpu的Avg值userCpu值(%):整个运行期间,最小值:31.9%,最大值38.9%,平均值:35.4%sysCpu值(%):整个运行期间,最小值:18%,最大值23.4%,平均值:21.02%idleCpu值(%):整个运行期间,最小值:0.2%,最大值46.6%,平均值:33.14%2.4.5 压力测试小结下列测试指标证明系统处于轻载状态l 3线程共同捞且发送saf数据平均速度: 2013.19 (条/秒)l 捞saf数据且发送数据(平均每线程每次大约160条记录)所耗时间, 所有线程中耗时最小126毫秒,最大879毫秒,平均值:240毫秒l Memory free值（M）,整个运行期间, 最小值74.72M,最大值92.83M,平均值:84.38M(平均耗内存92.83-84.38= 8.45M)l idleCpu值(%),整个运行期间, 最小值:0.2%,最大值46.6%,平均值:33.14%3 压力测试场景二3.1 场景二特征saf数据记录有50万条，未处理的数据记录有20万条，共有8个线程，落地方机构有25个，平均每个线程处理大约3个机构。该场景验证数据库访问的吞吐能力、系统线程的协调能力，同时也可验证在高强度压力下功能的正确性。本场景是在启动sc、关闭sn1、sn2应用后进行测试。3.2 测试数据3.2.1 线程信息表线程标识间隔时间(ms)每次捞数线程15000100线程25000100线程35000100线程45000100线程55000100线程65000100线程75000100线程85000100注释:共8个线程,循环间隔时间5000ms,每次捞saf数据记录100条3.2.2 线程与落地方关系表线程标识落地方机构码落地方当前接收能力（条/次）落地方最大接收能力（条/次）线程120013030线程159116060线程189819090线程227013030线程277116060线程297119090线程337113030线程373116060线程379119090线程423013030线程428016060线程489119090线程529013030线程585116060线程587119090线程693113030线程631116060线程635119090线程653113030线程721016060线程722019090线程747113030线程825016060线程855119090线程857113030线程88888120120注释:1.共26个机构,占总机构(31个)的84%,其中机构码8888是特殊机构,是中心应用日月结数据2.每个线程大约管理3个机构的saf数据发送3.落地方的接收能力是一个随机数,在30条/次,60条/次,90条/次三种能力的其中之一3.2.3 saf数据关系节点数Saf总记录未处理数已处理数间隔时间中心捞数/次线程数每线程处理的省每省承受84%的省(26省)50万20万30万5s100834*(30/60/90)4*(120/150/180)注释:1.saf总记录数50万,未处理的20万,占总数的40%2.20万未处理的数据平均散落到25个省中,平均8000条/省3.每条saf记录的发送优先级别是在4,5,6三个优先级别的其中之一3.3 测试步骤与压力测试场景一完全相同注释：本压力测试主要测试从几十万级的saf数据中捞出需要发送数据记录的能力，因此为突出重点，简化了系统环境，即把程序中发送语句临时注释掉（不发送）。3.4 测试结果3.4.1 测试日志和脚本1).（参见压力测试场景二测试日志.rar）2).（参见场景一压力测试日志解释程序）HibernateTest1.java3.4.2 基本测试结果主要检查项主要检查点结果三个原则优先级高的先发OK同级时间优先OK按照落地方承受能力发送OK线程名与落地方的对应关系线程名与落地方的完全对应OK线程每次循环取saf记录数记录数正确OK线程循环间隔时间间隔时间正确OK线程睡眠时间若T2-T1>=T,则告警（须调整间隔时长），继续执行1。否则Sleep（T- (T2-T1)）OK落地方与线程同一个落地方与线程唯一对应错误:可以不唯一对应3.4.3 支撑数据和测试结果表线程每次捞saf数量落地方落地方接收能力压力测试项压力测试结果线程1100200159118981306090捞次数/睡次数8/0最少/最大/平均捞数据耗时ms468288/626185/586774最少/最大/平均睡眠时间ms0/0/0线程2100270177119711306090捞次数/睡次数8/0最少/最大/平均捞数据耗时ms519297/661643/612259最少/最大/平均睡眠时间ms0/0/0线程3100371173117911306090捞次数/睡次数7/0最少/最大/平均捞数据耗时ms556247/723280/675301最少/最大/平均睡眠时间ms0/0/0线程4100230128018911306090捞次数/睡次数7/0最少/最大/平均捞数据耗时ms596618/764844/706594最少/最大/平均睡眠时间ms0/0/0线程5100290185118711306090捞次数/睡次数7/0最少/最大/平均捞数据耗时ms481347/789852页：17所有线程中最大/707512最少/最大/平均睡眠时间ms0/0/0线程6100931131113511531130609030捞次数/睡次数10/0最少/最大/平均捞数据耗时ms374084/562711/493206最少/最大/平均睡眠时间ms0/0/0线程7100210122014711609030捞次数/睡次数9/0最少/最大/平均捞数据耗时ms439257/581731/539130最少/最大/平均睡眠时间ms0/0/0线程8100250155115711609030捞次数/睡次数10/0最少/最大/平均捞数据耗时ms355052页：17所有线程中最小/498521/463642最少/最大/平均睡眠时间ms0/0/08线程共同捞且发送saf数据(条):105308线程共同捞且发送saf数据平均耗时(毫秒): 598052.258个线程共捞且发送saf记录循环平均次数:8.25次8线程共同捞且发送saf数据平均速度(条/秒): 2.13(10530/598.05225/8.25)3.4.4 性能曲线图3.4.4.1 图表说明：捞saf数据且发送数据所耗时间(秒)图X轴为线程循环次数，Y轴为捞saf数据且发送数据所耗时间(秒)整个运行期间,所有线程中耗时最小355秒,最大790秒,平均值:598页：18(586774+612259+675301+706594+707512+493206+539130+463642)/8=598052.25秒3.4.4.2 图表说明：Memory free检测图X轴为每间隔5秒循环检测Memory free次数，Y轴为Memory free值（M）Memory free值来源于服务器的TOP命令中Memory free值物理内存: 2097152 KbytesMemory free值（M）(起点388M):整个运行期间,最小值:126.82M,最大值287.73M,平均值:194.13M(平均耗内存388-194= 194M)3.4.4.3 图表说明：userCpu、sysCpu idleCpu的平均值检测图X轴为每间隔5秒循环检测Cpu次数，Y轴为userCpu、sysCpu idleCpu的平均值(%)userCpu、sysCpu idleCpu值来源于服务器的TOP命令中userCpu、sysCpu idleCpu的Avg值userCpu值(%):整个运行期间,最小值:1%,最大值23.8%,平均值:5.33%sysCpu值(%):整个运行期间,最小值:0%,最大值36.6%,平均值:5.40%idleCpu值(%):整个运行期间,最小值:0%,最大值99%,平均值:79.11%3.4.4.4 图表说明：Disk检测图X轴为每间隔5秒循环检测Disk次数，Y轴为Disk busy值（%）Disk busy值来源于服务器的sar -d 命令中Disk busy值Disk busy值（%）:整个运行期间,最小值:94.29%,最大值100%,平均值:99.8%3.4.5 压力测试小结下列测试指标证明系统处于极度饱和状态l 8线程共同捞且发送saf数据平均速度: 2.13 (条/秒)l 捞saf数据且发送数据(平均每线程每次大约160条记录)所耗时间, 所有线程中耗时最小355秒,最大790秒,平均值:598秒l Memory free值（M）,整个运行期间,最小值:126.82M,最大值287.73M,平均值:194.13M(平均耗内存388-194= 194M)l idleCpu值(%),整个运行期间,最小值:0%,最大值99%,平均值:79.11%l Disk busy值（%）,整个运行期间,最小值:94.29%,最大值100%,平均值:99.8%系统处于极度饱和状态，瓶颈在 Disk 的读写操作4 压力测试场景三4.1 场景三特征与场景二几乎相同，不同的是未处理数据降为10万条，已经处理数据升为40万条。验证未处理数据量从20万降到10万后，数据库访问的吞吐能力是否有改善，可以改善多少？本场景是在启动sc、关闭sn1、sn2应用后进行测试。4.2 测试数据4.2.1 线程信息表与压力测试场景二完全相同4.2.2 线程与落地方关系表与压力测试场景二完全相同4.2.3 saf数据关系节点数Saf总记录未处理数已处理数间隔时间中心捞数/次线程数每线程处理的省每省承受84%的省(26省)50万10万页：20压力测试场景二是20万40万页：20压力测试场景二是30万5s100834*(30/60/90)4*(120/150/180)注释:1.saf总记录数50万,未处理的10万,占总数的20%2.10万未处理的数据平均散落到25个省中,平均4000条/省3.每条saf记录的发送优先级别是在4,5,6三个优先级别的其中之一4.3 测试步骤与压力测试场景二完全相同注释：本压力测试主要测试从几十万级的saf数据中捞出需要发送数据记录的能力，因此为突出重点，简化了系统环境，即把程序中发送语句临时注释掉（不发送）。4.4 测试结果4.4.1 测试日志和脚本1).（参见压力测试场景三测试日志.rar）2).（参见场景一压力测试日志解释程序）HibernateTest1.java4.4.2 基本测试结果与压力测试场景二的【基本测试结果】完全相同4.4.3 支撑数据和测试结果表线程每次捞saf数量落地方落地方接收能力压力测试项压力测试结果线程1100200159118981306090捞次数/睡次数9/0最少/最大/平均捞数据耗时ms512082/707294/644933最少/最大/平均睡眠时间ms0/0/0线程2100270177119711306090捞次数/睡次数8/0最少/最大/平均捞数据耗时ms566412/746557/697741最少/最大/平均睡眠时间ms0/0/0线程3100371173117911306090捞次数/睡次数8/0最少/最大/平均捞数据耗时ms466549/783236/727308最少/最大/平均睡眠时间ms0/0/0线程4100230128018911306090捞次数/睡次数7/0最少/最大/平均捞数据耗时ms672171/867508/806515页：228个线程中最大的耗时最少/最大/平均睡眠时间ms0/0/0线程5100290185118711306090捞次数/睡次数7/0最少/最大/平均捞数据耗时ms701674/895853/827782最少/最大/平均睡眠时间ms0/0/0线程6100931131113511531130609030捞次数/睡次数10/0最少/最大/平均捞数据耗时ms461408页：228个线程最小的耗时/600837/566296最少/最大/平均睡眠时间ms0/0/0线程7100210122014711609030捞次数/睡次数9/0最少/最大/平均捞数据耗时ms501364/658966/612649最少/最大/平均睡眠时间ms0/0/0线程8100250155115711609030捞次数/睡次数11/0最少/最大/平均捞数据耗时ms465952/558570/525924最少/最大/平均睡眠时间ms0/0/08线程共同捞且发送saf数据(条): 110108线程共同捞且发送saf数据平均耗时(毫秒): 676143.58个线程共捞且发送saf记录循环平均次数: 8.63次8线程共同捞且发送saf数据平均速度(条/秒): 1.89 (11010/676.1435/8.63)4.4.4 性能曲线图4.4.4.1 图表说明：捞saf数据且发送数据所耗时间(秒)图X轴为线程循环次数，Y轴为捞saf数据且发送数据所耗时间(秒)整个运行期间,所有线程中耗时最小461秒,最大807秒,平均值:676秒4.4.4.2 图表说明：Memory free检测图X轴为每间隔5秒循环检测Memory free次数，Y轴为Memory free值（M）Memory free值来源于服务器的TOP命令中Memory free值物理内存: 2097152 KbytesMemory free值（M）(起点388M):整个运行期间,最小值:340.03M,最大值449.34M,平均值:358.90M(平均耗内存449.34-358.90= 90.44M)4.4.4.3 图表说明：userCpu、sysCpu idleCpu的平均值检测图X轴为每间隔5秒循环检测Cpu次数，Y轴为userCpu、sysCpu idleCpu的平均值(%)userCpu、sysCpu idleCpu值来源于服务器的TOP命令中userCpu、sysCpu idleCpu的Avg值userCpu值(%):整个运行期间,最小值:0%,最大值23.0%,平均值:5.03%sysCpu值(%):整个运行期间,最小值:0%,最大值27.5%,平均值:5.03%idleCpu值(%):整个运行期间,最小值:0%,最大值100%,平均值:83.42%4.4.4.4 图表说明：Disk检测图X轴为每间隔5秒循环检测Disk次数，Y轴为Disk busy值（%）Disk busy值来源于服务器的sar -d 命令中Disk busy值Disk busy值（%）:整个运行期间,最小值:98.06%,最大值100%,平均值:99.83%4.4.5 压力测试小结下列测试指标证明系统处于极度饱和状态, 未处理数据量从20万降到10万后, 数据库访问的吞吐能力几乎没有改善l 8线程共同捞且发送saf数据平均速度: 1.89 (条/秒)l 捞saf数据且发送数据(平均每线程每次大约160条记录)所耗时间, 所有线程中耗时最小461秒,最大807秒,平均值:676秒l Memory free值（M）,整个运行期间, 最小值:340.03M,最大值449.34M,平均值:358.90M(平均耗内存449.34-358.90= 90.44M)l idleCpu值(%),整个运行期间, 最小值:0%,最大值100%,平均值:83.42%l Disk busy值（%）,