农商银行新一代综合柜面业务系统性能测试报告.docx

性能测试计划 北京农商银行新一代综合柜面业务系统性能测试报告文 档 编 号保 密 等 级作 者最后修改日期审 核 人最后审批日期批 准 人最后批准日期第II页性能测试报告修订记录日期版本修订说明修订人2011-10-120.1编写测试报告中的方案部分王晓华2011-10-一三0.2对测试脚本、测试数据、测试场景进行描述王晓华2011-10-250.3整理测试执行结果王时磊2011-10-280.4数据分析和修订王晓华目 录1测试简介11.1项目背景11.2测试目标11.3测试范围11.4性能测试指标要求12测试方案22.1压力模型22.2交易选择22.3测试脚本32.4资源监控32.5测试场景43测试环境53.1网络拓扑图53.2软硬件配置53.3测试工具64测试实施情况74.1测试时间和地点74.2参加测试人员74.3测试实施进度75测试结果85.1基准测试85.1.1测试结果85.1.2分析图表85.2并发测试95.2.1测试结果95.2.2分析图表106数据分析237系统评价258测试遗留问题259附录259.1性能测试记录表269.20210交易处理脚本26- II -1 测试简介1.1 项目背景为解决原有字符终端柜面系统不能处理非线性数据（如图像）的缺陷、解决业务中的柜员离柜问题，并对交易前端的功能性梳理和整合，北京农商银行将实施现有字符终端向图形终端的改造，实施新一代综合柜面业务系统项目。在新一代综合柜面业务系统全面推广上线前，需要对新系统平台进行性能测试，获取系统的并发处理能力、交易响应时间等性能指标。1.2 测试目标 本次性能测试的测试目标为： Ø 获取新一代综合柜面业务系统在测试环境中的性能指标数据Ø 发现性能瓶颈，协助开发人员进行性能调优，对系统上线提供性能建议和评估1.3 测试范围新一代综合柜面系统的架构示意图如下图所示，图中红线虚框为本次性能测试的范围，包括ABS处理平台的后台应用服务器和数据库服务器。1.4 性能测试指标要求指标分类序号指标描述是否需求性能指标需求数值备注系统处理能力1每秒事务数TPS否通过性能测试获取系统处理能力峰值2典型交易平均交易响应时间ART否获取实际指标值3批处理效率否柜面系统无大数据量批处理任务4最大并发用户数是50全行柜面终端数约为28005交易成功率是99%系统资源利用率6CPU占用率是80%7内存使用率是80%8I/O使用率是80%2 测试方案2.1 压力模型本次性能测试采用如下的简易压力模型：Ø 通过LoadRunner模拟图形终端各柜员向ABS平台发起交易压力Ø 通过测试环境中的核心业务系统响应柜面交易请求2.2 交易选择根据和开发组的沟通，选择如下前端处理比较复杂的典型交易：编号交易码交易名交易占比参数化域备注10210个人客户信息建立100%无处理较复杂的交易2.3 测试脚本根据上述的系统架构示意图，通过LoadRunner的Socket协议录制柜面前端向柜面系统应用服务器发起的柜面交易，发现Socket交互次数（一组send和receive算一次交互）特别多（0210交易51次Socket交互），而且脚本回放时报接收报文长度不匹配错误。新柜面系统开发组提供了一个测试用的Jar包，将图形前端ABC和后台应用服务器ABS之间的通讯过程进行了封装，通过解析描述型的交易数据文件后向后台提交交易，为此，使用LoadRunner的Java协议，测试脚本中通过调用Jar包中的对象提交柜面交易。使用此测试脚本方案暂时也有如下缺点：Ø 无法实现交易数据的参数化Ø 脚本中只能定义各柜面交易执行全过程的长事务，无法对交易中各阶段进行分解分析（比如页面控件响应时间、交易提交响应时间、打印响应时间等）Ø 测试脚本中无法获取交易执行结果：交易提交后不返回响应特征码，从测试脚本中无法判断交易执行的情况，需要分析后台日志文件或数据库流水表分析交易是否成功（性能测试交易量巨大可能会引起大量的交易结果分析工作量）Ø LoadRunner统计分析数据失真（因失败交易也当成成功交易进行统一分析）2.4 资源监控根据压力测试模型，本次性能测试需要监控如下主机的一些性能指标数据：v 新柜面系统应用服务器主机（Linux操作系统）ü CPU CPU Utilization（CPU使用率%）ü Memory Paging rate（内存页交换速率）ü I/O Disk Traffic（磁盘交换速率）v 新柜面系统数据库服务器主机（AIX操作系统）ü CPU CPU Utilization（CPU使用率%）ü Memory Paging rate（内存页交换速率）ü I/O Disk Traffic（磁盘交换速率）v LoadRunner控制器和压力产生器主机（Windows XP操作系统）ü CPU % Total Processor Time（总的CPU使用率）ü Memory Available Mbytes（物理内存的可用数，单位 Mbytes）ü Memory Page Faults/sec（页面错误导致的页交换计数）ü I/O %Disk Time（磁盘驱动器读写请求已用时间所占百分比）主机资源指标数据监控的方法：Ø 优先通过LoadRunner进行监控Ø 通过操作系统内部指令（如top、vmstat等）2.5 测试场景设计如下类型的测试场景：Ø 基准测试：获取系统处理各典型交易在无压力情况下单笔交易的耗时，为并发场景提供一个基本数据参考。Ø 并发测试：检验服务器端对每个典型交易多个并发用户的处理能力，获取系统处理性能指标值。各测试场景设置信息如下：编号场景类型场景名并发用户数加压方式持续时间退出方式思考时间/迭代延迟交易组合备注1基准测试JZ_0210_1_1001同时运行完成同时无02102并发测试BF_0210_1010同时运行完成同时无02103并发测试BF_0210_2020同时运行完成同时无02104并发测试BF_0210_3030同时运行完成同时无02105并发测试BF_0210_4040同时运行完成同时无02106并发测试BF_0210_50_10m50每一五秒加10VU10m每一五秒减10VU无02107并发测试BF_0210_100_10m100每一五秒加200VU10m每一五秒减20VU无02108并发测试BF_0210_一五0_10m一五0每一五秒加300VU10m每一五秒减30VU无02109并发测试BF_0210_200_10m200每一五秒加40VU10m每一五秒减40VU无021010并发测试BF_0210_250_10m250每一五秒加50VU10m每一五秒减50VU无021011并发测试BF_0210_300_10m300每一五秒加60VU10m每一五秒减60VU无0210注：根据全行柜面终端数约2800的统计数据，最大并发数为终端数的10%一五%（经验值），选择最大300并发的场景。3 测试环境3.1 网络拓扑图本次性能测试环境的网络拓扑图如下：（其中核心系统使用测试环境中的172.16.12.6主机）3.2 软硬件配置新一代柜面系统应用服务器硬件配置主机型号CPU4C8U，Intel(R) Xeon(R) CPU E5506 x 2.一三GHz物理内存8G硬盘容量276GIP地址192.一五6.33.6网络设备100M局域网卡软件配置类型名称版本操作系统SUSE LinuxEnterprise Server 10 (x86_64)应用软件JDK/JRE1.6.0_23新一代柜面系统数据库服务器硬件配置主机型号IBM 8202-E4BCPUPower 6，4C8Ux3000MHz物理内存16G硬盘容量70GIP地址192.一五6.33.一八网络设备100M局域网卡软件配置类型名称版本操作系统AIXVersion 5.3数据库Oracle 10g10.1.0.2.0核心业务系统主机硬件配置主机型号IBM AS400CPU物理内存硬盘容量IP地址172.16.12.6网络设备100M局域网卡软件配置类型名称版本操作系统OS 400数据库LR控制器/压力产生器硬件配置主机型号PCCPU2C x 2.2G物理内存1G硬盘容量160GIP地址172.16.一五.14网络设备100M局域网卡软件配置类型名称版本操作系统Microsoft XP ProfessionalSP2应用软件HP LoadRunner 8.1 英文版 3.3 测试工具序号工具名称用途及说明厂商版本1LoadRunner性能测试工具，Java协议（License并发数为300）HP8.1 英文版4 测试实施情况4.1 测试时间和地点时间： 2011年10月08日 2011年10月21日地点： 北京农商银行空港办公区3楼测试机房4.2 参加测试人员参加本次性能测试的人员包括：Ø 王 鹏：测试经理，性能测试总体协调Ø 高 伟：开发组支持，测试脚本录制和调试Ø 王晓华：性能测试专家，制订方案、指导测试Ø 王时磊：性能测试工程师，测试工具、测试场景准备、测试执行4.3 测试实施进度编号任务开始日期结束日期责任人1讨论和制订测试方案2011-10-082011-10-10王晓华2测试工具准备2011-10-082011-10-08王时磊3测试脚本编制、调试2011-10-082011-10-一三王时磊4测试场景准备2011-10-122011-10-12王时磊5测试环境准备2011-10-一三2011-10-一三王鹏6测试执行2011-10-212011-10-21王时磊7编写测试报告2011-10-252011-10-28王晓华5 测试结果5.1 基准测试5.1.1 测试结果使用测试工具LoadRunner运行测试脚本，统计出测试结果如下（TPS、ART、CPU%均为平均值）：编号场景名称并发用户数交易总数成功交易数失败交易数交易成功率TPS（笔/秒）ART（秒）应用服务器CPU %数据库服务器CPU %1JZ_0210_1_1001100100 0 100.00%2.10.4一八3.0%1.1%在无压力的情况下，0210（个人客户信息建立）的平均交易响应时间为4一八ms，其中该交易包括如下完整的交易处理过程（可参见附录2中0210交易处理脚本）：Ø 输入交易码后，获取Frame框架显示内容Ø 各输入场输入数据时与后台系统的交互Ø 提交交易，获取核心系统返回结果5.1.2 分析图表测试工具LoadRunner Analysis的TPS图表：测试工具LoadRunner Analysis的ART图表：5.2 并发测试5.2.1 测试结果使用测试工具LoadRunner运行测试脚本，统计出测试结果如下（TPS、ART、CPU%均为平均值）：编号场景名称并发用户数交易总数成功交易数失败交易数交易成功率TPS（笔/秒）ART（秒）应用服务器CPU %数据库服务器CPU %1BF_0210_10_10m1011,45111,4510100.00%19.00.52412.9%3.4%2BF_0210_20_10m20一五,532一五,5320100.00%25.70.77917.5%6.4%3BF_0210_30_10m30一五,967一五,966199.99%26.41.一三6一八.2%7.3%4BF_0210_40_10m40一五,987一五,9870100.00%26.41.497一八.0%7.7%5BF_0210_50_10m5022,一五221,79136198.37%30.61.45221.6%7.7%6BF_0210_100_10m10023,62919,2144,4一五81.32%32.62.86120.9%6.5%7BF_0210_一五0_10m一五022,68319,7472,93687.06%31.24.46621.1%7.2%8BF_0210_200_10m20026,一三319,0777,05673.00%36.04.95522.8%6.9%9BF_0210_250_10m25028,69616,06612,63055.99%39.55.69323.7%7.2%10BF_0210_300_10m30022,40922,3一五9499.58%30.88.75722.3%6.2%在并发场景时，出现了如下两种交易失败导致交易成功率不高：1) 并发数达到50时，ABS交易流水表出现记录状态为"x"的记录（未收到核心系统对交易的处理结果），并发数为10、20、30、40时基本正常2) 并发数达到100及以上时，ABS交易流水表中记录数小于LoadRunner 中记录的实际发送的交易笔数（部分交易数据丢失，未发往核心系统）另外，从表中可以看出：Ø 在当前测试环境配置下，新柜面系统的最大处理能力约为40tpsØ 在50并发时，0210交易的平均交易响应时间为1.452秒Ø 在各并发场景下，应用服务器和数据库服务器的CPU占用率均不高5.2.2 分析图表v 场景BF_0210_10_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线v 场景BF_0210_20_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线v 场景BF_0210_30_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线v 场景BF_0210_40_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线v 场景BF_0210_50_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线v 场景BF_0210_100_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线v 场景BF_0210_一五0_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线v 场景BF_0210_200_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线v 场景BF_0210_250_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线v 场景BF_0210_300_10m结果分析图1)交易吞吐量TPS-虚拟用户数量VU合并曲线2)交易响应时间ART-虚拟用户数量VU合并曲线3)应用服务器主机CPU占用率-虚拟用户数量VU合并曲线4)数据库服务器主机CPU占用率-虚拟用户数量VU合并曲线6 数据分析对并发场景，根据不同并发数对主要性能指标（TPS、ART、CPU%）进行图表分析如下：从图中可以看出：Ø 随着并发用户数增加，TPS缓慢增加。当并发数为250时，TPS达到最大值，约为40tps。Ø 随着并发用户数增加，ART也随之增加。当并发数大于50时，平均交易响应时间超过2秒的最佳用户体验值。Ø 在各并发场景中，应用服务器和数据库服务器的CPU占用率均不高，表明主机硬件配置暂时还不会成为系统瓶颈。7 系统评价通过在本次性能测试环境中对新一代柜面系统的性能评测，可得到如下基础结论：1) 新柜面系统在50个以上的并发用户数时均出现较多的交易失败（失败类型包括未收到核心处理结果及交易请求未发往核心系统），新柜面系统在本次测试环境中支持的最大并发数约为40。2) 当前测试环境下，新柜面系统支持的最大交易处理能力约为40tps，且应用服务器和数据库服务器CPU占用率均不超过25%3) 在小于50个并发时，平均交易响应约为1.5秒，在最佳用户体验值范围内。8 测试遗留问题因测试脚本、测试环境、测试支持等方面的限制，本次性能测试遗留有一些问题留待以后合适的时间进行解决：1) 测试环境与生产环境的硬件配置有差异（如生产环境应用服务器有负载均衡设备），导致当前测试结果仅能提供一些参考。2) 受测试脚本、挡板程序开发进度的限制，本次性能测试仅选择一个0210典型交易，无法执行更能模拟生产情况的混合业务场景。3) 稳定性场景也需要在混合场景的基础上进行长时间的测试执行，以考察新一代柜面系统提供持续服务的能力。4) 脚本无法进行参数化，网点开门时柜面并发登录的场景暂无法模拟，也无法获得系统支持的最大连接柜员数5) 达到50个并发后出现大量的交易失败，需要开发组定位问题原因，修改后再进行回归验证6) 在达到最大tps时，服务器CPU占用率并不高，系统瓶颈还需要和开发组进行分析验证9 附录9.1 性能测试记录表9.2 0210交易处理脚本12.29.202211:5111:51:4522.12.2911时51分11时51分45秒12月. 29, 2229 十二月 202211:51:45 上午11:51:452022年12月29日星期四11:51:45第 27 页 / 共 27 页