Web性能测试方案设计.docx

Web性能测试方案1测试目的此处阐述本次性能测试的目的，包括必要性分析与扩展性描述。性能测试最主要的目的是检验当前系统所处的性能水平，验证其性能是否能满 足未来应用的需求，并进一步找出系统设计上的瓶颈，以期改善系统性能，达到 用户的要求。一 M一匚此处主要描述本次性能测试的技术及业务背景，以及性能测试的特点。编写此方案的目的是为云应用产品提供web性能测试的方法，因此方案内容 主要包括测试环境、测试工具、测试策略、测试指标与测试执行等。2.1测试背景以云采业务为例，要满足用户在互联网集中采购的要求，实际业务中通过云采 平台询报价、下单的频率较高因此云采平台的性能直接决定了业务处理的效率， 并能够支撑业务并发的压力。例如：支撑100家企业用户的集中访问，以及业务处理要求。2.2性能度量指标响应时间(TTLB)即 “time to last byte ”，指的是从客户端发起的一个请求开始，到客户端接 收到从服务器端返回的响应结束，这个过程所耗费的时间，响应时间的单位一般 为“秒”或者“毫秒”。响应时间=网络响应时间+应用程序响应时间。响应时间标准:序号时间度量标准结果1小于 2s优2介于2s-5s良3介于5s-8s一般4大于8s差事务能力 TPS (transaction per second )服务器每秒处理的事务数;个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时，收到服务器响应后结束计时，一次来计算使用 的时间和完成的事务个数。它是衡量系统处理能力的重要指标。并发用户同一时刻与服务器进行交互的在线用户数量。吞吐率(Throughput)单位时间内网络上传输的数据量，也可指单位时间内处理的客户端请求数量，是衡量网络性能的重要指标。吞吐率=吞吐量/传输时间资源利用率这里主要指CPU利用率(CPU utilization),内存占用率。3测试内容此处对性能测试整体计划进行描述，包括测试内容以及关注的性能指标。Web性能测试内容包含：压力测试、负载测试、前端连接测试。3.1负载测试负载测试是为了测量Web系统在某一负载级别上的性能，以保证Web系 统在需求范围内能正常工作。负载级别可以是某个时刻同时访问Web系统的用 户数量，也可以是在线数据处理的数量。例如：Web应用系统能允许多少个用 户同时在线？如果超过了这个数量，会出现什么现象？ Web应用系统能否处理 大量用户对同一个页面的请求？负载测试应该安排在Web系统发布以后，放在Internet上接受负载测试。3.2压力测试在一定饱和状态下系统的处理能力，在负载测试的基础上，继续加压到一定 阶段即是压力测试。压力测试通常设定cpu使用率达到75%以上，内存使用率 达到70%以上，用于测试系统在压力环境下的稳定性。进行压力测试是指实际破坏一个Web应用系统，测试系统的反映。压力测 试是测试系统的限制和故障恢复能力，也就是测试Web应用系统会不会崩溃， 在什么情况下会崩溃。黑客常常提供错误的数据负载,直到Web应用系统崩溃，接着当系统重新启动时获得存取权。3.3前端连接测试用户连接到Web应用系统的速度根据上网方式的变化而变化，他们或许是 电话拨号，或是宽带上网。当下载一个程序时，用户可以等较长的时间，但如果 仅仅访问一个页面就不会这样。如果Web系统响应时间太长（例如超过5秒钟）， 用户就会因没有耐心等待而离开。另外，有些页面有超时的限制，如果响应速度太慢，用户可能还没来得及浏 览内容，就需要重新登陆了。而且，连接速度太慢，还可能引起数据丢失，使用 户得不到真实的页面。以上需要关注的前端性能指标，主要包含以下三个指标：3.3.1加载时间指标a. Time to First Impression表示从用户在浏览器键入URL按下回车键一刻开始，到页面开始有反应（用 户可以在页面中看见一点点内容）为止。直观信号就是网页开始显示title。b. Time to onLoad Event表示从页面开始显示内容，到浏览器开始触发OnLoad函数（开始执行js） 这一时间段。只有当初始的文本和所引用的对象加载完成，浏览器才开始触发 OnLoad函数c. Time to Fully Loaded表示从上一时间段末到整个网页完全加载完成（所有OnLoad函数以及相 关的动态资源加载完成）。3.3.2资源情况指标网页由初始的html文本中嵌入图片以及通过XHR或者修改dom树动态加 载的内容组成，css负责样式，js负责行为。a. Total Number of Requests包括html网页请求，css、js资源下载及其它网络请求。优化的目标之一是 要尽量减少请求数。b. Total Number of HTTP 300s/400s/500s表示返回状态为300（重定向）、400（客户端错误）、500（服务器端错 误）的http请求。尽量避免这些请求，以提高页面load的时间。造成这些状态 的原因经常是服务器的实施、配置和部署问题。c. Total Size of Web Site构成网页元素总的大小。图片或者js库的增加都会对下载时间造成重要的 影响。d. Total Size of Images/CSS/JSimage、css、js在网页元素大小中占主要比例。e. Total Number of XHR（XMLHttpRequest） Requests通过js异步从服务器端获得数据的请求数。一些js框架提供了跟服务器端 的更新机器，就是XHR请求。通过配置可以减少XHR请求的数目。3.3.3网络连接指标浏览器底层的网络连接对资源的下载速度有很大影响。资源的下载过程分为 很多阶段。下面介绍这些阶段以及浏览器、网络、请求如何影响这些阶段的时间。a. DNS Timedns查询的时间。网页请求会产生一次寻找该网页资源所在主机的dns查 询。在同个域名进行网页切换不会造成新的dns查询。b. Connect Time指浏览器和服务器之间建立tcp/ip连接的时间，对于ssl连接包括握手的时 间。网络连接过慢、使用ssl、使用短连接而非常连接都是造成connect time 较多的原因。c. Server Time指收到请求后服务器逻辑处理的时间，d. Transfer Time这一指标与浏览器和服务器之间的连接速度相一致，通过减小传输内容或使 用 cdn 来降低 Transfer Time。e. Wait Time等待时间和同一个域中服务资源的数量直接相关。每个域的浏览器的物理网 络的限制，导致资源等待可用的连接。减少资源的数量，或将资源散布在不同的 域，能将这一时间降低。平均等待时间的大小更能反映等待时间是否需要注意。f. Number of Domains / Single Resource Domains部署网站资源的域主机数量是很重要的，因为它影响的DNS，连接和等待 时间。专门用户资源下载的域是必要的，他将直接减少等待时间。应避免单一的 资源域，否则你将为dns查询以及资源下载付出昂贵的代价。4测试执行此处包含性能测试的软硬件环境准备，所需测试工具与测试步骤。4.1环境与数据准备4.1.1负载测试主机数量配置详情操作系统数据库中间件测试工具监控工具4.1.2压力测试主机数量配置详情操作系统数据库中间件测试工具监控工具4.1.3前端连接测试4.2测试步骤与测试结果输出4.2.1负载测试4.2.1.1测试工具JmeterApache JMeter是Apache组织开发的基于Java的压力测试工具，用于对 软件做压力测试，它最初被设计用于Web应用测试，但后来扩展到其他测试领 域。它可以用于测试静态和动态资源，例如静态文件、Java小服务程序、CGI脚 本、Java对象、数据库、FTP服务器等等。4.2.1.2测试步骤1. 建立测试计划启动jmeter后，jmeter会自动生成一个空的测试计划，用户可以基于该测 试计划建立自己的测试计划。2. 添加线程组一个性能测试请求负载是基于一个线程组完成的。一个测试计划必须有一个 线程组。测试计划添加线程组非常简单。在测试计划右键弹出下拉菜单（添加 ->Threads（Users）->线程组）中选择线程组即可。jmeter中每个测试计划至少需要包含一个线程组，当然也可以在一个计划 中创建多个线程组，那么多个线程组之间又会怎样的顺序执行（串行还是并行）？J MeterThradE 4Users| 卜汹Up Thread GroupReset Sur州M-I蛾辿卵画文件编霸S&arcti低行避项摹助线程组注葬:Ramp-Up Perh&d in s-&cond%; 1循环次数J永远调度嚣酉E置启动时位 2012/12/221432:13结束时位 2012-f12/221432:13持础间（秒）启滞延迅（秒）在测试计划下面多个线程是并行执行的，也就是说这些线程组是同时被初始化并同时执行线程组下的Sampler的。线程组在暇祥器错误后要执行的动作C1 维镣 O StartNejct Thread Loop 侍止妹程。信止现li甫 O Stop Test NowDeLay Thread creation until needed叵i周度疆线程组主要包含三个参数:线程数、准备时长（Ramp-Up Period（in seconds）、循环次数。姓程缰tearDovjn Thread GroupTesl Fragnie nt 卜:y 线程数：虚拟用户数。一个虚拟用户占用一个进程或线程。设置多少虚拟用 户数在这里也就是设置多少个线程数。准备时长：设置的虚拟用户数需要多长时间全部启动。如果线程数为20， 准备时长为10，那么需要10秒钟启动20个线程。也就是每秒钟启动2个线 程。循环次数:每个线程发送请求的次数。如果线程数为20，循环次数为100， 那么每个线程发送100次请求。总请求数为20*100=2000。如果勾选了 “永 远”，那么所有线程会一直发送请求，一到选择停止运行脚本。设置合理的线程数对于能否达到测试目标有决定性的影响。在本例中，要求 得到网站首页在20 QPS负载情况下的响应时间，如果如果线程数量设置的过 小，则很可能无法达到设定的QPS要求。另外，设置合理的循环次数也很重要， 除了上面介绍的固定循环次数与永远外;也可以灵活的选择设定测试运行时间。 勾选调度器”，进行调度器配置。3. 添加HTTP请求添加完成线程组后，在线程组上右键菜单(添加->Sampler->HTTP请 求)选择HTTP请求。对于jmeter来说，取样器(Sampler)是与服务器进行交互 的单元。一个取样器通常进行三部分的工作：向服务器发送请求记录服务器的响应数据记录相应时间信息t a测试计划一国工作全"DuplicateReset Gui打开,保存为线程组酉睫死件/永远HTTP请求Jw四请求避辑控制器Ctri-XCtri-CC&1-VCtrl+ShiftCSampler前置地于里器后罟逊理器监听器Access Log SamplerAJP/1.3 SamplerOeanSlieM SamplerBSF SamplerBebug SamplerFTP诺求簇闸找侏ill徂囿HTt吨事Eiaay自胡*宝向土跟圈宙忌向< u» K««fW腿 口 Um rrMirttfxftmrwM蔬 ir post 丁 由seuswum 膈心m日请球一探座误更戴土Add trofn CliIxufElDownFrwr 特 rw窿孵S名菩呻P；HTTP请求待；FfWciJiGSrSTimwuLs CmitiucDfidslCMBKtReKpMM：UDEhlHrr 柚 titW同通采一起发医文作：邮"榴肿育障名底:键口号=m£K2954ve fWjpQflW U H*3MWurm 加 F4：contm encoding;4. 设置QPS限制本次性能测试的目的是“了解云采首页在负载达到20 QPS时的响应时间”，因此需要控制向云采首页发送请求的负载为20QPS。QPS : Query Per Second每秒查询率。是一台查询服务器每秒能够处理的查询次数。在因特网上，作为域名系统服务器的机器的性能经常用每秒查询率来衡量。4.2.2压力测试4.2.2.1测试工具UAPRunnerUAPRunner是一款面向树形数据结构，模拟用户（UAPRunner中表示 为虚拟用户）通过浏览器访问B/S架构和UAP平台系统的行为、实现向服务 器端发送请求及对服务器端发回的响应进行处理的工具。利用UAPRunner可 以实现对Web轻量级和基于UAP平台的性能负载测试，通过模拟上万的用户 实施并发负载。4.2.2.2测试步骤1. 下载安装uaprunnerhttp:/20.10.129.77:8080/gitlab/test-team/download/tree/master/UAPRUNNER2. 配置 UAPRunner霄SB向导避择协祓回祯地址设置Ki可协祓设置确认甑置结果0 Web|friJi(HttHtmlPort日I和大部勿网站使用的协诙H R由协训UAPJNCUAPfiNC产品富客户端使用的协诙3. 录制并生成脚本UAPRunner陶波工旦蜻果报告日志语言幕励设"成用例敷据I、 RiunnerWorkspace defaultf EZ1 ( AnayLlst； cases5 Array Lisi yuncai?四Case yuncaiI String) repla/Name-yuncaiString recordFilencai.dat il LiiiKsdHasHLlap parameterf IB W&bPacket ListEI emen1Dl G ET !A pu/lo gi n aL wg bRG qua st req u set a EZ WebRespouse responsel-l Has-hNtap van able- Il CaseType cas eType j suing J name=yuncaiBoolean seleciedtfalse* l£ Pack&tTjjpej typeString tra.nscatiDnName-|-| Strinfl description=null® l ReplayConfiau ration replayConfig 二ArraLtetAnrayList g scenssI (Boolean J- associated-false I List check?oin1s4. 创建用例流、场景承制朝己1 i IRuinnerWof kspace defaulilAnustl 瑚'1_ ArraiList J caes3 亡1 ! Ajrna/rLi融而侦厂a 1Z ! AirairList) 刨建用倒流nirnrH ® WetPackefE LlstElementO POST /ecpjaccaunuiogln.js d n <111>a 回©WeDPackel:-Lis归己e如get枪cMilmlfinaeihtmia 同 121 WebPackeE UsElsmsnlZ GET cfu'consalMenu'cnil dren.jsona SH© VUebPackeE Li-EtElemenO GET cprcomponenUBcp/CD mmoni'ban n en'ErcijEit'annerlpIa 回 W ( VUebPacket LisElementfA GET 恒 rptompanenUerpitn rnmondafriteJBrDjsfcDnlenttpl4 lid ® WetiPacket Ll2t£leinant5. GET i!e cpi'camponanUBcp/tn nunonfliltBJBrDjSiucress.tpl黄薮笆理-(RuniMniVortcgce)加电wa (ArrayListJcaBaBi Arfft¥li3tno*flSi 肖 IT 靴一打舟目亲录制树3Q J ( ArrayLlsl) QQQ匚-l WebPackel j UstElementCi； POQT.'&cpraccDunllogin.isan m C RijniurWkipcA) d«fiaullr目: Arr如Itl叫可郭马b 画cwjsaa:SlrifQi ； rep<iaFt4ame=null: Elrmg j rc<DinFik=433 dal1 f l_ >gLinkMlMaihMiypLp2ram&tift E Ewp UftpEleme , imeirt一 05 I烤叫叫取；BswcPii i :-则ht 0 -I 才H":Hashlklip ； enable 定电 ； CauTfpa ； casaT/pGsijiiq ?nflrs-aaa 1-$uli)aesar01on=nul* ) rr-pCflnfigA跚rs|ii!iHHw3111>*叵.I WebPachel j LjstElement(1| GET itecpiTitmlJindeihtrnla E l i w&bPacHat ustElementtZ GET jtecfWtDnEDl&Jm&nLLidilliiren.jsana 叵 I | WebPadifil Li3tElement2 GET yecpiteDmpDnenUBCp/cammanitisnneD'srcijs/bBnnertFla 叵=i (WebPacnel) Lj3tEiement4 get I'eoHip-onenuecpitommonavorne/srcflaonieril.lpi5. 编辑事务0E0BA »6. 参数化ArwLisl6e8¥ EI 4 WebPackel: LisElernerrl(0 POST Jecpi'acDi unhl Dgi n.j sa n 11(string! requ0GlLjn0=PQSTecpaccountloginjsDn hftfjI.1(LinkedHasHiMap rques1Hea(lrLinKedHasliiriiap I urlFara.rnt>grsLlnKeHHaslhMap poGFammtore f- El Entry MapElma nt ug DinameI String ) K0y=usei_nam®(String Vai jg-99 14 lJ EntryMapElemant user_pa£sworclEniry hlapEleme nt verlUcation C odsa LJ Eniry MapElemant logins0LinkMH由sliMap阳$口mi知HeMw咛昭。 re £pans eBady=tHl C D EN1蜒ms哩7. 增加虚拟用户&回hh | II暂僧|甫|盘曷懂 x 0 * 4编.用例流用户数里初始化运行中已完成思考时间【.步长佰）客户端节点1登陆1UCICI ID1.00D127.0.0.1:100.8. 查看测试结果9. 压力数据：cpu使用率达到75%以上，内存使用率达到70%以上，查看系统稳定性（事务响应时间、事务通过率）4.2.3前端连接测试4.2.3.1测试工具WebPagetestWebPageTest是一款非常强大的Web页面性能评测工具，已经开源。在该网站输入你的url，就会生成1个url加载的时间瀑布图，对所有加载的资源 （css,js,image等等）列出优化的清单。4.3.2.2测试步骤1. 以云采为例，在http:/www.webpagetest.org/页面输入START TEST ，Testlocation 选择 Shang问 cnina （IE 11,ChmgFi田心） ”，然后点击"开始测试。2. 系统会给出等待提示信息。klnro: MEDN - boslU«1>Dur HEAD inTGur 岳 page perbrnnance lesl h&s Seen sufinrfted an（j 呻 nwbelrg pn?cessedfttienlhefeetii傅 II时I resufe 回1 诡亦珅航l<eh电博Ud: htfp I'iMjrcarrnrrriDU.DnrnFrom- gnanijhal, China -cnmomB - cableYou an HilhMl仙的 Uiis 口如它 opsri in roar bKw洵 unUHhetetie comclele oi ww tGcE Isler and check on tTie stilus or IT* l£s1 rtTie trowsef doee nd:rie«ilbDi,errialri pen far testing h continue |.3. 测试结束自动生成测试报告HOME TEST RESULTTE剧T HISTORYFOfWMS UiMENTATiOH ABMTWeb Page Performance Test (oryuncai.nycu.ctmFiioni： Shanghai. China - Chrome - Cable-2fl1fini'1&TiF4：21 &2Meed hmipdrnp 啊 ng?A A A N/A | F XFrstETlBKeEp-alweCcTpressCompressCaitieETedNETitsEnabledrranslprImagesslsucuse crcontentCDNFirst YIW19H 细)DoojmBfit CompeteFiiiy LofldBd11厕 TimeFirst Bytfl51art Fender5pwd 1顽属DOM Eiem的isRfiqussls邸 es inTimeBtes InRrGtVigVi11.9S35U1Ete1 D9BS.19523419B3E1DJZ&KE2 143&Tlzzsra5RflFflatVlBw1.01250 431s1 rate1993341 -Oh；B1 01Z542 KE4点击t .相 F"可以查看 Firstbyte 时间，DOM Elements ,以及Result( error code)等详细信息。Document ComulelBFully 1 脚的 dIL (bad TimtFirstBylaRnndorVlsuMlyCoinplatQ5呻。 indmcDOU ElamcnlsResult (enror codaTimeF!纠U籍酒Bytes InTlnieBVtB-9 Im1.96310.13511.590SZ5DD?195234999991.9B3SIQ225 KB2.149S11225 KBROM FirsB PointdiyffCmlWLcHdMhMdEgnt1.333$1.131S-1.131S (D.DDO&)1.530S-1.546S i：0.O13$)Waierfall View DNS Lookuo miHaiCannedion Time 1n Fin?I:Eyte CcjEhhi Dovsnioad 3ki i昵pan我4»- th-叩即http:/unt& .iuDu.caM5- yuntdiigangUuCuu bDDtstr-.nLnuC;yuntaiiotiMOMu*: - unt-aweMtw .nm-ccfl1. yuntal .latYxi.cori -2. yunml护u-cwi - 1 puilu biuncdi,'rrAvi - Pauipn.aco7. uuncal joHiou.cori - bryarKl.niin-cs6. gun蹈 1 甘内ujfln - deB0,jn.i>s 如 gum而 1 m叫HLtww -那1峪槌 mM.tww：Wu yuncaiiarrjcuuCCFi - lDgin5apn| Gtarl Rondar| msFirstP aint DDM Canlonl Laadtedl| Dn Lad| Cacumanl: Ccmplah5. Test结果页面点击 "E '”可以查看改进建议。Compress Images: N/AUse Progressive JPEGs: N/ALeverage browser caching of static assets: 0H00FAILEDFAILED FAILED FAILEDFAILED FAILED failedfailedFAILED FAILED FAILED(No max-agi? orMpirF (No niax-aa$ or «wire- :No mnx-dge or eKpire 5 (Ng naM-ge -ar wwpi 冀新 No max>aQ9 air expires CNa or engiire：> :NO EdSg w s叩购环 (No maxujge orMpirF (No ms 其 w 口鼻 or «wire- :No mnx-dge or eKpire 5 (Ng naM-ge -ar wwpi 冀新htip牌uncal.冲呐pu comipulaUcA：5sjr!emn nun tss httPMunt3l.FC>n!1ou.wm|iau?l航 erta 引 aiimaLE.minK$9 http A*yunD3i.pn<i*ou c&rrUipuii2labDlmage3.>lDgin5 png hUp Juncal.ronjx)u cxjrnlMn.lcnhdpj.unLal.fonlpui'slatia'CEbevEnaniin.cBEhtip.,.,/urical.PDn«!,ou cfitnlnuilaBotssfforil-aftsQme min css httDunGai.rDriu ooNejuhtip 剧叩 cagnjpu comipui1httpJi,Jiurit3l.fOriH,ciu.cti(rL|ipiji1CiQinhttp JJyuncai.pnyou :&rrUipuii2labo'i：5rJtPQhtap.rnin G2-5http 好un闵l.ron件u co mJUse a CON for all static assets: 0/100FAILED -M»r a扣needyunyFU.SEJpiKStatirUtakmESlrmp min.C53FAILED -hnc.i,iiinLMi.yanFCU.Laniilpd/sULiLlcs&iTDnl:-Aesoi>=i.mln.i?B&Failed -nnp iijncaiyan'rodxarni1pubc>csBi!Deyand.mln cssF AILED -伽如ncaiydnpju.EEApu版mb时css顷e。nm cssFAILED - mw'incai.yDnYcuxcmilpuifitaticiREi'anirnalE.niin.cssFAILED - M"Mincsi ym迥u.wmlp山曳aliLnm3De*l%iKi5 pn£35测试风险分析此处描述测试过程中可能存在的风险。序号风险描述风险发生可能性（高、中、低）风险对测试项目的影响规避方法备注