腾讯大讲堂4web类服务用户体验优化综述.ppt
web类服务用户体验优化综述,2008-5,主讲：galen,提纲,如何看待web服务的用户体验检测用户体验质量的工具和方法用户体验的影响因素分析用户体验的优化手段,如何看待web服务的用户体验,2007-9,这里讨论的用户体验-及时响应,用户的划分：不同地区，不同运营商，不同国家教育网不同高校用户及时获得对其查询和提交信息的反馈功能性体验的基础,原始的用户体验评价,缺点：无法反映全体用户体验质量投诉滞后,无法及时响应,发布时：测试人员评价用户体验的好坏,运维时：通过用户投诉判断服务质量好坏,页面访问质量评价指标,页面关键点完成时间用户访问页面首次点击等待时间浏览器显示第一屏主页面的消耗时间下载页面的完整性及正确性下载页面的安全性,流媒体业务访问质量评价指标,开始播放的等待时间,播放过程中的缓冲次数和时间,中国互联网用户按运营商划分,各大运营商用户比例,各运营商的用户比例和QQ每天登录用户比例基本吻合,中国互联网用户按地区划分,教育网用户按高校划分-QZone广东为例,互联网用户无差别体验,现状：不同地区不同运营商的用户体验有明显差异优化目标：抹平地区及运营商差异减少因体验差造成的用户流失提高用户满意度和活跃度在提高用户体验的同时不断降低产品运营的TCO成本，提高服务性价比,影响用户体验的三个环节,第一公里：服务器出口带宽服务器自身性能,中间一公里：互联网中的传输环节运营商的互连互通骨干网络设备和链路,用户的最后一公里：ADSL，有线电视宽带，小区LAN接入状况,三个环节的关注点,后台服务器及IDC机房公网出口（第一公里）服务器对用户请求的响应速度,失败率IDC机房所处节点的地理位置IDC在运营商骨干网中的地位IDC机房出口带宽的冗余状况,运营商骨干网（中间一公里）到全国各地骨干网带宽的冗余状况各运营商骨干网之间的路由和传输延时,用户桌面（最后一公里）用户打开页面的实际等待时间及成功率用户端网络配置,包括接入运营商,DNS配置等用户主机性能,基础知识-1,访问延时传播延时串行化延时设备响应延时传播延时：信息通过传输介质产生的延时串行化延时：信息通过中间设备产生的延时，通常由于设备上的排队，处理和交换引起,抖动网络延时的变化，原因：可变的队列长度包经过的路径不同（如负载均衡等）,基础知识-2,丢包率数据包在传输中丢失的比率，引起的原因：传输链路或硬件设备引起CRC错误链路拥挤或队列满路由改变（暂时丢包）或黑洞路由接口故障或路由器故障即使1的丢包也会对网络应用的性能产生重要影响,基础知识-3,带宽利用率决定何时进行链路扩容我司IDC出口带宽一般在利用率达到80以上时扩容,网络可用性网络可用时间/总时间99.9%：一个月的中断时间不超过45分钟99.99%：一个月的中断时间不超过5分钟大部分运营商的网络可用性达到99.9，部分可达到99.99%通常网络设备可用性在99.99%以上，链路可用性在99.9%以上,基础知识-4http访问环节,QQ.COM首页 框架页面为例http:/50k文件大小,Blocked:预处理及等待网络连接可用,DNS解析:域名解析时间,连接:与web server建立TCP连接时间,发送:发送HTTP请求所需时间,等待:等待server响应的空闲时间,接收:从server读取应答消息时间,First Byte:从初始化网络请求到收到第一个字节消耗的时间,网络:HTTP访问的网络总耗时,了解用户体验的实际状况,优化的前提:了解全体用户的真实体验目前已经建立了各类监测系统，掌握了多种分析方法有条件及时准确的评估用户体验质量,监测用户体验质量的工具和方法,2007-9,不同环节的测试监控工具,后台服务器 网管系统监控业务流量，服务器负载，业务关键指标量，比如在线数，PV量,IDC,骨干网 IDC测速平台，自动化测试，第三方监测的backbone测试,用户桌面 业务测速平台，第三方监测 peer测试自测试工具 httpwatch,yahoo性能评测工具YSlow,网管系统,网管系统分为公司一级网管系统和各BU二级网关系统网管系统通过每台服务器安装agent，收集server端运营数据（例如流量曲线，用户在线数等），并进行监控告警,IDC测速平台原理,IDC测速平台,IDC测速平台的功能：各省市运营商所属用户访问公司主要IDC加权平均延时访问成功率及最近30天变化趋势IDC访问速度测试 http:/http:/,IDC测速平台数据展示访问速度,访问速度慢的省份,跨运营商的访问效果,IDC测速平台数据展示丢包率,成功率异常,某地区用户访问异常,互联网自动化监控系统,在北京网通，北京教育网及深圳电信网通部署测试服务器测试服务器根据测试配置访问业务CGI或静态内容计算平均延时，成功率及达标率自动化监控itil展示：http:/,自动化监控系统不达标率，三网速度,出现异常的日期,不达标率最高的CGI,业务测速平台原理,基本原理和IDC测速平台一样，差别在于：每个业务定制测试需求设置页面下载的多个关键点,测速平台-Qzone为例,QQ空间设置的关键点,全国速度地图-qzone全国网通,北方10省,南方网通,北京最差,第三方监控 peer测试原理,第三方监控的测试平台由普通用户安装测试客户端定制测试需求由客户端执行测试测试结果上报数据中心例如Gomez测试平台http:/,实例：QQ相册竞争对手比较,20k西安测试80k西安测试20k存储平台80k存储平台20k网易相册80k网易相册20k51相册80k51相册20kbaidu相册80kbaidu相册,从测试结果看：网易相册测试结果最好，51相册最差，西安测试因为没有访问压力效果也很好,存储平台深圳和西安测试比较（电信）,上图：西安测试下图：统一存储从测试结果看：由于西安测试无负载，1st byte 耗时明显低于统一存储由于沙河电信整体网络质量好于西安电信，content download时间则统一存储占优,第三方流媒体服务监控,优酷,土豆和qqvideo的流媒体测试比较(北京网通)重新缓冲次数,2.用户等待第一帧的时间,3.重新缓冲比率=重新缓冲的时间/(播放的时间+缓冲的时间),自测试工具-HttpWatch(QQMusic为例),Blocked耗时迅速增大,网络延时和总延时比较,yahoo性能评测工具YSlow,仅限于在FireFox下使用QZone首页的评测结果:等级:F，分数:30看起来很不理想,YSlow详细结果举例,12个域名,超过yahoo建议的4个以下过多的http请求重复的脚本Qzone首页举例:,用户体验的影响因素分析,2007-9,影响用户体验的因素server端,后台服务器的处理性能及访问压力直接影响用户访问的响应时间，Qzone为例：9.3日开学当天，由于用户在线数下降，自动化测试的CGI速度延时有明显变化,IDC出口网络质量1,IDC外网出口链路的忙闲情况，香港柴湾IDC带宽问题为例：通过测试发现柴湾外网质量明显差于沙田IDC,香港HGC经过检查发现：柴湾葵冲带宽满导致流量阻塞，影响了网络质量,IDC出口网络质量2,调整时间点,用户与IDC的物理距离,骨干网光纤传输每1000公里延时增加6ms西安到深圳光纤专线:来回4300公里距离延时25.8ms实际ping值30ms北京到深圳来回5600公里距离延时33.6ms,影响用户体验的因素传输过程,运营商骨干网质量不同区域的运营商骨干网质量有差异总体看电信质量最高，教育网最差,北方电信,南方电信,运营商网络拓扑结构-电信,网络结构国家骨干网核心层（8个节点组成）汇接层（每省2个节点）接入层（省网节点）城域网网络拓扑图(转下页),中国电信,运营商网络拓扑结构-教育网,全名 教育科研网(CERNET)拓扑图,教育网,用户及IDC所属运营商是否匹配,若用户跨运营商访问访问质量一般会大幅下降以网通和电信为例，北京，上海及广州分别为两家的互联互通点，互联带宽：210G3,电信及网通用户访问深圳电信比较,上海跨网访问质量,教育网问题分析-QZone为例,广东较周边省份差,PING 222.201.68.10(222.201.68.10)56(84)bytes of data.64 bytes from 222.201.68.10:icmp_seq=1 ttl=119 time=227 ms64 bytes from 222.201.68.10:icmp_seq=2 ttl=119 time=213 ms64 bytes from 222.201.68.10:icmp_seq=3 ttl=119 time=211 ms64 bytes from 222.201.68.10:icmp_seq=4 ttl=119 time=221 ms64 bytes from 222.201.68.10:icmp_seq=5 ttl=119 time=238 ms64 bytes from 222.201.68.10:icmp_seq=6 ttl=119 time=244 mstraceroute to 222.201.68.10(222.201.68.10),30 hops max,40 byte packets 1 222.202.96.130(222.202.96.130)0.688 ms 0.357 ms 0.453 ms 2 210.39.19.5(210.39.19.5)0.240 ms 0.219 ms 0.187 ms 3 202.112.53.129(202.112.53.129)4.227 ms 4.117 ms 4.134 ms 4*5 202.112.19.102(202.112.19.102)3.298 ms 3.669 ms 3.664 ms 6 222.200.253.5(222.200.253.5)3.865 ms 3.856 ms 3.865 ms 7 222.200.252.14(222.200.252.14)10.405 ms 10.408 ms 10.535 ms 8 222.200.129.22(222.200.129.22)236.715 ms 236.832 ms,影响用户体验的因素用户端,Web内容用户端cache静态内容浏览器cache后在过期前本地读取,没有做cache的页面,内容被cache后,Expires header,3,user re-requests,with a full cache,用户端其他影响因素,页面http连接数IE对于同一主机名允许2个并发连接过多连接请求排队,产生大量等待延时页面大小Qzone空间与51博客比较：qzone单个item速度快页面总访问时间长，因下载数据量大页面静态内容比例页面数据量静态比例高,有利于提高访问速度,用户体验的优化手段,2007-9,用户体验优化提升后台性能及系统容量,以相册老系统与存储平台为例：老系统存储容量与读写性能不平衡大量可用存储量无法利用专用盘柜价格昂贵存储平台采用存储服务器价格低廉总体读写性能高实现去重功能可按set平滑扩容结论:可以支持更高的用户访问量,IDC运营优化1,IDC需要保障出口带宽冗余度及稳定性以西安IDC网络优化为例西安IDC定位为公司核心IDC部署包括QQGame，QQ宠物，相册等重点业务初期:西安电信网络质量不理想管工协调电信进行持续的骨干网扩容电信针对华南地区开通直通车,优化前后比较看效果明显,IDC运营优化2,用户体验优化业务系统分布策略,分布等级定义：0级深圳本地单个IDC无按运营商分布（1个IDC）1级深圳本地IDC按运营商分布或代理（1-3个IDC）2级外地三通IDC按运营商分布（1-3个IDC）3级全国主要IDC节点按运营商分布（36个IDC）4级全国CDN分布（15个IDC以上）,4级CDN分布,3级全国主要IDC分布,2级外地三通IDC分布,1级深圳本地IDC分布,业务的IDC分布,以QQ.com为例：qq.Com主要分布于：深圳电信，上海电信西安电信，成都电信天津网通，北京网通北京教育网集中分布于电信，网通及教育网的核心节点，从全国用户访问情况看效果很好,第三方监测中国热门网站用户体验排行榜,Imgcache在教育网分布,部署于西安教育网增加华南深圳教育网节点后效果比较,业务的CDN分布CDN概念,CDN Content Delivery Networks,传统的Internet网络的基本结构和数据传输,CDN对网络的优化作用原理图,CDN网络优势,解决服务器端的“第一公里”问题 缓解甚至消除不同运营商之间因互联瓶颈造成的影响减轻了各省的出口带宽压力 缓解了骨干网的压力 优化了网上热点内容的分布,GSLB,GSLB:全球服务器负载均衡 能够跨越多个IDC提供负载均衡和高可用性用户访问被定向到可提供最短响应时间IDC当IDC发生故障，GSLB 能够透明的将用户定向到最优备用节点，提供无中断服务,GSLB工作原理,Root DNS Server,LocalDns Server,上海电信用户,QQ DNS Server,1,2,3,4,5,6,7,8,9,SLB,Server&Cache,网通IDC1,SLB,Server&Cache,深圳电信IDC2,SLB,Server&Cache,上海电信IDC3,GSLB控制器,IP地址库,SLB,Server&Cache,SLB,Server&Cache,IDC1,IDC2,SLB,Server&Cache,IDC3,GSLB控制器,监控系统,GSLB采集系统,GSLB监控及配置管理系统,GSLB配置管理系统,Internet,DNS,1,2,3,4,5,6,7,业务三通IDC部署及本地代理,业务后台部署于单个IDC其他ISP机房通过反向代理接入解决:用户跨运营商访问问题,以qzone为例：,SLB,QZoneServer,深圳电信,SLB,反向代理,深圳网通,SLB,反向代理,深圳教育网,飞亚达,教育网用户,10G光纤,10G光纤,10G光纤,1,2,3,4,用户端浏览器访问优化,80-90%用户响应时间消耗在前端可以产生明显的优化效果实施简单已经被各应用证明是有效的,页面内容静态化,静态化提高服务器处理能力静态化内容适合CDN加速QZone目前超过85%的静态化率,减少用户http请求数,合并脚本及样式表，降低用户http请求数量用户http请求使用keep-alive使用图标的合并image例：Qzone的合并image,增加http可并发请求,若不能降低请求数量,提高并发请求数也可以加速页面下载以Sina首页为例:静态图片采用4个子域名(-)进行下载说明:提高并发性,降低了http请求用户端等待时间一般设定不超过4个子域名,过多的域名请求会增加域名解析耗时及客户端处理负担,静态文本内容gzip压缩,Apache配置文本内容进行gzip预压缩，可以降低外网流量及实际传输的数据量：Apache 2.x:mod_deflateAddOutputFilterByType DEFLATE text/html text/css application/x-javascriptHTTP requestAccept-Encoding:gzip,deflateHTTP responseContent-Encoding:gzipVary:Accept-Encoding,以imgcache为例：对于静态文本（包括脚本，样式表，XML等）全部做gzip预压缩压缩后降低公网带宽800M,设置cache过期时间,设置的静态文件应答头 Expires设置超过8年，可以看作永久cache:HTTP/1.1 200 OKLast-Modified:Wed,21 May 2008 06:11:32 GMTExpires:Fri,15 Apr 2016 20:00:00 GMTContent-Type:image/gifContent-Length:7424Date:Wed,21 May 2008 06:13:14 GMTAge:339592长期cache适用于较少更新的静态文件,例如相册业务:Cache-Control:max-age=8640000Cache时间超过3个月,取消etag功能,一般业务是多台接入服务器做负载均衡，则server每次返回的etag可能都不同ETag 格式：Apache:inode-size-timestampIIS:Filetimestamp:ChangeNumber当主机数 1 server 将返回很少的 304(n-1)/n清除etag：Apache:FileETag noneIIS:http:/,避免http请求携带cookie信息,Cookiepvid=360028384;flv=9.0;1531785_CODE=000596_51|399001_51|000001_1|600028_1|600048_1|600068_1|600816_1|601398_1|601628_1|601857_1|;1531785_HKCODE=;1531785_JJCODE=;stk_uin=1531785;pt2gguin=o0001531785;airkey=788e8a9fc4015d1e8b8ba0c46ad2d9775afb77236084753d64969b9d48d8916c;icache=EAGECLA;aduid=ST6F27XY;adid=1531785;adSP=jzlO56pAUEvKZE9W34jAq/mH2AOLhhoQ4xLa1dyWEEQ=_7811_326830_1214527781_;RECENT_CODE=000002_51%7C601628_1%7C600011_1%7C600048_1%7C000596_51%7C600816_1%7C601857_1%7C600050_1%7C600030_1%7C580989_1%7C;ispai2_1531785=2;uin_cookie=1531785;euin_cookie=AQAYGxjgIbJvQFgGjIbzPOZVqsRv9vhKHEWGGAAAAADEby+pcvO+YAsKo2Mdqn2DSj75qA=;pgv=ssid=s182297792,携带的cookie信息超过660字节对于静态文件一般cookie是无用的使用非的独立域名,例如:,减少DNS lookup时延,降低页面中域名数量可以减少DNS lookup频次Lookup时延对于不同ISP及地区访问时间不同DNS server需要跨运营商及地区分布页面中图片、css、js、flash文件等，不要分散在不同域名中,用户体验优化-以实际效果说话,httpwatch测试结果对比,http请求字节数和连接数相近,有可比性从http返回的字节数看差异很大从总延时看差异明显,前10个延时最大的item,页面轻量化最有效,总结,用户体验质量我们和竞争对手还存在差距用户体验质量随着用户访问量，骨干网带宽冗余量，IDC的运营质量变化而变化用户体验质量与运营成本的平衡关系-并非越快越好用户体验的监控和优化是一项长期工作腾讯要成为受人尊敬的互联网企业，用户体验质量是一块基石,Q&A,谢谢大家答疑时间,
