大规模WebServer集群的高效运维.ppt
大规模Web-Server集群的高效运维,大规模Web-Server集群的高效运维,提纲,业务场景 接入架构 运维的挑战 高效运维的实践 未来愿景,提纲 业务场景,业务场景,QQ在线 2.59 亿 手Q在线 2.49 亿 刷一刷抢红包用户数 3.08 亿 QQ日消息发送总量 200 亿条 Qzone在线 3 千万 相册日上传图片 6 亿张,业务场景 QQ在线 2.59 亿,业务场景,挑战：海量并发、延迟、服务可持续性 服务器规模 1万台 服务可用性 = 99.99%,业务场景 挑战：海量并发、延迟、服务可持续性,GOPS2016 全球运维大会上海站,三层架构,PC QQ,GSLB,CDB,PC浏览器,APP,手机QQ,CONN,WNS,SSO,TGW/STGW,CGI,SPP,Grocery,CKV,Tlist,GOPS2016 全球运维大会上海站三层架构PC QQGS,GOPS2016 全球运维大会上海站,接入层服务架构,TGW/STGW,反向代理（*Nginx）,WEB（Qzhttp/*Nginx/Tomcat）,GSLB,SPP/SF2,IP调度,监控测速拨测测试,L5/CMLB,运营门户,发布系统,GOPS2016 全球运维大会上海站接入层服务架构TGW/,应用3,GOPS2016 全球运维大会上海站,Web架构的变迁,应用1,TGW,应用2,Nginx,2022/11/11,四个阶段1）使用域名来隔离业务 - 简单 - DNS解析太多2）业务统一域名 - DNS解析快 - 部署复杂，应用耦合3）添加反向代理 - 后端应用分离 - 增加了一层架构,应用3GOPS2016 全球运维大会上海站Web架构的变迁,应用3,GOPS2016 全球运维大会上海站,Web架构的变迁,应用1,STGW,应用2,Nginx,HTTPS阶段 证书存储在STGW STGW使用硬件加速卡 保持现有业务架构 第一次请求延迟较HTTP增加,应用3GOPS2016 全球运维大会上海站Web架构的变迁,GOPS2016 全球运维大会上海站,全网接入架构,接入覆盖全网 三大运营商 中小运营商：CAP内容加速平台 香港接入 海外接入,电信,联通,移动,海外,CAP,香港IDC,海外IDC,中小运营商,数据中心,GOPS2016 全球运维大会上海站全网接入架构接入覆盖全,GOPS2016 全球运维大会上海站,移动终端接入架构,探测点1,探测点2,探测点n,大数据分析处理,调度系统,上报结果,模拟用户端,电信登录SET群,联通登录SET群,移动登录SET群,多地,探测点3,反馈最优IP,实时网络探测,实时最优IP计算 全网几百个随机实时VIP探测点 能登录-最近登录-最优登录,GOPS2016 全球运维大会上海站移动终端接入架构探测点,GOPS2016 全球运维大会上海站,接入运维的挑战-一线事务多,一线工程师,一线工程师,一线工程师,一线工程师,二线工程师,设备故障处理业务报障处理业务接入（域名申请到上线）日常扩缩容版本升级业务规则变更其它,GOPS2016 全球运维大会上海站接入运维的挑战-一线事,GOPS2016 全球运维大会上海站,接入运维的挑战-上下机器规模大,大规模的机器上下线 机房裁撤 网络改造 业务活动,GOPS2016 全球运维大会上海站接入运维的挑战-上下机,GOPS2016 全球运维大会上海站,接入运维的挑战-坑多,路由复杂,标准化程度不够,业务部署不规范,组件多,自动化程度不够,拥抱架构变化,新旧架构迁移,人工运维易犯错误,监控覆盖率不高,标准化路由化流程化自动化监控率,GOPS2016 全球运维大会上海站接入运维的挑战-坑多路,GOPS2016 全球运维大会上海站,接入运维的核心因素,GSLB,TGW,服务质量,Nginx,包,业务模块,业务CGI,L5,配置文件,权限,接入服务,业务逻辑 监控能力 部署能力 资源管理 业务模块,计算资源,流程,GOPS2016 全球运维大会上海站接入运维的核心因素GS,GOPS2016 全球运维大会上海站,高效运维-织云自动化,每个模块下的设备提供的服务都完全一致，每个模块可以看作是提供服务的最小单元。一个模块下的服务抽象成以下几个资源配置：软件包、配置、文件、权限、脚本。,GOPS2016 全球运维大会上海站高效运维-织云自动化每,GOPS2016 全球运维大会上海站,高效运维-路由策略,Nginx与L5联动管理upstream配置upstream的格式：upstream _pc l5id 201607:65535;,自动生成Nginx upstream格式的ip-port :server 10.10.1.18:80 weight=100;server 10.10.1.19:80 weight=100;server 10.10.1.20:80 weight=100;server 10.10.1.21:80 weight=100;,自动检测，检测L5有变更后重新生成upstream，并随机sleep 来reload nginx服务。,GSLB,VIP,Nginx,L5,RS,1,2,3,GOPS2016 全球运维大会上海站高效运维-路由策略Ng,GOPS2016 全球运维大会上海站,高效运维-路由策略,下线三步骤1）删除路由2）流量观察3）隔离操作,1,2,3,GOPS2016 全球运维大会上海站高效运维-路由策略下线,GOPS2016 全球运维大会上海站,高效运维-包发布系统,像管理软件一样管理包,GOPS2016 全球运维大会上海站高效运维-包发布系统像,GOPS2016 全球运维大会上海站,高效运维-配置文件管理,GOPS2016 全球运维大会上海站高效运维-配置文件管理,GOPS2016 全球运维大会上海站,高效运维-配置文件管理,GOPS2016 全球运维大会上海站高效运维-配置文件管理,GOPS2016 全球运维大会上海站,高效运维-一键扩容,申请设备,获取资源,发布部署,业务测试,发布自检,灰度上线,自动执行流程,1.获取参数列表2.屏蔽负载事件通知3.查询设备调度接口,4.根据模块ID查域名5.获取资源配置6.申请权限接口7.获取设备IP地址,8.屏蔽告警9.安装程序包10.同步文件11.获取CC参数12.发配置13.执行脚本14.主调扩容,15.启动软件包16.进程端口扫描17.上报变更日志,18.查询授权结果19.自动化测试,20.VIP添加RS21.L5被调扩容22.告警屏蔽解除23.开启负载事件通知,GOPS2016 全球运维大会上海站高效运维-一键扩容申请,GOPS2016 全球运维大会上海站,高效运维-自动扩容流程,申请设备,获取资源,发布部署,业务测试,发布自检,灰度上线,与运营中设备的一致性对比进程端口自检,质量部,ATT,QTA,协议级自动化测试连通性的工具测试,GOPS2016 全球运维大会上海站高效运维-自动扩容流程,GOPS2016 全球运维大会上海站,高效运维-流程剖析,GOPS2016 全球运维大会上海站高效运维-流程剖析,GOPS2016 全球运维大会上海站,高效运维-流程剖析,GOPS2016 全球运维大会上海站高效运维-流程剖析,GOPS2016 全球运维大会上海站,高效运维-如何做灰度,负载均衡组件,灰度系统,成功率上报,权重调节,扩容设备,业务请求,1%-100%,100%,线上设备,灰度的方法 TGW上的权重调整 L5上的权重调整 Nginx+L5的权重关联调整,GOPS2016 全球运维大会上海站高效运维-如何做灰度负,GOPS2016 全球运维大会上海站,高效运维-快速调度能力,仓库爆炸事件,用户调度,回调4千万用户,回调所有用户,调度结束,12日晚23时,13日白天,14日凌晨,14日上午,20日白天,7500万用户迁移,GOPS2016 全球运维大会上海站高效运维-快速调度能力,GOPS2016 全球运维大会上海站,高效运维-快速调度能力,变更GSLB 变更为异地TGW VIP 10分钟生效 变更直连IP 下发新的VIP给移动终端 秒级生效 变更L5内部服务 变更L5地址 秒级生效,GOPS2016 全球运维大会上海站高效运维-快速调度能力,GOPS2016 全球运维大会上海站,核心能力的开放,GSLB,TGW,服务质量,Nginx,包,业务模块,业务CGI,L5,配置文件,权限,接入服务,计算资源,流程,CLB,云解析,维纳斯WNS,CVM,云拨测,云诊断,蓝鲸,织云,GOPS2016 全球运维大会上海站核心能力的开放GSLB,GOPS2016 全球运维大会上海站,接入运维工程师的价值和能力要求,从防守型的运维到进取型的运营,业务变更,业务与架构能力,问题诊断能力,工具开发能力,运营平台构建能力,数据分析与决策,开源组件的改造能力,GOPS2016 全球运维大会上海站接入运维工程师的价值和,GOPS2016 全球运维大会上海站,接入运维门户,织云,CMDB,监控系统,GSLB/TGW/L5,接入运维服务门户,业务自助,团队全员开发能力,流程引擎,调度决策,数据分析,GOPS2016 全球运维大会上海站接入运维门户织云CMD,GOPS2016 全球运维大会上海站,故障定位的挑战,使用云诊断能快速定位用户网络、域名、服务、运营商等问题,GOPS2016 全球运维大会上海站故障定位的挑战使用云诊,GOPS2016 全球运维大会上海站,未来愿景,打通最后一公里-业务扩缩容自动化,服务化能力-实现Web as a Service,用户访问日志的数据挖掘与分析,GOPS2016 全球运维大会上海站未来愿景打通最后一公里,感谢聆听,感谢聆听,
