大型门户网站架构设计方案.doc

《大型门户网站架构设计方案.doc》由会员分享，可在线阅读，更多相关《大型门户网站架构设计方案.doc（44页珍藏版）》请在三一办公上搜索。

1、上海工商业联合会大型门户网站架构设计方案上海丑丑网络科技有限公司2012-7目录12网站的性能瓶颈分析 . 3系统架构设计 . 42.1总体思路 . 42.1.12.1.22.1.32.1.4负载均衡 . 4WEB应用开发架构思路 . 4数据存储的设计思路 . 5不同网络用户访问考虑 . 52.2总体架构 . 52.2.12.2.22.2.32.2.4网站的系统分层架构 . 5网站的物理架构 . 6网站的开发架构 . 7网络拓扑结构 . 82.3架构涉及技术的详解 . 92.3.12.3.22.3.32.3.42.3.52.3.62.3.7负载均衡 . 9缓存 . 13页面静态化 . 15数据

2、库配置及优化 . 16文件存储 . 17网络问题解决方案 . 19WEB应用开发架构设计思路 . 202.4系统软件参数优化 . 242.4.12.4.22.4.32.4.4操作系统优化 . 24tomcat服务器优化. 24apache服务器优化 . 25Nginx服务器的优化 . 253WEB服务架构评测 . 253.1测试环境 . 253.1.13.1.23.1.3网络环境 . 25服务器配置 . 26软件环境 . 273.2测试结果 . 313.2.13.2.23.2.3单个TOMCAT的WEB服务器 . 31Nginx+2个TOMCAT的WEB服务器 . 32Nginx+2个TOMC

3、AT的WEB服务器+缓冲. 333.33.4测试结果分析 . 34评测结果 . 344配置选型 . 354.14.2网络带宽 . 35架构和硬件配置选型 . 354.2.14.2.2硬件配置参考 . 35Web架构和硬件选型 . 364.3硬件扩容策略 . 374.3.14.3.24.3.34.3.4增加服务器 . 37增加存储 . 37升级服务器 . 37网络扩容 . 375网站咨询频道 . 385.1资讯频道结构图385.1.15.1.2新闻咨询 . 38新闻专题 . 406网站B2B平台功能模块构架 . 406.1商会黄页 . 406.1.16.1.26.1.36.1.4商会网站 . 4

4、0商会搜索 . 40热门商会 . 40加入商会 . 416.2企业黄页 . 416.2.1企业网站 . 41. 416.2.26.2.3企业分类 . 41企业搜索 . 416.3商会注册 . 41. 416.46.56.6企业注册 . 41个人注册 . 42诚信认证 . 42. 426.7慈善机构 . 42. 4278910附录：一些主流网站的真实数据 . 42网站阶段型收费预算评估 . 44网站开发项目组结构一览表： . 44系统测试及客户验收： . 441 网站的性能瓶颈分析网站的性能影响因素很多，下面主要从如下4个方面进行分析说明：1) 网络负载a)b)公网负载内网负载2) WEB应用服

5、务器性能a)b)c)d)CPU存储，I/O访问内存并发TCP/IP连接数3) 数据库服务器性能a)b)c)数据库参数配置服务器性能（CPU、内存、存储）数据结构的合理性4) 不同WEB应用的处理方式而对不同的性能瓶颈a)对于静态的网站：静态的HTML页面严格地由标准的HTML标示语言构成，并不需要服务器端即时运算生成。这意味着，对一个静态HTML文档发出访问请求后，服务器端只是简单地将该文档传输到客户端。从服务器运行的那个时间片来看，这个传输过程仅仅占用了很小的CPU资源。对于静态HTML的访问瓶颈为：网络带宽、磁盘I/O以及cache(高速缓冲存储器)。b)对于动态页面因为服务器解析动态页面

6、必须在其传输到客户端前就通过服务器来进行解释，这样就会给应用服务器添加额外的性能消耗，如果进一步要访问数据库，则会增加数据库服务器的性能消耗，则动态页面还有额外的瓶颈：应用服务器的性能，数据库服务器的性能。2 系统架构设计2.1总体思路为提高网站的高并发性能,提高开发效率及运营效率,主要按如下几个思路进行规划设计:2.1.1负载均衡1) 四层交换负载均衡：采用负载均衡器来实现硬件级的四层交换负载均衡，或采用LVS来实现软件的四层交换负载均衡。2) 通过第三方软件来实现负载均衡,同时实现页面请求的缓存。通过Nginx实现反向代理服务器集群，同时搭建squid集群以作为静态页面和图片的缓存。3)

7、通过web服务器的配置来实现负载均衡即通过apache或是Nginx 将客户请求均衡的分给tomcat1,tomcat2.去处理。2.1.2WEB应用开发架构思路1) 应用开发实现MVC架构三层架构进行web应用开发2) 页面尽可能静态化以减少动态数据访问，如果是资讯类的网站可以考虑采用第三方开源的CMS系统来生成静态的内容页面。3) 采用Oscache实现页面缓存,采用Memcached实现数据缓存4) 采用独立的图片服务器集群来实现图片资源的存储及WEB请求2.1.3数据存储的设计思路1) 数据库拆分,把生产数据库和查询数据库分离，对生产数据库采用RAC实现数据库的集群。2) 采用高效的网

8、络文件共享策略，采用图片服务器来实现页面的图片存储。2.1.41)2)不同网络用户访问考虑通过引入CDN来解决不同网络服务商的接入速度问题，一般只能解决静态页面的访问问题。在不同运营商机房部署服务器，通过镜像技术来实现不同网络服务商的接入速度问题。2.2总体架构2.2.1网站的系统分层架构硬件四层交换软件四层交换负载均衡器LVSNginx proxySquid负载均衡反向代理软件（数据缓存）Squid cacheNginx cacheWEB服务（Apache+tomcatApacheTomat.Tomat负载均衡）MVCControlWEB服务器应用架构ModelView架构应用级缓存数据持久

9、层(ibatis)页面缓存(OSCache)数据缓存(Memcached)数据存储文件共享NFSHDFS数据库 生产数据库查询数据库2.2.2网站的物理架构用户浏览页面Internet负载均衡器1.服务器2代理服务器集群（Nginx）服务器1服务器2服务器3服务器n服务器2服务器1服务器2服务器1服务器2服务器1服务器2服务器1服务器n图片服务器集群Web服务器集群AWeb服务器集群BSquid服务器集群.2.2.3网站的开发架构通讯层消息中心业务层持久层数据层WEB服务器数据存储SMSMMS基于struts 的MVC框架ControlORMI/O文件存储HDFSWAPPUSH消息中心请求Vi

10、ew Model页面缓存（Memcached）ibatisDB连接池数据库生产数据库（RAC）短信群发器WEB容器Apache Tomat . TomatC3p0JDBC生产数据库（RAC）彩信群发器后台支撑模块HTML静态化模块统计支撑模块业务支撑模块查询数据库数据2.2.4网络拓扑结构Internet主防火墙备防火墙主交换机负载均衡器1VRRP备交换机负载均衡器2.服务器2服务器2服务器2服务器2服务器2服务器1服务器n服务器1服务器n服务器1 服务器n服务器1 服务器n服务器1服务器n服务器1服务器2代理服务器集群（Nginx）网站服务器集群图片服务器集群 应用服务器集群生产DB服务器集

11、群查询DB服务器组管理终端备注：光纤交换机磁盘阵列柜磁盘阵列柜光纤交换机1)2)3)4)采用双防火墙双交换机做网络冗余，保障平台服务采用双防火墙通知接通2线路互联网接入，设备之间采用VRRP协议，在任何一个防火墙、互联网发生故障后均可自动将流量切换到另一端，保证网站的正运行，设备或网络恢复后，自动恢复。采用双千兆交换机分别接在2台防火墙上，当某台设备或者网络链路发生故障后，好设备自动接管已坏设备的工作，不影响网站的整体运行，根据业务及真实服务器的数量，交换机可以随时增加。采用硬件设备负载均衡器，实现网络流量的负载均衡使用硬件设备负载均衡器，将网络流量均衡的分担到WEB服务器集群各节点服务器，保障平台服务器资源均衡的使用。采用代理服务器，实现软件级的网络负载均衡。数据库服务器分离成生产数据库集群和查询数据库集群，实现生产读写与后台查询统计进行分离，同时生产数据库采用rac技术进行.2.3