TRSWCM6.5集群部署手册.doc

内容协作平台TRS WCM 6.5集群部署手册 北京拓尔思信息技术股份有限公司Beijing TRS Information Technology Co. Ltd版权说明 本手册由北京拓尔思信息技术股份有限公司（以下简称TRS公司）出版，版权属TRS公司所有。未经出版者正式书面许可，不得以任何方式复制本文档的部分或全部内容。©北京拓尔思信息技术股份有限公司 版权所有。保留所有权利。 是北京拓尔思信息技术股份有限公司的注册商标。关于本手册本手册描述了WCM集群应用的优点与部署拓扑结构，并通过实例说明如何设置nfs完成文件共享及apache进行负载均衡。文档最后简略说明了集群相应设置的所有参数的意义与作用。按照本手册的说明，应该可以完成集群环境的部署与安装。不过，环境条件有限，另外一些负载均衡设备的配置肯定会有所不同，这个需要参阅其它相应的手册完成部署设置。读者对象 本手册适用于所有需要了解实施部署安装WCM集群的工程师。有相关的Linux操作系统管理经验对一些描述的理解会有所帮助。用户反馈TRS公司感谢您使用TRS 产品。如果您发现本手册中有错误或者产品运行不正确，或者您对本手册有任何意见和建议，请及时与TRS公司联系。您的意见将是我们做版本修订时的重要依据。目 录第1章 WCM集群带来的改变11.1 伸缩性（Scalability）11.2 高可用性（High availability）11.3 负载均衡（Load balancing）1第2章 WCM集群部署拓扑2第3章 实际部署示例53.1 文件服务器53.2 负载均衡63.3 静态文件发布设置83.4 一个完整的vhost设置示例93.5 验证部署13第4章 单机模式设置为集群模式的步骤15第5章 WCM中的集群设置175.1 trswcmcluster.properties设置175.2 数据库中的设置17第1章 WCM集群带来的改变1.1 伸缩性（Scalability） 在一些系统中，预测最终用户的数量和行为是非常困难的，伸缩性是指系统适应不断增长的用户数的能力。提高这种并发会话能力的一种最直观的方式就增加资源（CPU、内存、硬盘等），集群是解决这个问题的另一种方式，它允许一组服务器组合工作在一起，像单个服务器一样对外提供服务。集群中的每一个服务器我们称之为一个节点。1.2 高可用性（High availability）单一服务器的解决方案并不是一个健壮方式，因为容易出现单点失效的情况，当有且仅有的一个服务器不能提供服务时，整个系统就不可用了。集群方案通过在集群中增加的冗余的服务器，使得在其中一台服务器失效后仍能提供服务，从而获得高的可用性。 1.3 负载均衡（Load balancing）负载均衡是集群的一项关键技术，通过把请求分发给不同的服务器，从而获得高可用性和较好的性能。负载均衡器可以是专用的硬件（如F5设备），也可以是一个带有负载均衡功能的应用/WEB服务器。WCM集群是应用级的集群解决方案，不包含负载均衡功能，因此需要前端设施的支持。第2章 WCM集群部署拓扑图1显示了一个简化后的典型的WCM集群部署拓扑结构。用户通过Internet/Intranet接入系统，负载均衡器按照既有的算法把用户请求转发到有效的服务器节点上，然后由该节点为用户提供实际的服务。在WCM中，除了存储在关系数据库的信息外，大部分文件都存储在本地文件中，在集群环境中，不同的节点访问的应该是同一个文件，因此需要一个文件服务器（共享存储设备）。图 1 WCM集群部署拓扑图集群的各个节点需要稳定可靠的网络通信以确保各个节点间的信息是一致的，这样才能保证给用户提供的服务是正确可靠的，因此，我们建议包括文件服务器，数据库服务器，集群服务器在内的后端服务器都通过一个私有专用的子网互联，避免外部网络的干扰。第3章 实际部署示例条件所限，没有实际的硬件设施可供测试配置，文件服务器我们通过nfs处理，而负载均衡则采用apache的负载均衡方案进行说明。实际项目中有其它设备的参考相应的手册处理。本章除了说明nfs及apache负载均衡的相关设置外，给出一个完整的apache设置示例内容，并简单介绍了验证部署的两个方法和步骤。3.1 文件服务器WCMData目录中的资源文件是所有节点的共享的内容，没有网络存储的情况下，我们目前使用网络共享来达到目的。Windows操作系统的映射网络磁盘工作不作详细说明，下面的步骤说明Linux操作系统NFS共享设置。server 端通过设置/etc/exports文件来配置共享的目录，设置格式如下：/path/to/share host1(options) /path/to/share是要共享的目录，每个目录一行，后面host1(options)表示一个可访问该目录的一个客户主机，host1可以是主机名，IP地址等，可以使用*做通配符options是一系列权限相关的设置，在我们这里，必须是可读写权限。关于exports file的详细说明请查阅Linux相关的文档。示例设置如下(建议的options设置)：/exports/WCMData 192.9.100.*(rw,fsid=6666,sync,no_subtree_check,no_root_squash) 设置后，可以通过exportfs命令使用设置生效，在这之前要确认nfsserver已经启动。root test root# /etc/rc.d/init.d/nfs startroot test root# exportfs -rvclient 端客户端只要使用mount命令把文件挂载进来即可root test root# mount t nfs <nfsserver>:/path/to/share /mount/point其中的<nfsserver>即是上面设置了共享的服务主机（名称/IP均可），/path/to/share是共享的目录，/mount/point是本机的挂载点。在wcm集群中，节点上的挂载点应该有相同的路径及名称。示例：root test root# makedir p /mnt/nfs/WCMData root test root# mount t nfs 192.9.200.41:/exports/WCMData /mnt/nfs/WCMData 3.2 负载均衡集群节点协同工作以后，需要将客户端的请求分发到各节点上。目前我们使用apache做为前端负载均衡的转发器。考虑到jk的稳定性，我们建议使用代理模式协同工作。因此，安装的apache需要有mod_proxy,mod_rewrite,及mod_proxy_balancer等模块。主要设置如下：#section 1设置负载均衡的成员<Proxy balancer:/wcmcluster>BalancerMember http:/192.9.100.234:8080 route=m234BalancerMember http:/192.9.100.216:8080 route=m216BalancerMember http:/192.9.100.217:8080 route=m217#ProxySet stickysession=CSID</Proxy> #section 2 设置转发规则，只有动态请求才转发到应用服务器RewriteEngine on RewriteRule /wcm/(.*.(jsp|do|jws)$balancer:/wcmcluster/wcm/$1 P,L RewriteRule /wcm/(.*;jsessionid.*)$balancer:/wcmcluster/wcm/$1 P,L RewriteRule/wcm/app/application/(.*) balancer:/wcmcluster/wcm/app/application/$1 P,LRewriteRule /wcm/servicesbalancer:/wcmcluster/wcm/services P,LRewriteRule /servletbalancer:/wcmcluster/servlet P,L RewriteRule /wcm/console/publish/publishtask_show.jsphttp:/192.9.100.217:8080/wcm/console/publish/publishtask_show.jsp P,L#section 3 转发规则，反向代理模式转发到应用服务器#ProxyPassReverse / balancer:/wcmclusterProxyPassReverse / http:/192.9.100.234:8080/ ProxyPassReverse / http:/192.9.100.216:8080/ProxyPassReverse / http:/192.9.100.217:8080/#section 4 apache均衡管理器<Location /wcmcluster-manager>SetHandler balancer-manager#Deny from all#设定可以访问管理器的主机Allow from 192.9.200.88</Location>注意事项1. route与stickysession会话固定是负载均衡器的一个重要功能，其作用是把用户会话固定在一个服务节点上，当且仅当该节点失效时才会将会话转发到其它节点处理。这两项的设置与wcm中的设置也有关系，下面会再说到2. publishtask_show目前发布任务只会在集群的主节点执行，因此查看正在执行的发布任务的详细信息时只有主节点能够提供服务。主节点的确定也与wcm中的设置有关。3.3 静态文件发布设置前面负载均衡一节说明了通过proxy,urlrewrite等规则设置，将jsp等动态请求转发到各节点的应用服务器，wcm其它的静态文件（包括图片,html,js,css等资源）都通过apache直接响应请求输出到服务器端。另外，WCMData对外提供服务的webpic，pub，preview，template等四个目录的静态资源（一般情况下，这些目录也只应该有静态资源）也是通过apache直接服务。该设置通过alias和directory指令完成，示例下如所示。其中的/path/to/xxx替换为实现的文件路径。Alias /webpic "/path /to/TRSWCMV65/WCMData/webpic" #设置webpic<Directory "/path/to/TRSWCMV65/WCMData/webpic"> Options -Indexes MultiViews FollowSymLinks Includes AllowOverride None Order allow,deny Allow from all</Directory>#按照webpic的形式设置pub,preview,template等其它三个目录Alias /wcm "/path/to/TRSWCMV65/webapps/wcm"#设置wcm<Directory "/path/to/TRSWCMV65/webapps/wcm"> Options -Indexes MultiViews FollowSymLinks Includes DirectoryIndex index.html AllowOverride None Order allow,deny Allow from all</Directory>3.4 完整的vhost设置示例下面给出一个完整的两个节点的集群的virtualhost的示例设置，一般来说，只要替换其中的具体IP及相关目录的路径即可完成配置。如果多于两个节点，则是在proxy节处加入BalancerMember并在后面的ProxyPassReverse节加入新的节点即可<VirtualHost *:80> AddType text/javascript .js AddType text/css; .css AddType text/html;charset=UTF-8 .html ServerName 192.9.200.88 ServerAdmin webmaster <Proxy balancer:/wcmcluster> BalancerMember http:/192.9.200.216:6666 route=m216 BalancerMember http:/192.9.200.241:9999 route=m241 #ProxySet stickysession=CSID </Proxy>RewriteEngine on RewriteRule /wcm/(.*.(jsp|do|jws)$balancer:/wcmcluster/wcm/$1 P,LRewriteRule /wcm/(.*;jsessionid.*)$balancer:/wcmcluster/wcm/$1 P,LRewriteRule /wcm/app/application/(.*) balancer:/wcmcluster/wcm/app/application/$1 P,LRewriteRule /wcm/services balancer:/wcmcluster/wcm/services P,LRewriteRule /wcm/stat/cewolf balancer:/wcmcluster/wcm/stat/cewolf P,LRewriteRule/wcm/console/stat/cewolf(.*) balancer:/wcmcluster/wcm/console/stat/cewolf$1 P,LRewriteRule/servlet balancer:/wcmcluster/servlet P,LRewriteRule/wcm/console/publish/publishtask_show.jsp http:/192.9.200.241:9999/wcm/console/publish/publishtask_show.jsp P,L#ProxyPassReverse / balancer:/wcmclusterProxyPassReverse / http:/192.9.200.216:6666/ProxyPassReverse / http:/192.9.200.241:9999/Alias /webpic "/home/trs/TRSWCMV65/WCMData/webpic" <Directory "/home/trs/TRSWCMV65/WCMData/webpic"> Options -Indexes MultiViews FollowSymLinks Includes AllowOverride None Order allow,deny Allow from all </Directory> Alias /pub "/home/trs/TRSWCMV65/WCMData/pub" <Directory "/home/trs/TRSWCMV65/WCMData/pub"> Options -Indexes MultiViews FollowSymLinks Includes AllowOverride None Order allow,deny Allow from all </Directory>Alias /preview "/home/trs/TRSWCMV65/WCMData/preview" <Directory "/home/trs/TRSWCMV65/WCMData/preview"> Options -Indexes MultiViews FollowSymLinks Includes AllowOverride None Order allow,deny Allow from all </Directory> Alias /template "/home/trs/TRSWCMV65/WCMData/template" <Directory "/home/trs/TRSWCMV65/WCMData/template"> Options -Indexes MultiViews FollowSymLinks Includes AllowOverride None Order allow,deny Allow from all </Directory> Alias /wcm "/home/trs/TRSWCMV65/webapps/wcm" <Directory "/home/trs/TRSWCMV65/webapps/wcm"> Options -Indexes MultiViews FollowSymLinks Includes DirectoryIndex index.html AllowOverride None Order allow,deny Allow from all </Directory> <Location /wcmcluster-manager> SetHandler balancer-manager #Deny from all Allow from 192.9.200.88 #Allow from all </Location></VirtualHost> 注意：示例中的一些换行可能是文档排版需要，在实际设置时要注意每一条RewriteRule都是一行3.5 验证部署设置完成后，可以通过以下几个步骤确认一下相关的配置是否正确。1 访问wcmcluster-manager，将可以看到apache负载均衡所设置的相关节点的信息。如下图所示2 访问wcm登录后访问wcm/wcm_use/get_managermember.jsp将可以看到WCM相应的几个集群节点的信息。如下图所示，可以看到两个节点第4章 WCM集群与IDS协同本章说明WCM集群与IDS协同的注意事项，基本的协同设置与步骤查阅相关的文档。4.1 web.xml的设置与IDS协同时，需要在wcm应用的web.xml加入SSOFilter等设置。与单机协同设置不同的是必须将IDS的相关设置放在ClusterSessionFilter的设置之后。4.2 Apache与JK设置由于目前IDS对于反向代理模式的协同支持尚不完善，因此需要设置Apache以JK的方式与应用服务器协同工作。对于静态文件的设置仍然可以使用前面所说的方式进行设置，本节只说明不同的部分#加载mod_jk ModuleLoadModule jk_module modules/mod_jk.so#指定 wcmbalancer.properties文件路径。一般该配置文件部署在apache的conf目录JkWorkersFile conf/wcmbalancer.properties<VirtualHost *:80> #指定那些请求交给tomcat处理JkMount /wcm/services wcmbalancerJkMount /*.jsp wcmbalancerJkMount /*.do wcmbalancerJkMount /wcm/app/application/* wcmbalancer</VirtualHost>4.2.1 apache设置4.2.2 wcmbalancer.properties设置#server 列表.mxxx是节点的名字，有多少个节点就设置几个worker.list=wcmbalancer,m241,m216#ajp13 端口号，在tomcat下server.xml配置,默认8009#tomcat的主机地址，如不为本机，请填写ip地址#server的加权比重，值越高，分得的请求越多。#可以将主节点的比重设置为小一点的值#=m241=worker.m241.port=8009worker.m241.host=192.9.200.241worker.m241.type=ajp13worker.m241.lbfactor=2#=m216=worker.m216.port=8009worker.m216.host=192.9.200.216worker.m216.type=ajp13worker.m216.lbfactor=3#=wcmbalancer,负载均衡控制器=worker.wcmbalancer.type=lbworker.wcmbalancer.balance_workers=m241,m216worker.wcmbalancer.sticky_session=0 #IDS对sticksession支持不完善4.3 IDS的设置在IDS中将应用地址与请求地址设置为apache的地址，如图所示。另外，需要注意的是wcm应用中的trsids-agent.properties的设置在各个节点是一样的。第5章 单机模式设置为集群模式的步骤由于项目实施部署时的一些原因，有时可能会是首先部署了一个wcm运行在单机模式（非集群），然后随着项目的进展与推移最终需要部署为集群模式的的情况。本章主要说明的是wcm端的设置，其中的提到的一些参数的具体说明参见下一章的内容。而apache等的设置参见前面的章节的内容。1. 修改/path/to/wcm/WEB-INF/classes/trswcmcluster.propertiesa) 设置cluster.enabled项的值为trueb) 设置集群节点间通讯的IP地址，一般建议节点间的网络通讯使用独立的子网，以保证节点间集群消息同步的畅通不受其它消息的干扰。相关的参数是cluster.multicastBind,cluster.tcpListenAddress及cluster.udpListenAddress三个。如果只有一块网卡可以保留默认的值(auto)。c) 其它选项按照部署手册中的说明按需设置。一般来说，保留默认值即可2. 修改系统配置中的集群配置（配置管理à系统配置à集群配置）a) 修改cluster.master项的值为主节点的主机IP,取值为前面设置的cluster.multicastBind的值（选择一个节点为主节点）b) 其它选项按照部署手册中的说明按需设置。一般来说，保留默认值即可。需要注意的是三个与端口有关的参数：1) cluster.multicastPort,默认值为543212) cluster.tcpListenPort,默认值为543223) cluster.udpListenPort，默认值为54323。如果默认的端口号已被占用，需要另外指定。3. 完成设置后重启wcm应用，通过前面所说的验证步骤确认设置是否正确。第6章 WCM中的集群设置一般来说，安装程序在安装过程中会询问一些信息并完成设置。不过，如果由一些基础设施环境（如网络设置等）变更的话，需要变更集群的相关设置，wcm应用中的设置分为两部分：一部分是在trswcmcluster.properties文件中设置，这部分是每个节点所私有的；另一部分在数据库中，这部分是各个节点共用的。下面给出每一项设置的定义。6.1 trswcmcluster.properties设置u cluster.enabled=true是否启用集群，如果要成为集群节点，则此项必须为trueu cluster.memberName= 节点的名称，标识该节点。可以为空，由系统自动分配u cluster.memberHost=节点主机名。可以为空u cluster.multicastBind=192.9.100.217节点间进行多播通信的绑定网卡地址u cluster.tcpListenAddress=192.9.100.217 节点间进行TCP通信的绑定网卡地址u cluster.udpListenAddress=192.9.100.217 节点间进行UDP通信的绑定网卡地址u cluster.session.balancerRoute=负载均衡器的route名称，apache设置中的stickysession中已提到过。这里设定的值应该与前面提到的route值是一致的。如果不需要stickysession，则应该把该设置注释掉6.2 数据库中的设置u cluster.master=主节点IP地址，这个确定那个是主节点看，应该把该节点的cluster.multicastBind值设为一致。也就是说cluster.multicastBind与cluster.master相同的节点为主节点。注意前面提到的apache转发设置中的publish_taskshow，具体的访问地址应该指向确定的主节点u cluster.magicNumber= 消息前缀魔数u cluster.multicastAddress= 多播IP地址u cluster.multicastPort= 多播监听端口号u cluster.multicastThreadCount= 多播线程数u cluster.multicastTTL= 多播TTLu cluster.tcpListenPort= TCP监听端口号 u cluster.tcpBufferSize= TCP传输缓冲区大小u cluster.tcpSoTimeout= TCP连接超时时间u cluster.tcpThreadCount= TCP线程数u cluster.udpListenPort= UDP监听端口号u cluster.udpBufferSize= UDP传输缓冲区大小u cluster.udpSoTimeout= UDP连接超时时间u cluster.udpThreadCount= UDP线程数u cluster.session.cookieName= cookie nameu cluster.session.cookiePath= cookie pathcluster.session.cookieTLD= cookie top level domain。默认值为2，如果使用.cn域名的，需要将此值设置为0或大于等3的值。简单来说，就是控制最后的cookie设置的domain是什么。tld的值是截取几个点，对于这个域名访问来说。tld值为2时,则cookie设置到的域名是，而tld值为3时,则cookie设置到的域名是。如果是0或负数，就不截取，直接是。该值主要是出于cookie共享的考虑，例如tld值为3时，对于和两个应用可以共享设置在域上的cookieuu cluster.session.cookieDomain= cookie domain。如果设置了该值，则忽略cookieTLD参数。如果cookieTLD与cookieDomain都没有设置，则cookie将按所访问的域名设置u cluster.session.timeout= 会话超时时间u cluster.session.limit= 会话数限制u cluster.session.unimitURI= 会话URIu cluster.session.addressLimit= 会话地址限制u cluster.session.addressSpecial= 会话特殊地址u cluster.session.balancerSeparator= 负载均衡sticksession分隔符，该配置同样与stickysession设置有关。