中间业务平台HACMP安装配置指南.docx

《中间业务平台HACMP安装配置指南.docx》由会员分享，可在线阅读，更多相关《中间业务平台HACMP安装配置指南.docx（26页珍藏版）》请在三一办公上搜索。

1、一、HACMP双机系统配置计划在配置中间业务平台HACMP环境之前首先要制定配置计划。在IBM HACMP的配置指 南中推荐了一种配置计划表的方式（Planning Worksheet），在进行配置考虑的时候将这些 表格填完即可。通常分行中间业务平台的HACMP环境大体都有相似的拓扑环境，两个Public 类型的网络，一个用于提供中间业务服务（使用IP alias方式），另一用于连接AS/400的SNA（必须使用IP replacement方式）Cluster WorksheetCluster Name：xxibp_clusterNode Name： xxMID_PRD，xxMID_BAK在主

2、节点上配置拓扑结构然后同步到其他节点，网络拓扑如下：（1）Network概 览Network Name Network Type Network Attribute Network Mask Node Namesnet_ibpEtherpublic255.255.255.0xxMID_PRD，xxMID_BAKnet_snaEtherpublic255.255.255.0xxMID_PRD，xxMID_BAKnet_rs232_01RS-232serialN/AxxMID_PRD，xxMID_BAK（2）Network内部结构Networknet_ibpService 地址：ibp_svc 1

3、0.1.7.33Boot地址：ibp_boot2172.16.101.1ibp_boot1172.16.100.1Networksna_netService 地址：sna_svc172.16.120.3Boot地址：sna_boot172.16.120.1Standby 地址：sna_stb172.16.121.1SNA的网络配置IP （可以使用私有地址，如172网段的任何地址，但两块网卡要在同一网段），只是为了能够互相切换，平时的小地址不用。Network net_rs232_01bp_tty0_01/dev/tty0两边主机上的/etc/hosts文件中的内容参照如下，以下是摘取总行服务器

4、上的/etc/hosts 文件，仅供参考：172.16.100.1172.16.101.1172.16.100.2172.16.101.210.1.7.3310.1.7.23310.1.7.31ibp_boot1#xxMID_PRD_ent0ibp_boot2#xxMID_PRD_ent5ibpha_boot1#xxMID_BAK_ent0ibpha_boot2#xxMID_BAK_ent5ibp_svc ibpfx_pers ibpha_pers172.16.120.1172.16.121.1172.16.120.2172.16.121.2172.16.120.3sna_boot# xxMI

5、D_PRD_ent1sna_stb# xxMID_PRD_ent3snaha_boot# xxMID_PRD_ent1snaha_stb# xxMID_PRD_ent3sna_svcHACMP 5.1当采用别名配置方式，只需配置boot, service地址，service地址是服务地址， 应用于应用程序的IP地址，浮动于双机网卡之间。HACMP启动时以别名的方式加载于boot 网卡上。如果一个机器上配多个boot地址，boot地址应在不同网段，service地址与boot地 址也在不同网段，HACMP双机软件起来后serivce地址会平均分配到各个boot网卡上。（在配 HAMP前，只需配置

6、Boot网卡的地址，service地址通过修改加到/etc/hosts文件即可，两边 的hosts文件设置应一致）注意：1. Cluster Name的文本长度不能超过31个字符。2. 网络地址和网络掩码都必须遵从相应的IP地址规划。3. 磁盘阵列上卷组和文件系统的划分表格就省略了。在配HACMP前最好划分好卷组和文 件系统，组的ID号最好相同。二、HACMP双机系统TCP/IP的配置在HACMP双机系统配置计划表格中定义的网卡IP地址需要配置。需要在操作系统AIX中配置的是各网卡相应的boot地址。1. 设置主机名# smitty hostnameSet the HostnameHOSTNA

7、ME(symbolic name of your machine)flrdbsrvl敲enter键，OK。2. 网卡IP地址的配置在AIX操作系统中配置网卡的IP地址，只需以root用户的身份执行命令# smitty mktcpip在弹出的菜单中选择相应的网卡接口(如：en0或en1)并按下回车键，将该网卡的 IP地址及子网掩码填入此菜单中，即可分别完成对各网卡的配置。这里只需配置ooot地址3. 配置各节点的/etc/hosts文件在/etc/hosts文件中加入两台主机上网卡的IP地址和相应的IP Label。具体内容如下172.16.100.1ibp_boot1#xxMID_PRD_en

8、t0172.16.101.1ibp_boot2#xxMID_PRD_ent5172.16.100.2ibpha_boot1#xxMID_BAK_ent0172.16.101.210.1.7.3310.1.7.23310.1.7.31ibpha_boot2 ibp_svc ibpfx_pers ibpha_pers#xxMID_BAK_ent5172.16.120.1sna_boot# xxMID_PRD _ent1172.16.121.1sna_stb# xxMID_PRD _ent3172.16.120.2snaha_boot# xxMID_PRD _ent1172.16.121.2172.

9、16.120.3snaha_stbsna_svc# xxMID_PRD _ent3编辑完成以后注意保存编辑结果.上述配置工作需在两台主机上分别执行。5.检查网络配置的正确性用ping命令检查各定义的网卡的连通性，直到所有的网卡都是连通的才做下一步的操 作。如用串口做心跳的监控，需配置tty设备1. 检查tty设备是否已经配置若没有配置则使用下列菜单定义tty设备：smitty tty Add a TTY选择tty类型（rs232）并按下回车键，选择串口设备“s3”或其它串口，并按下回车键（最好不要用S1 口），在此菜单中填写Port Number0 将光标移至此字段，按下选择port numb

10、er即可。2. 检查串口通信的连通性（把串口线连在相应的串口）在flrdbsrv1上使用命令# cat /dev/tty0观察flrdbsrv1上显示的数据是否正确，并确保没有乱码。6 .定义卷组创建卷组datavg，注意要把auto varyonvg选项关闭。并在另一台 机器上importvg该配置（把vg的ID号设成一样）。三、HACMP双机系统软件的安装在两台主机上分别安装费：宥软件。1、将HACMP安装盘放入CD-ROM，安装HACMP软件包及其patchsmitty installp- Install and Update from LATEST Available Software

11、按下F4选择/dev/cd0并按下Enter，将光标移至字段SOFTWARE to install, 按下F4，用功能键F7或ESC + 7选择软件包Cluster.adt.esCluster.es.clvm (concurrent)Cluster.es.cspocCluster.es.pluginsCluster.license在安装菜单中设置选项Accept new license agreements为YES.用 Smitty installp2.安装HACMP的补丁.(在 网址可下载)，安装方法和HACMP软件一样(如果对补丁没有把握，将在安装菜单中commit选 项设为NO);也可用

12、smitty update_all命令安装补丁.HACMP软件安装好以后要重启机器。# shutdown r四、HACMP的配置一、定义群组拓扑结构(Cluster Topology)选择其中一个节点完成下列步骤。假设我们选择节点flrdbsrv2完成下列操作。1、配置双机拓扑结构(Cluster Topology)2、进入。luster Topology配置主菜单smitty hacmp- Initialization and standard configuration- Add nodes to an hacmp cluster即可看见双机拓扑配置主菜单。对Cluster Name 域填

13、入ibp_net,和节点名，在Node Names 域填入xxMID_PRD xxMID_BAK（中间用空格分开），在/etc/es/sbin/cluster/etc/clrhosts文件中定义过就会找到。注意：请不要照搬截屏中显示的值，要填入计划表中的值。回车，系统执行命令。然后按退到Cluster Topology配置主菜单。b、定义 service IP选择- Initialization and standard configuration- configure resources to make highly available今configure service IP labels

14、/Addresses-Add a Service IP labels/Addresses可用F4选择相应的Service的IP名，如ibp_svc （如在/etc/hosts文件有定义，就可用F4列 举出），Network Name填入配置计划中定的Networkname, 如 net_ibp。依次配置所有的service小地址（再配置SNA网络的service IP）。注意：对于SNA网络的service IP，为了实现SNA的HA，需要让MAC地址随SNA网络的Service IP起浮动，通过如下步骤实现：选择-Extended Configuration Extended Resourc

15、e Configuration今HACMP Extended Resources Configuration- Configure HACMP Service IP Labels/Addresses今Change/Show a Service IP Label/Address在Alternate HW Address to accompany IP Label/Address中填入中间业务平台RS6000SNA配置规范中制定的MAC值60009999nnnnC、定义 Application Server选择 - Initialization and standard configuration

16、- configure resources to make highly available- configure Application Servers依次填写下列字段：Server Nameibp_appStart Script/usr/sbin/cluster/apps/ibp_startStop Script/usr/sbin/cluster/apps/ibp_stop按下Enter将此定义完成。注意： 在定义Application Server前请先在/usr/sbin/cluster目录下建apps的子目录，apps目录专门存放应用的启 动和停止脚本，如i bp_start和ibp

17、_stop，注意脚本的执行权限。在测 试拓扑结构时先编Wibp_start和ibp_stop，加入如下内容：ibp_start中内容：banner “ibp start” ibp_stop 中内容：banner “ibp stop”D、定义 Resource groups选择 Initialization and standard configuration- configure HACMP Resource Groups- Add a Resource Group选择计划要定义的资源组类型。中间业务平台环境需要配置两个资源组，一个资源组用于对外提供服务，另一个资源组 用于SNA的切换用。1）

18、中间业务对外提供服务的资源组配置如下:Resource Group NameParticipating Node Names2)SNA资源组的配置如下：Resource Group NameParticipating Node NamesibpresxxMID_PRD xxMID_BAKsnaresxxMID_PRD xxMID_BAKE、定义 Resource groups 的内容选择 Initialization and standard configuration- Configure HACMP Resource Groups今Change/show Resources for a R

19、esource Group (standard)在相应的资源组中加入定义过的service IP地址（ibp_svc）、卷组（中间 业务平台规范中制定的卷组名）和application servers（IP地址和卷组可以 为多个，用空格分开），这些资源将随着该资源组的改变和切换而变动。同样对于SNA的资源组，加入定义过的service IP地址（sna_svc），注意在这个资源组里不要指定卷组和application servers,因为SNA卷组的作用只是用于SNA的切换。配置如下:要实现SNA的HA，还要配置Highly Available Communication Link,按照如 下

20、步骤操作：选择 今 Extended Configuration今Extended Resource Configuration HACMP Extended Resources Configuration- Configure HACMP Communication Adapters and Links今Configure Highly Available Communication Links-Add Highly Available Communication Link今Add Highly Available SNA-over-LAN Link在DLC和Port(s)处填上在SNA中定

21、义好的DLC和Port名，注意不要指定LinkStation(s)。注意：在配置HACMP中的SNA高可用之前，先要按照中间业务平台RS6000 SNA 配置规范中配置好SNA。在HACMP启动后由于MAC地址已经改变成可浮动的MAC地址，即60009999nnnn,需要通知AS/400的系统管理员把AS/400上相应的配 置修改成对应的MAC地址。F、定义串口做心跳选择 - Extended configuration 配置菜单今Extended Topology ConfigurationConfigure HACMP NetworksAdd a Network to the HACMP

22、Cluster选择Discovered serial device types 的rs232系统缺省会用net_rs232_01给串口网络命名选择 - Extended configuration 配置菜单 今Extended Topology Configuration-Configure HACMP Communication Interfaces/Devices-Add Communication Interfaces/Devices选择已经定义过的串口网络，即net_rs232_01flrdbsrv1_ttyrs232net_res232_01/dev/tty0flrdbsrv1配置串

23、口Device NameNetwork TypeNetwork NmeDevice pathNode Name回车，系统执行命令，同样配置另一节点的串口。G、同步群组中各节点上的拓扑定义选择Verify and Synchronize Cluster Configuration对Ignore Cluster Verification Errors?域选择no对Emulate or Actual?域选择Actual回车，系统执行命令。观察系统在同步的过程中是否出现错误。若有错误则仔细检查配 置步骤。若没有错误则表明Cluster Topology已配置成功，然后退回至Cluster Config

24、uration配 置主菜单。至此，IBM HAESCRM全部安装配置完毕，数据库和应用软件安装配置正确完成，则启 动HA系统即可对外提供服务；并且可以对HACMP双机系统进行一系列功能和性能验证测 试。如要对系统应用和数据库进行监控，必需配置相应的脚本进行监控。五、IBM HACMP双机系统的管理和维护本节将说明HACMP双机软件的一些基本管理和维护命令。这些命令将会在HACMP 双机系统的日常工作中经常用到。1. HACMP双机系统的启动要启动HACMP双机系统，必须要有root用户的权限分别进入至fluster各节点主机。在命令行上执行下述命令即可：# smit clstart或# /us

25、r/sbin/cluster/etc/rc.cluster -boot -N -i需要注意的是在双机系统中，HACMP双机软件先启动的节点将成为主节点拥有资源， 并对外提供关键服务，后启动的节点将成为备节点。HACMP v5.1版本可通过单节点启动多个 节点的双机软件。数据库和应用系统作为群集系统资源组的一部分将随HACMP自动启动 (/usr/sbin/cluster/apps/ibp_start.sh中 定义)。要关闭某节点上的HACMP双机软件，必须要有该节点root用户的权限。以root用户 进入到该节点主机，在命令行上执行下述命令即可：# smit clstop或# clstop -

26、gr需要注意的是若该节点是主节点，并且备节点上的HACMP软件亦正常运行，则需注 意clstop关闭模式的三种选项的不同：a、forced是指立即关闭双机软件，不调用任何客户应用的善后处理例程，不释放资源。b、graceful是指在关闭双机软件时，将调用客户应用预定义的善后处理例程，释放资 源。c、takeover是指该节点将关闭双机软件并释放资源，请求备节点进行接管。如该节点 是备节点，则此关闭模式选项没有多大意义。另外，关闭HACMP将自动关闭 应用和数据库（/usr/sbin/cluster/apps/ibp_stop.sh中定 义）。3. 查询HACMP双机系统的状态在双机系统的运行过

27、程中管理员经常需要知道双机系统的当前状态，才有可能对双机系 统出现的异常情况进行恢复处理，以保证双机系统的高可用性和高容错性。查询HACMP双 机系统的状态，只需以root用户进入需要查询的节点，进行下列操作：首先检查HACMP双机软件在该节点是否已启动。命令如下：# lssrc -g cluster若是系统显示出下面类似的信息，则说明HACMP双机软件已正常启动：SubsystemGroupPIDStatusclstrmgrEScluster22500activeclsmuxpdEScluster23674active在已确认双机软件HACMP正常启动的情况下，在命令行执行下述命令来察看双机

28、系统的当前状态：# /usr/sbin/cluster/clstat -a如果双机系统一切工作正常，则系统将显示下述类似信息：# /usr/sbin/cluster/ utilities / clfindres（看系统双机资源状态）# /usr/sbin/cluster / utilities/cllscf （看系统双机网络配置）#/usr/es/sbin/cluster/utilities/clshowres -nflrdbsrv2（看系统双机资源配置一个节点情况） #/usr/es/sbin/cluster/utilities/clshowres -gappres（看系统双机资源配置一个资

29、源情组配置） #clshowres（看所有系统双机资源配置情况）4. 备份HACMP双机系统的配置#smitty hacmp- System manager (c-spoc)- Cluster snapshotAdd a Cluster叩*泗tType cr select alugs in Press Enter AFTER n眦in#entry fislds.a 11 des i rcf ch anges.lueter Snapshot NiiniHGustos Derined srupstist Methods Cluster $nap9h&t Descript IonEntry F141

30、 dsLEsc+&=Res&tFSlSheTF2*RefiresriF&HCoinrifln1FiC=Ex1tF3=cancelF7=EHlt Hnt?r=&QF4=L1fitFB=Image在cluster Snapshot Name中键入保存的文件名（可任取），如flr_cluster;在 cluster Snapshot Description 中键入 描述内容（可任取），如 flr cluster config0配置文件会保存在/user/es/sbin/cluster/snapshot/目录。备份的文件可用来做配置恢复。5. 网卡接管功能测试在HACMP正常启动状态下，任意节点上拔去

31、主用网卡的网线，或执行命令# ifconfig en0 downen 的主用网卡HA将启动主备网卡切换脚本Swap_adapter,并完成主备网卡间的IP地址切换， 可以通过执行命令#netstat -i重新插入网线，HA将执行join_standby脚本，但不再执行主备网卡IP地址切换。6. 节点间资源接管功能测试a、在HACMP正常启动状态下，主节点上同时拔去主备用网卡的网线，或执行命令# ifconfig en0 downen0 为备用网卡# ifconfig en1 downen1 为主用网卡b、在HACMP正常启动状态下，主节点上执行# smitty clstop选择Shutdown

32、 mode 为takeover方式c、在HACMP正常启动状态下，主节点上拔去其电源线，系统将掉点关机。以上三种情况下，HA都将执行节点间共享资源组的接管，在备用机上执行事件前后 的状态如下：# netstat -i （监测网卡配置状态）#lsvg -orootvg切换后# netstat -i# Isvg -orootvgdatavg7. HA正常操作流程a、启动HA前必须保证：双机结构组件物理连接正确无误操作系统运行正常HA软件安装配置正确，拓扑结构和资源组同步成功完成系统当前无任何HA进程如clstrmgrES、clsmuxpdES或clinfoES运行，如果有 则首先执行HA关闭操作系

33、统当前无任何HA资源组中定义的应用进程或设备击活，如共享磁盘vg未挂接在 任何节点上、属于资源组的数据库和应用进程未启动等b、HA启动过程是clstrmgrES被击活后由它在后台调用执行相关脚本完成，所以 启动过程是否结束不能单看cluster进程是否被击活，最好方法是跟踪hacmp.out日 志记录：# tail -f /tmp/hacmp.out启动结束标志：hacmp.out记录HACMP Event Summary （任何动作结束标志）建议主备节点顺序启动，不可主备机同时启动HAc、任何事件操作必须等待该事件完全执行完毕后方可执行下一个事件d、HA结合服务器的冗余部件可以完全消除双机系

34、统中的单点故障，但当系统出现 多点故障时并不保证系统正常运行，多点故障包括双机同时出现多个与HA相关部件错 误，或者双机出现某个错误引起HA启动相应事件脚本切换后又出现另一个错误需要再次 切换资源，此时，需要看具体情况人工干预引导系统正常运行e、对于需要对某事件脚本执行前/后增加执行辅助操作，强烈建议单独编写.pre 和.post脚本并将其定义到客户化群集事件(Define Custom Cluster Events) 中，不要直接修改HA自带事件脚本f、在关闭HA时，需要确恤入彻底关闭后才执行后续操作，是否完成关闭动作可查 看：# lssrc -g cluster无任何进程运行# tail

35、-f /tmp/hacmp.outhacmp.out 记录 HACMP Event Summary# ps -ef无任何在Application server的stop.sh中描述的需要由HA关闭的应用进程存 在# lsvg -o共享vg不在挂接与任何一个节点服务器上g、任何事件默认须在360秒内执行完成，否则日入将自动启动config_too_long 事件，如确需超过360秒钟才能执行完毕可以通过命令修改时限(如600秒)：# chssys -s clstrmgrES -a -u 60000h、如果在执行任何事件脚本时出现异常或错误，HA将挂死而无法完成后续事件脚 本，经过360秒钟后，日

36、入将自动启动config_too_long脚本，hacmp.out将记录此 事件的执行8. 异常情况应急处理在执行任何事件脚本出现异常而无法正常运行HA时，采取以下步骤：a、关闭所有有关HA的应用进程b、umount所有共享vg上的文件系统c、执行varyoffvg将共享vg从服务器离线d、执行 smitty clstop 选择 Shutdown mode为forced”方式关闭HAe、用命令# ps -ef# Isvg -o# Issrc -g cluster# netstat -i等查看以上操作是否执行完整，如果有些相关进程未关闭可以使用kill将其杀掉（不能保证系统保持运行正常，可能出现系统宕机）f、查看双机系统物理连接是否完好g、通过以上命令关闭所有有关HA进程后，重启HA smitty clstart，重新验证HA是否正常h、通过以上各个步骤的操作HA依然不能正常工作，关机重启系统