中间业务平台HACMP安装配置指南.docx

一、HACMP双机系统配置计划在配置中间业务平台HACMP环境之前首先要制定配置计划。在IBM HACMP的配置指 南中推荐了一种配置计划表的方式（Planning Worksheet），在进行配置考虑的时候将这些 表格填完即可。通常分行中间业务平台的HACMP环境大体都有相似的拓扑环境，两个Public 类型的网络，一个用于提供中间业务服务（使用IP alias方式），另一用于连接AS/400的SNA（必须使用IP replacement方式）Cluster WorksheetCluster Name：xxibp_clusterNode Name： xxMID_PRD，xxMID_BAK在主节点上配置拓扑结构然后同步到其他节点，网络拓扑如下：（1）Network概 览Network Name Network Type Network Attribute Network Mask Node Namesnet_ibpEtherpublic255.255.255.0xxMID_PRD，xxMID_BAKnet_snaEtherpublic255.255.255.0xxMID_PRD，xxMID_BAKnet_rs232_01RS-232serialN/AxxMID_PRD，xxMID_BAK（2）Network内部结构Networknet_ibpService 地址：ibp_svc 10.1.7.33Boot地址：ibp_boot2172.16.101.1ibp_boot1172.16.100.1Networksna_netService 地址：sna_svc172.16.120.3Boot地址：sna_boot172.16.120.1Standby 地址：sna_stb172.16.121.1SNA的网络配置IP （可以使用私有地址，如172网段的任何地址，但两块网卡要在同一网段），只是为了能够互相切换，平时的小地址不用。Network net_rs232_01bp_tty0_01/dev/tty0两边主机上的/etc/hosts文件中的内容参照如下，以下是摘取总行服务器上的/etc/hosts 文件，仅供参考：172.16.100.1172.16.101.1172.16.100.2172.16.101.210.1.7.3310.1.7.23310.1.7.31ibp_boot1#xxMID_PRD_ent0ibp_boot2#xxMID_PRD_ent5ibpha_boot1#xxMID_BAK_ent0ibpha_boot2#xxMID_BAK_ent5ibp_svc ibpfx_pers ibpha_pers172.16.120.1172.16.121.1172.16.120.2172.16.121.2172.16.120.3sna_boot# xxMID_PRD_ent1sna_stb# xxMID_PRD_ent3snaha_boot# xxMID_PRD_ent1snaha_stb# xxMID_PRD_ent3sna_svcHACMP 5.1当采用别名配置方式，只需配置boot, service地址，service地址是服务地址， 应用于应用程序的IP地址，浮动于双机网卡之间。HACMP启动时以别名的方式加载于boot 网卡上。如果一个机器上配多个boot地址，boot地址应在不同网段，service地址与boot地 址也在不同网段，HACMP双机软件起来后serivce地址会平均分配到各个boot网卡上。（在配 HAMP前，只需配置Boot网卡的地址，service地址通过修改加到/etc/hosts文件即可，两边 的hosts文件设置应一致）注意：1. Cluster Name的文本长度不能超过31个字符。2. 网络地址和网络掩码都必须遵从相应的IP地址规划。3. 磁盘阵列上卷组和文件系统的划分表格就省略了。在配HACMP前最好划分好卷组和文 件系统，组的ID号最好相同。二、HACMP双机系统TCP/IP的配置在HACMP双机系统配置计划表格中定义的网卡IP地址需要配置。需要在操作系统AIX中配置的是各网卡相应的boot地址。1. 设置主机名# smitty hostname>Set the Hostname>HOSTNAME(symbolic name of your machine)flrdbsrvl敲enter键，OK。2. 网卡IP地址的配置在AIX操作系统中配置网卡的IP地址，只需以root用户的身份执行命令# smitty mktcpip在弹出的菜单中选择相应的网卡接口(如：en0或en1)并按下回车键，将该网卡的 IP地址及子网掩码填入此菜单中，即可分别完成对各网卡的配置。这里只需配置ooot地址3. 配置各节点的/etc/hosts文件在/etc/hosts文件中加入两台主机上网卡的IP地址和相应的IP Label。具体内容如下172.16.100.1ibp_boot1#xxMID_PRD_ent0172.16.101.1ibp_boot2#xxMID_PRD_ent5172.16.100.2ibpha_boot1#xxMID_BAK_ent0172.16.101.210.1.7.3310.1.7.23310.1.7.31ibpha_boot2 ibp_svc ibpfx_pers ibpha_pers#xxMID_BAK_ent5172.16.120.1sna_boot# xxMID_PRD _ent1172.16.121.1sna_stb# xxMID_PRD _ent3172.16.120.2snaha_boot# xxMID_PRD _ent1172.16.121.2172.16.120.3snaha_stbsna_svc# xxMID_PRD _ent3编辑完成以后注意保存编辑结果.上述配置工作需在两台主机上分别执行。5.检查网络配置的正确性用ping命令检查各定义的网卡的连通性，直到所有的网卡都是连通的才做下一步的操 作。如用串口做心跳的监控，需配置tty设备1. 检查tty设备是否已经配置若没有配置则使用下列菜单定义tty设备：smitty tty> Add a TTY选择tty类型（rs232）并按下回车键，选择串口设备“s3”或其它串口，并按下回车键（最好不要用S1 口），在此菜单中填写Port Number0 将光标移至此字段，按下<F4>选择port number即可。2. 检查串口通信的连通性（把串口线连在相应的串口）在flrdbsrv1上使用命令# cat < /dev/tty0在flrdbsrv2上使用命令# cat /etc/hosts > /dev/tty0观察flrdbsrv1上显示的数据是否正确，并确保没有乱码。6 .定义卷组创建卷组datavg，注意要把auto varyonvg选项关闭。并在另一台 机器上importvg该配置（把vg的ID号设成一样）。三、HACMP双机系统软件的安装在两台主机上分别安装费：宥软件。1、将HACMP安装盘放入CD-ROM，安装HACMP软件包及其patchsmitty installp-> Install and Update from LATEST Available Software按下F4选择"/dev/cd0"并按下Enter，将光标移至字段"SOFTWARE to install", 按下F4，用功能键F7或"ESC + 7"选择软件包Cluster.adt.esCluster.es.clvm (concurrent)Cluster.es.cspocCluster.es.pluginsCluster.license在安装菜单中设置选项Accept new license agreements为YES.用 Smitty installp2.安装HACMP的补丁.(在 网址可下载)，安装方法和HACMP软件一样(如果对补丁没有把握，将在安装菜单中commit选 项设为NO);也可用smitty update_all命令安装补丁.HACMP软件安装好以后要重启机器。# shutdown £r四、HACMP的配置一、定义群组拓扑结构(Cluster Topology)选择其中一个节点完成下列步骤。假设我们选择节点flrdbsrv2完成下列操作。1、配置双机拓扑结构(Cluster Topology)2、进入。luster Topology配置主菜单smitty hacmp-> Initialization and standard configuration-> Add nodes to an hacmp cluster即可看见双机拓扑配置主菜单。对Cluster Name 域填入ibp_net,和节点名，在Node Names 域填入xxMID_PRD xxMID_BAK（中间用空格分开），在/etc/es/sbin/cluster/etc/clrhosts文件中定义过就会找到。注意：请不要照搬截屏中显示的值，要填入计划表中的值。回车，系统执行命令。然后按<F3>退到Cluster Topology配置主菜单。b、定义 service IP选择-> Initialization and standard configuration-> configure resources to make highly available今configure service IP labels/Addresses-Add a Service IP labels/Addresses可用F4选择相应的Service的IP名，如ibp_svc （如在/etc/hosts文件有定义，就可用F4列 举出），Network Name填入配置计划中定的Networkname, 如 net_ibp。依次配置所有的service小地址（再配置SNA网络的service IP）。注意：对于SNA网络的service IP，为了实现SNA的HA，需要让MAC地址随SNA网络的Service IP起浮动，通过如下步骤实现：选择->Extended Configuration> Extended Resource Configuration今HACMP Extended Resources Configuration-> Configure HACMP Service IP Labels/Addresses今Change/Show a Service IP Label/Address在Alternate HW Address to accompany IP Label/Address中填入中间业务平台RS6000SNA配置规范中制定的MAC值60009999nnnnC、定义 Application Server选择 -> Initialization and standard configuration-> configure resources to make highly available-> configure Application Servers依次填写下列字段：Server Nameibp_appStart Script/usr/sbin/cluster/apps/ibp_startStop Script/usr/sbin/cluster/apps/ibp_stop按下Enter将此定义完成。注意： 在定义Application Server前请先在/usr/sbin/cluster目录下建apps的子目录，apps目录专门存放应用的启 动和停止脚本，如i bp_start和ibp_stop，注意脚本的执行权限。在测 试拓扑结构时先编Wibp_start和ibp_stop，加入如下内容：ibp_start中内容：banner “ibp start” ibp_stop 中内容：banner “ibp stop”D、定义 Resource groups选择 Initialization and standard configuration-> configure HACMP Resource Groups-> Add a Resource Group选择计划要定义的资源组类型。中间业务平台环境需要配置两个资源组，一个资源组用于对外提供服务，另一个资源组 用于SNA的切换用。1）中间业务对外提供服务的资源组配置如下:Resource Group NameParticipating Node Names2)SNA资源组的配置如下：Resource Group NameParticipating Node NamesibpresxxMID_PRD xxMID_BAKsnaresxxMID_PRD xxMID_BAKE、定义 Resource groups 的内容选择 > Initialization and standard configuration-> Configure HACMP Resource Groups今Change/show Resources for a Resource Group (standard)在相应的资源组中加入定义过的service IP地址（ibp_svc）、卷组（中间 业务平台规范中制定的卷组名）和application servers°（IP地址和卷组可以 为多个，用空格分开），这些资源将随着该资源组的改变和切换而变动。同样对于SNA的资源组，加入定义过的service IP地址（sna_svc），注意在这个资源组里不要指定卷组和application servers,因为SNA卷组的作用只是用于SNA的切换。配置如下:要实现SNA的HA，还要配置Highly Available Communication Link,按照如 下步骤操作：选择 今 Extended Configuration今Extended Resource Configuration> HACMP Extended Resources Configuration-> Configure HACMP Communication Adapters and Links今Configure Highly Available Communication Links-Add Highly Available Communication Link今Add Highly Available SNA-over-LAN Link在DLC和Port(s)处填上在SNA中定义好的DLC和Port名，注意不要指定LinkStation(s)。注意：在配置HACMP中的SNA高可用之前，先要按照中间业务平台RS6000 SNA 配置规范中配置好SNA。在HACMP启动后由于MAC地址已经改变成可浮动的MAC地址，即60009999nnnn,需要通知AS/400的系统管理员把AS/400上相应的配 置修改成对应的MAC地址。F、定义串口做心跳选择 -> Extended configuration 配置菜单今Extended Topology ConfigurationConfigure HACMP NetworksAdd a Network to the HACMP Cluster选择Discovered serial device types 的rs232系统缺省会用net_rs232_01给串口网络命名选择 -> Extended configuration 配置菜单 今Extended Topology Configuration-Configure HACMP Communication Interfaces/Devices-Add Communication Interfaces/Devices选择已经定义过的串口网络，即net_rs232_01flrdbsrv1_ttyrs232net_res232_01/dev/tty0flrdbsrv1配置串口Device NameNetwork TypeNetwork NmeDevice pathNode Name回车，系统执行命令，同样配置另一节点的串口。G、同步群组中各节点上的拓扑定义选择Verify and Synchronize Cluster Configuration对Ignore Cluster Verification Errors?域选择no对Emulate or Actual?域选择Actual回车，系统执行命令。观察系统在同步的过程中是否出现错误。若有错误则仔细检查配 置步骤。若没有错误则表明Cluster Topology已配置成功，然后退回至Cluster Configuration配 置主菜单。至此，IBM HAESCRM全部安装配置完毕，数据库和应用软件安装配置正确完成，则启 动HA系统即可对外提供服务；并且可以对HACMP双机系统进行一系列功能和性能验证测 试。如要对系统应用和数据库进行监控，必需配置相应的脚本进行监控。五、IBM HACMP双机系统的管理和维护本节将说明HACMP双机软件的一些基本管理和维护命令。这些命令将会在HACMP 双机系统的日常工作中经常用到。1. HACMP双机系统的启动要启动HACMP双机系统，必须要有root用户的权限分别进入至fluster各节点主机。在命令行上执行下述命令即可：# smit clstart或# /usr/sbin/cluster/etc/rc.cluster -boot -N -i需要注意的是在双机系统中，HACMP双机软件先启动的节点将成为主节点拥有资源， 并对外提供关键服务，后启动的节点将成为备节点。HACMP v5.1版本可通过单节点启动多个 节点的双机软件。数据库和应用系统作为群集系统资源组的一部分将随HACMP自动启动 (/usr/sbin/cluster/apps/ibp_start.sh中 定义)。要关闭某节点上的HACMP双机软件，必须要有该节点root用户的权限。以root用户 进入到该节点主机，在命令行上执行下述命令即可：# smit clstop或# clstop -gr需要注意的是若该节点是主节点，并且备节点上的HACMP软件亦正常运行，则需注 意clstop关闭模式的三种选项的不同：a、forced是指立即关闭双机软件，不调用任何客户应用的善后处理例程，不释放资源。b、graceful是指在关闭双机软件时，将调用客户应用预定义的善后处理例程，释放资 源。c、takeover是指该节点将关闭双机软件并释放资源，请求备节点进行接管。如该节点 是备节点，则此关闭模式选项没有多大意义。另外，关闭HACMP将自动关闭 应用和数据库（/usr/sbin/cluster/apps/ibp_stop.sh中定 义）。3. 查询HACMP双机系统的状态在双机系统的运行过程中管理员经常需要知道双机系统的当前状态，才有可能对双机系 统出现的异常情况进行恢复处理，以保证双机系统的高可用性和高容错性。查询HACMP双 机系统的状态，只需以root用户进入需要查询的节点，进行下列操作：首先检查HACMP双机软件在该节点是否已启动。命令如下：# lssrc -g cluster若是系统显示出下面类似的信息，则说明HACMP双机软件已正常启动：SubsystemGroupPIDStatusclstrmgrEScluster22500activeclsmuxpdEScluster23674active在已确认双机软件HACMP正常启动的情况下，在命令行执行下述命令来察看双机系统的当前状态：# /usr/sbin/cluster/clstat -a如果双机系统一切工作正常，则系统将显示下述类似信息：# /usr/sbin/cluster/ utilities / clfindres（看系统双机资源状态）# /usr/sbin/cluster / utilities/cllscf （看系统双机网络配置）#/usr/es/sbin/cluster/utilities/clshowres -n'flrdbsrv2'（看系统双机资源配置一个节点情况） #/usr/es/sbin/cluster/utilities/clshowres -g'appres'（看系统双机资源配置一个资源情组配置） #clshowres（看所有系统双机资源配置情况）4. 备份HACMP双机系统的配置#smitty hacmp-> System manager (c-spoc)-> Cluster snapshotAdd a Cluster叩*泗tType cr select alugs in Press Enter AFTER n眦in#entry fislds.a 11 des i r«cf ch anges.lueter Snapshot NiiniHGustos Derined srupstist Methods Cluster $nap9h&t Descript IonEntry F141 dsLEsc+&=Res&tFSlSheTF2*RefiresriF&HCoinrifln<1FiC=Ex1tF3=cancelF7=EHlt Hnt?r=&QF4=L1fitFB=Image在cluster Snapshot Name中键入保存的文件名（可任取），如flr_cluster;在 cluster Snapshot Description 中键入 描述内容（可任取），如 flr cluster config0配置文件会保存在/user/es/sbin/cluster/snapshot/目录。备份的文件可用来做配置恢复。5. 网卡接管功能测试在HACMP正常启动状态下，任意节点上拔去主用网卡的网线，或执行命令# ifconfig en0 downen 的主用网卡HA将启动主备网卡切换脚本Swap_adapter,并完成主备网卡间的IP地址切换， 可以通过执行命令#netstat -i重新插入网线，HA将执行join_standby脚本，但不再执行主备网卡IP地址切换。6. 节点间资源接管功能测试a、在HACMP正常启动状态下，主节点上同时拔去主备用网卡的网线，或执行命令# ifconfig en0 downen0 为备用网卡# ifconfig en1 downen1 为主用网卡b、在HACMP正常启动状态下，主节点上执行# smitty clstop选择Shutdown mode 为takeover方式c、在HACMP正常启动状态下，主节点上拔去其电源线，系统将掉点关机。以上三种情况下，HA都将执行节点间共享资源组的接管，在备用机上执行事件前后 的状态如下：# netstat -i （监测网卡配置状态）#lsvg -orootvg切换后# netstat -i# Isvg -orootvgdatavg7. HA正常操作流程a、启动HA前必须保证：双机结构组件物理连接正确无误操作系统运行正常HA软件安装配置正确，拓扑结构和资源组同步成功完成系统当前无任何HA进程如clstrmgrES、clsmuxpdES或clinfoES运行，如果有 则首先执行HA关闭操作系统当前无任何HA资源组中定义的应用进程或设备击活，如共享磁盘vg未挂接在 任何节点上、属于资源组的数据库和应用进程未启动等b、HA启动过程是clstrmgrES被击活后由它在后台调用执行相关脚本完成，所以 启动过程是否结束不能单看cluster进程是否被击活，最好方法是跟踪hacmp.out日 志记录：# tail -f /tmp/hacmp.out启动结束标志：hacmp.out记录HACMP Event Summary （任何动作结束标志）建议主备节点顺序启动，不可主备机同时启动HAc、任何事件操作必须等待该事件完全执行完毕后方可执行下一个事件d、HA结合服务器的冗余部件可以完全消除双机系统中的单点故障，但当系统出现 多点故障时并不保证系统正常运行，多点故障包括双机同时出现多个与HA相关部件错 误，或者双机出现某个错误引起HA启动相应事件脚本切换后又出现另一个错误需要再次 切换资源，此时，需要看具体情况人工干预引导系统正常运行e、对于需要对某事件脚本执行前/后增加执行辅助操作，强烈建议单独编写.pre 和.post脚本并将其定义到客户化群集事件(Define Custom Cluster Events) 中，不要直接修改HA自带事件脚本f、在关闭HA时，需要确恤入彻底关闭后才执行后续操作，是否完成关闭动作可查 看：# lssrc -g cluster无任何进程运行# tail -f /tmp/hacmp.outhacmp.out 记录 HACMP Event Summary# ps -ef无任何在Application server的stop.sh中描述的需要由HA关闭的应用进程存 在# lsvg -o共享vg不在挂接与任何一个节点服务器上g、任何事件默认须在360秒内执行完成，否则日入将自动启动config_too_long 事件，如确需超过360秒钟才能执行完毕可以通过命令修改时限(如600秒)：# chssys -s clstrmgrES -a "-u 60000"h、如果在执行任何事件脚本时出现异常或错误，HA将挂死而无法完成后续事件脚 本，经过360秒钟后，日入将自动启动config_too_long脚本，hacmp.out将记录此 事件的执行8. 异常情况应急处理在执行任何事件脚本出现异常而无法正常运行HA时，采取以下步骤：a、关闭所有有关HA的应用进程b、umount所有共享vg上的文件系统c、执行varyoffvg将共享vg从服务器离线d、执行 smitty clstop 选择 Shutdown mode为"forced”方式关闭HAe、用命令# ps -ef# Isvg -o# Issrc -g cluster# netstat -i等查看以上操作是否执行完整，如果有些相关进程未关闭可以使用kill将其杀掉（不能保证系统保持运行正常，可能出现系统宕机）f、查看双机系统物理连接是否完好g、通过以上命令关闭所有有关HA进程后，重启HA smitty clstart，重新验证HA是否正常h、通过以上各个步骤的操作HA依然不能正常工作，关机重启系统