Oracle11g RAC裸盘安装实施手册V1 0626.doc

Oracle11g RAC LINUX实施手册目录Oracle11g RAC LINUX11、操作系统的安装21.1硬件资源21.2网络分配21.3操作系统安装22、操作系统配置32.1 设置网络节点名称32.2 配置网络节点名称解析32.3 配置内核参数42.4 配置各节点时间同步42.5 建立hangcheck模块加载62.6 禁用系统防火墙72.7 设置Oracle登陆使用资源数72.8 配置Oracle用户和用户组82.9 建立Oracle使用目录及授权82.10 配置Oracle用户环境93、 共享磁盘的挂载和配置93.1 IPSCAN的划分及配置93.2 共享磁盘在系统中挂载173.3 建立共享磁盘分区183.4 建立裸（raw）设备203.5 裸设备开机授权及挂载214、建立ssh等效性（在oracle用户操作）224.1 建立相关目录生成密钥和公钥224.2 建立等效密钥234.3 ssh等效性的验证245、 安装Oracle11g cluster软件255.1 CRS软件的安装255.1检测CRS是否安装成功316、 安装Oracle11g database336.1 安装Oracle11g database软件336.2 配置各节点的监听397、 建立数据库实例及配置ASM磁盘组（用裸盘）427.1建立和配置asm磁盘组427.2 建立和配置数据库实例467.3是否安装成功检查531、 操作系统的安装1.1 硬件资源Cpu ：Intel(R) Xeon(TM) MP CPU 3.16GHz*2 内存：24G硬盘：300G网卡：3块千兆网卡共享磁盘：2T1.2 网络分配 主机名 公网(public) 专网(private) 虚拟网(vip) rac1 IP IP IP rac2 IP IP IP1.3 操作系统安装操作系统版本：Red Hat Enterprise Linux AS release 4 (Nahant Update 4)2、 操作系统配置2.1 设置网络节点名称在第一台服务器的操作系统中，打开一个终端，执行如下命令：vi /etc/sysconfig/network编辑 network文件，把HOSTNAME更改为rac1,并保存。如下所示： HOSTNAME=rac1# hostname rac1在第二台服务器的操作系统中，打开一个终端，执行如下命令：vi /etc/sysconfig/network编辑 network文件，把HOSTNAME更改为rac2,并保存。如下所示： HOSTNAME=rac2# hostname rac22.2 配置网络节点名称解析在第一台服务器的操作系统中，打开一个终端，执行如下命令：vi /etc/hosts编辑 hosts文件，在文件最后写入如下参数：(注意：以下IP根据现场需要更改)192.168.1.10 rac1 10.1.2.10 rac1-priv192.168.1.174 rac1-vip192.168.1.115 rac2192.168.1.10 rac2-priv192.168.1.189 rac2-vip在第二台服务器的操作系统中，打开一个终端，执行如下命令：vi /etc/hosts编辑 hosts文件，在文件最后写入如下参数：(注意：以下IP根据现场需要更改)192.168.1.10 rac1 10.1.2.10 rac1-priv192.168.1.174 rac1-vip192.168.1.115 rac2192.168.1.10 rac2-priv192.168.1.189 rac2-vip2.3 配置内核参数在第一台服务器的操作系统中，打开一个终端，执行如下命令：vi /etc/sysctl.conf编辑 sysctl文件，在文件中修改如下参数：net.core.rmem_default = 4194304net.core.rmem_max = 4194304net.core.wmem_default = 4194304net.core.wmem_max = 4194304在第二台服务器的操作系统中，打开一个终端，执行如下命令：vi /etc/sysctl.conf编辑 sysctl文件，在文件中修改如下参数：net.core.rmem_default = 4194304net.core.rmem_max = 4194304net.core.wmem_default = 4194304net.core.wmem_max = 41943042.4 配置各节点时间同步我们这里以rac1做为时间服务器，其中设置如下：以下需要检查一下系统防火墙是否关闭，分别打开一个终端，输入如下命令 service iptables status (显示防火墙状态)若是防火墙开启则用以下命令关闭service iptables stop (关闭防火墙)vi /etc/ntp.conf文件ntp.conf中增加以下红色内容：# Permit time synchronization with our time source, but do not# permit the source to query or modify the service on this system.restrict default kod nomodify notrap nopeer noqueryrestrict -6 default kod nomodify notrap nopeer noqueryrestrict default ignore (关闭所有的 NTP 要求封包)# Permit all access over the loopback interface. This could# be tightened as well, but to do so would effect some of# the administrative functions.restrict 127.0.0.1 restrict -6 :1# Hosts on local network are less restricted.#restrict 192.168.1.0 mask 255.255.255.0 nomodify notraprestrict 214.128.0.0 mask 255.255.255.0 nomodify (其中214.128.0.0服务器应用通信所在网段，例如：服务器应用通信的ip是214.128.8.2,那么这里就修改为214.128.0.0)# Use public servers from the pool.ntp.org project.# Please consider joining the pool (http:/www.pool.ntp.org/join.html).#broadcast 192.168.1.255 key 42 # broadcast server#broadcastclient # broadcast client#broadcast 224.0.1.1 key 42 # multicast server#multicastclient 224.0.1.1 # multicast client#manycastserver 239.255.254.254 # manycast server#manycastclient 239.255.254.254 key 42 # manycast client# Undisciplined Local Clock. This is a fake driver intended for backup# and when no outside source of synchronized time is available. server 127.127.1.0 # local clockfudge 127.127.1.0 stratum 10# Drift file. Put this in a directory which the daemon can write to.# No symbolic links allowed, either, since the daemon updates the file# by creating a temporary in the same directory and then rename()'ing# it to the file.driftfile /var/lib/ntp/drift# Key file containing the keys and key identifiers used when operating# with symmetric key cryptography. keys /etc/ntp/keys# Specify the key identifiers which are trusted.#trustedkey 4 8 42# Specify the key identifier to use with the ntpdc utility.#requestkey 8# Specify the key identifier to use with the ntpq utility.#controlkey 8broadcastdelay  0.000008 (广播延迟时间)保存退出后。启动NTP服务service ntpd start每次系统启动，NTP服务自动启动,请输入下面命令： /sbin/chkconfig   ntpd  on  /配置在开机时运行 查看服务开启情况：netstat -unl | grep 123 查看123端口，操作结果如图1 (查看到有123就可以了) 图1 使用命令查看123端口ps -ef|grep ntp 查看ntp进程是否启动，操作结果如图2  图2 使用命令查看ntp系统进程那么节点rac2为时间服务的客户端，其中设置如下：以下需要检查一下系统防火墙是否关闭，分别打开一个终端，输入如下命令 service iptables stauts (显示防火墙状态)若是防火墙开启则用以下命令关闭service iptables stop (关闭防火墙)需要检查一下rac2的ntp时间服务有没有开启，因为这里的rac2的 ntp服务必须关掉.service ntpd status (查看ntp服务是否关闭)若是没有关闭则用以下命令关闭service ntpd stop (关闭ntp服务)等待40分钟左右，先在rac2服务器上用手动时间同步检查一下时间服务器rac1是否设置成功（可以先配置下面的，到安装数据库之前再执行如下命令检查）先把rac2服务器的时间改掉，执行如下语句ntpdate 192.168.1.10 #192.168.1.10是NTP服务器的IP查看rac2时间是否校对了，较对了说明时间服务器rac1设置正确。下面我们把rac2设置成定时进行时间校准，可以使用crond服务来定时执行。编辑 vi /etc/crontab 文件最后加入下面一行：30 8 * * * root /usr/sbin/ntpdate 192.168.1.10; /sbin/hwclock -w #192.168.1.10是NTP服务器的IP地址然后重启crond服务service crond restart （这步必须做，使设置的内容生效）这样，每天 8:30 Linux 系统就会自动的进行网络时间校准。下面我们把crond服务加到开机自启动：每次系统启动，crond服务自动启动,请输入下面命令： /sbin/chkconfig  -level  234  crond on  /配置在开机时运行  配置完上述操作，检查一下自动校时是否设置成功。2.5 建立hangcheck模块加载检测是否安装了hangcheck模块（在一台服务上操作即可）rootrac1# find /lib/modules -name "hangcheck-timer.ko"显示如下：/lib/modules/2.6.9-42.ELsmp/kernel/drivers/char/hangcheck-timer.ko设置模块为自动加载rootrac1#echo "options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180" >> /etc/modprobe.conf或者rootrac1#echo " /sbin/modprobe hangcheck-timer hangcheck_tick=30 hangcheck_margin=180" >> /etc/rc.local检测模块是否运行rootrac1# modprobe hangcheck-timer rootrac1# grep Hangcheck /var/log/messages | tail -2显示:Apr 21 15:09:48 rac1 kernel: Hangcheck: starting hangcheck timer 0.9.0 (tick is 30 seconds, margin is 180 seconds).Apr 21 15:09:48 rac1 kernel: Hangcheck: Using monotonic_clock().2.6 禁用系统防火墙两台服务器都要执行如下操作：打开一个终端，输入如下命令：vi /etc/selinux/config编辑 config 文件 把 selinux修改为disablesd,修改如下： SELINUX=disabled修改保存查看防火墙的工作状态service iptables status2.7 设置Oracle登陆使用资源数两台服务器都要执行如下操作：打开一个终端，输入如下命令：vi /etc/security/limits.conf在limits.conf 文件末尾加入 oracle soft nofile 65536oracle hard nofile 65536oracle soft nproc 16384oracle hard nproc 16384编辑 vi /etc/pam.d/login 末行加入以下session required pam_limits.so multiple open2.8 配置Oracle用户和用户组两台服务器都要执行如下操作：打开一个终端，输入如下命令：groupadd -g 700 dba （建立Oracle 用户组）useradd -u 500 -g dba oracle （建立Oracle用户及授权所属dba用户组）passwd oracle （设置Oracle用户的密码）输入oracle的用户的密码:oracleChanging password for user oracle.New UNIX password: （此处输入密码）BAD PASSWORD: it is based on a dictionary wordRetype new UNIX password: （再一次输入密码）passwd: all authentication tokens updated successfully.2.9 建立Oracle使用目录及授权两台服务器都要执行如下操作，以下操作必须在root用户下执行：打开一个终端，输入如下命令：mkdir -p /oracle/product/databasemkdir -p /oracle/product/crsmkdir -p /oraInventorychown -R oracle:dba /oraclechown -R oracle:dba /oracle/product/databasechown -R oracle:dba /oracle/product/crschown -R oracle:dba /oraInventorychmod -R 777 /oracle 2.10 配置Oracle用户环境在rac1服务器以 oracle用户登陆，打开一个终端，输入如下命令： vi .bash_profile 在oracle用户的环境变量中加入如下参数(在文件末尾加入以下代码)export ORACLE_BASE=/oracleexport ORACLE_TERM=/xtermexport NLS_LANG=AMERICAN_AMERICA.ZHS16GBKexport CRS_HOME=/oracle/product/crsexport ORACLE_HOME=/oracle/product/databaseexport ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/dataexport PATH=$ORACLE_HOME/bin:$CRS_HOME/bin:$PATHexport ORACLE_SID=orcl1在rac2服务器以 oracle用户登陆，打开一个终端，输入如下命令： vi .bash_profile 在oracle用户的环境变量中加入如下参数export ORACLE_BASE=/oracleexport ORACLE_TERM=/xtermexport NLS_LANG=AMERICAN_AMERICA.ZHS16GBKexport CRS_HOME=/oracle/product/crsexport ORACLE_HOME=/oracle/product/databaseexport ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/dataexport PATH=$ORACLE_HOME/bin:$CRS_HOME/bin:$PATHexport ORACLE_SID=orcl23、 共享磁盘的挂载和配置3.1 IPSCAN的划分、配置及挂载详情请见“IBM磁盘挂载.doc”3.2 建立共享磁盘分区(注意：以下操作在一台服务器上以root执行，在另外一台服务上只要显示一下即可)把IBM磁盘挂载上来的一个共享磁盘sdb分配成四个逻辑分区sdb1(大小为900MB)、sdb2(大小为900MB)、sdb3(大小为500G)、sdb4(大小为400G)在rac1服务器上，打开一个终端，执行如下命令：fdisk /dev/sdb （给块设备sdb分区） The number of cylinders for this disk is set to 52216There is nothing wrong with that ,but this is larger than 1024and could in certain setups cause problems with:1) software that runs at boot time (e.g.,old versions of LILO)2) booting and partitioning software other OSs(e.g.,DOS FDISK,OS/2 FDISK)command acton (m for help)：n (输入n新建分区) command action e extended p primary partition (1-4) p (输入p创建主分区) partition number (1-4):1 (输入1创建第一个主分区）first cylinder (1-522,default 1): （直接按回车键）last cylinder or size or sizeM or siezK(1-522,default 522): +900M （输入+900M给定分区大小）command acton (m for help)：n (输入n新建分区) command action e extended p primary partition (1-4) p (输入p创建主分区) partition number (1-4):2 (输入2创建第二个主分区）first cylinder (1-522,default 1): （直接按回车键）last cylinder or size or sizeM or siezK(1-522,default 522): +900M （输入+900M给定分区大小）command acton (m for help)：n command action e extended p primary partition (1-4) p (输入p创建主分区)partition number (1-4):3 (创建第三个主分区)first cylinder (11-522,default 11): （直接按回车键盘）last cylinder .(11-522,default 522): +500G （输入+500G给定分区大小）command acton (m for help)：n (输入n新建分区) command action e extended p primary partition (1-4) p (输入p创建主分区) partition number (1-4):4 (输入1创建第四个主分区）first cylinder (1-522,default 1): （直接按回车键）last cylinder or size or sizeM or siezK(1-522,default 522): +400G （输入+400G给定分区大小）command acton (m for help)：w （保存退出 ）The partition table has been altered!Calling ioctl() to re-read partition table.Syncing disks上述完成对块设备sdb和sdd的分区之后，我们来查看是否分区成功。打开一个终端执行如下命令：cd /dev (进入/dev目录)ls (显示是否分区成功)注：分区成功应该显示有sdb sdb1sdb2sdb3sdb4在rac2服务器上只要打开一个终端，输入如下命令partprobe (此命令用于扫描分区) cd /dev (进入/dev目录)ls (显sdc示是否分区成功)注：分区成功应该显示有sdb sdb1sdb2sdb3sdb43.3 建立裸（raw）设备（注意：以下操作在两服务器上用root执行）打开一个终端，输入以下命令vi /etc/sysconfig/rawdevices 编辑rawdevices文件，在文件的末尾写入如下：/dev/raw/raw1 /dev/sdb1/dev/raw/raw2 /dev/sdb2/dev/raw/raw3 /dev/sdb3/dev/raw/raw4 /dev/sdb4上述命令执行完毕，重启以下raw服务，输入以下命令service rawdevices restart (重启服务)cd /dev/raw （进入目录）ll (查看是否成功建立)显示如下：crw- 1 root root 162, 1 04-21 15:42 raw1crw- 1 root root 162, 2 04-21 15:42 raw2crw- 1 root root 162, 2 04-21 15:42 raw3crw- 1 root root 162, 2 04-21 15:42 raw43.4 裸设备开机授权及挂载（注意：以下操作在两服务器上用root执行，）打开一个终端，执行如下语句：开机启动方法：打开一个终端输入如下命令：chkconfig rawdevices on执行一个命令：vi /etc/udev/rules.d/60-raw.rules在60-raw.rules文件末尾中输入如下：ACTION="add",ENVMAJOR="8",ENVMINOR="1",RUN+="/bin/raw /dev/raw/raw1 %M %m"ACTION="add",ENVMAJOR="8",ENVMINOR="2",RUN+="/bin/raw /dev/raw/raw2 %M %m"ACTION="add",ENVMAJOR="8",ENVMINOR="3",RUN+="/bin/raw /dev/raw/raw3 %M %m"ACTION="add",ENVMAJOR="8",ENVMINOR="4",RUN+="/bin/raw /dev/raw/raw4 %M %m"开机授权的方法：打开一个终端输入如下命令：vi /etc/rc.local在rc.local文件末尾添加如下命令： chown -R oracle:dba /dev/raw/raw* chmod 660 /dev/raw/raw*打开一个终端输入如下命令：vi /etc/udev/rules.d/50-udev.rules在50-udev.rules文件中找到如下行(在第6行下)KERNEL="*", OWNER="root" GROUP="root", MODE="0600"在此行下面添加如下命令:KERNEL="raw/*", OWNER="oracle" GROUP="dba", MODE="0660"在成功配置以上操作之后，重启服务器（输入命令reboot），检测在重启之后裸盘是否成功挂上，打开一个终端cd /dev/raw （进入目录）ll (查看是否成功建立)显示如下：crw-rw- 1 oracle dba 162, 1 04-22 00:45 raw1crw-rw- 1 oracle dba 162, 2 04-22 17:19 raw2crw-rw- 1 oracle dba 162, 1 04-22 00:45 raw3crw-rw- 1 oracle dba 162, 2 04-22 17:19 raw4上述显示的属组和权限才是正常状态。（注意：两台服务器都要检查裸盘是否成功开机自启动）4、建立ssh等效性（在oracle用户操作）（注意：以下操作必须在Oracle用户中执行）4.1 建立相关目录生成密钥和公钥在rac1服务器上执行打开一个终端，输入以下命令mkdir -p /.ssh （建立.ssh目录）chmod 755 /.ssh (给.ssh目录授权)oraclerac1 $ /usr/bin/ssh-keygen -t rsa （以下操作按回车即可）Generating public/private rsa key pair.Enter file in which to save the key (/oracle/oracle/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /oracle/oracle/.ssh/id_rsa.Your public key has been saved in /oracle/oracle/.ssh/id_rsa.pub.The key fingerprint is:16:2b:45:27:24:ee:97:46:5e:72:43:f1:9f:df:4b:dd oraclerac1oraclerac1 $ /usr/bin/ssh-keygen -t dsa （以下操作按回车即可）Generating public/private dsa key pair.Enter file in which to save the key (/oracle/oracle/.ssh/id_dsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /oracle/oracle/.ssh/id_dsa.Your public key has been saved in /oracle/oracle/.ssh/id_dsa.pub.The key fingerprint is:0a:d5:e7:6a:a1:11:de:e4:72:74:fc:5f:b2:63:5b:6b oraclerac1在rac2服务器上执行打开一个终端，输入以下命令mkdir -p /.ssh （建立.ssh目录）chmod 755 /.ssh (给.ssh目录授权)oraclerac2 $ /usr/bin/ssh-keygen -t rsa （以下操作按回车即可）Generating public/private rsa key pair.Enter file in which to save the key (/oracle/oracle/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /oracle/oracle/.ssh/id_rsa.Your public key has been saved in /oracle/oracle/.ssh/id_