Oracle11gR2“加”RAC“加”ASM“加”OracleLinux64安装详解.docx

 Oracle 11g R2+RAC+ASM+OracleLinux6.4安装详解（图） 2014-12-08 18:10:28分类： Oracle一、版本说明发现网上相关文章很多但是不是很专，因此细化版本为了使文章更加实用。这次搭建的是Oracle 11g R2 11.2.0.4的RAC环境，使用的操作系统版本为Oracle Linux 6.4点击(此处)折叠或打开1. rootnode1 # lsb_release -a2. LSB Version: :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarch3. Distributor ID: OracleServer4. Description: Oracle Linux Server release 6.45. Release: 6.46. Codename: n/a内核版本：点击(此处)折叠或打开1. rootnode1 # uname -r2. 2.6.39-400.17.1.el6uek.x86_64UEK代表Unbreakable Enterprise Kernel，是Oracle专门为Oracle Linux定制的内核，可以提供在线支持和对数据库的支持，算是OracleLinux的卖点之一。（本文中一些配置过程会因实用UEK版本而得到简化）二、Oracle 11g R2 RAC安装整体步骤1.服务器准备 (system, storage, and network administration):· 安装操作系统并升级到满足Oracle安装要求的版本。· 创建安装所需要的组、用户以及软件的家目录。· 设置GNS域名如果您打算部署GNS，并且完成网络地址在DNS和服务器上的配置。· 设置所要求的存储。· 将所有安装文件拷贝到一个节点上。2.安装Oracle Grid集群基础架构, 包括Oracle Clusterware和Oracle ASM (system and storage administration):· 为集群安装Oracle Grid 基础架构软件。在安装过程中，Fixup脚本进行操作系统参数、SSH和用户环境变量等参数的附加调整。· 升级Oracle Clusterware和Oracle ASM到最新补丁。3.安装Oracle RAC (database administration):·     安装Oracle RAC·     打补丁到最新版本·     完成安装后的调试三、详细安装过程及说明（参考官方文档）1.通过SecureCRT或TerminalX建立命令行连接。2.在每一个节点上添加安装Oracle Grid的用户、组和家目录，并设置权限。点击(此处)折叠或打开1. # /usr/sbin/groupadd -g 1000 oinstall2. # /usr/sbin/groupadd -g 1020 asmadmin3. # /usr/sbin/groupadd -g 1021 asmdba4. # /usr/sbin/groupadd -g 1022 asmoper5. # /usr/sbin/groupadd -g 1031 dba6. # /usr/sbin/groupadd -g 1032 oper7. # useradd -u 1100 -g oinstall -G asmadmin,asmdba,asmoper,oper,dba grid8. # useradd -u 1101 -g oinstall -G dba,asmdba,oper oracle9. # mkdir -p /u01/app/11.2.0/grid10. # mkdir -p /u01/app/grid11. # chown -R grid:oinstall /u0112. # mkdir /u01/app/oracle13. # chown oracle:oinstall /u01/app/oracle14. # chmod -R 775 /u01/参照官方文档，采用GI与DB分开安装和权限的策略，对于多实例管理有利。3.检查服务器各个节点的配置是否符合安装要求I.服务器硬盘空间要求/tmp目录大小至少：1GB安装Grid Infrastracture所需空间：6.6GB安装Oracle Database所需空间：4GB此外安装过程中分析、收集、跟踪文件所需空间：10GB建议总共至少30GB，放心！（此处不包含ASM或NFS的空间需求）II.服务器内存要求内存大小：至少2.5GBSwap大小：当内存为2.5GB-16GB时，Swap需要大于等于系统内存。当内存大于16GB时，Swap等于16GB即可。III.检查和调试代码· 查看内存及Swap大小的命令如下。点击(此处)折叠或打开1. # grep MemTotal /proc/meminfo2. # grep SwapTotal /proc/meminfo· 查看/tmp目录以及配置单独lv的命令如下。点击(此处)折叠或打开1. # df -h /tmp2. # lvcreate -L 2G -n lv_tmp vg_temp3. # mount /dev/vg_temp/lv_tmp /tmp4. # df -h /tmp4.设置操作系统相关参数    这一项在非Oracle Linux的操作系统中算是一项比较繁琐的工作，然而我们这次安装的版本是Oracle Linux 6.4 withUnbreakable Enterprise Kernel，因此我们有了更简单的办法，就是通过安装Oracle Preinstallation RPM来实现相关操作系统参数的调整和软件包的安装。这个安装包主要完成以下工作：·Automatically downloads and installs any additional RPM packages needed for installing Oracle Grid Infrastructure and Oracle Database, and resolves any dependencies··Creates an oracle user, and creates the oraInventory (oinstall) and OSDBA (dba) groups for that user··As needed, sets sysctl.conf settings, system startup parameters, and driver parameters to values based on recommendations from the Oracle Preinstallation RPM program··Sets hard and soft resource limits··Sets other recommended parameters, depending on your kernel version·此安装包位于操作系统安装盘的Packages目录下。点击(此处)折叠或打开1. # cd /mnt/install_DVD2. # cd Packages3. # ll | grep preinstall4. -rw-r-r- 1 root root 15524 Jan 16 2013 oracle-rdbms-server-11gR2-preinstall-1.0-7.el6.x86_64.rpm5. # rpm -ivh oracle-rdbms-server-11gR2-preinstall-1.0-7.el6.x86_64.rpm安装包修改/etc/sysctl.conf的内容如下：其中标有oracle-rdbms-server-11gR2-preinstall字样注释的便是安装包所添加的参数。点击(此处)折叠或打开1. # cat /etc/sysctl.conf2. # Kernel sysctl configuration file for Red Hat Linux3. #4. # For binary values, 0 is disabled, 1 is enabled. See sysctl(8) and5. # sysctl.conf(5) for more details.6.7. # Controls IP packet forwarding8. net.ipv4.ip_forward = 09.10. # Controls source route verification11. net.ipv4.conf.default.rp_filter = 112.13. # Do not accept source routing14. net.ipv4.conf.default.accept_source_route = 015.16. # Controls the System Request debugging functionality of the kernel17. kernel.sysrq = 018.19. # Controls whether core dumps will append the PID to the core filename.20. # Useful for debugging multi-threaded applications.21. kernel.core_uses_pid = 122.23. # Controls the use of TCP syncookies24. net.ipv4.tcp_syncookies = 125.26. # Disable netfilter on bridges.27. net.bridge.bridge-nf-call-ip6tables = 028. net.bridge.bridge-nf-call-iptables = 029. net.bridge.bridge-nf-call-arptables = 030.31. # Controls the default maxmimum size of a mesage queue32. kernel.msgmnb = 6553633.34. # Controls the maximum size of a message, in bytes35. kernel.msgmax = 6553636.37. # Controls the maximum shared segment size, in bytes38.39. # Controls the maximum number of shared memory segments, in pages40.41. # oracle-rdbms-server-11gR2-preinstall setting for fs.file-max is 681574442. fs.file-max = 681574443.44. # oracle-rdbms-server-11gR2-preinstall setting for kernel.sem is '250 32000 100 128'45. kernel.sem = 250 32000 100 12846.47. # oracle-rdbms-server-11gR2-preinstall setting for kernel.shmmni is 409648. kernel.shmmni = 409649.50. # oracle-rdbms-server-11gR2-preinstall setting for kernel.shmall is 1073741824 on x86_6451. # oracle-rdbms-server-11gR2-preinstall setting for kernel.shmall is 2097152 on i38652. kernel.shmall = 107374182453.54. # oracle-rdbms-server-11gR2-preinstall setting for kernel.shmmax is 4398046511104 on x86_6455. # oracle-rdbms-server-11gR2-preinstall setting for kernel.shmmax is 4294967295 on i38656. kernel.shmmax = 439804651110457.58. # oracle-rdbms-server-11gR2-preinstall setting for net.core.rmem_default is 26214459. net.core.rmem_default = 26214460.61. # oracle-rdbms-server-11gR2-preinstall setting for net.core.rmem_max is 419430462. net.core.rmem_max = 419430463.64. # oracle-rdbms-server-11gR2-preinstall setting for net.core.wmem_default is 26214465. net.core.wmem_default = 26214466.67. # oracle-rdbms-server-11gR2-preinstall setting for net.core.wmem_max is 104857668. net.core.wmem_max = 104857669.70. # oracle-rdbms-server-11gR2-preinstall setting for fs.aio-max-nr is 104857671. fs.aio-max-nr = 104857672.73. # oracle-rdbms-server-11gR2-preinstall setting for net.ipv4.ip_local_port_range is 9000 6550074. net.ipv4.ip_local_port_range = 9000 655005.配置Oracle网络I.硬件配置要求· 每个服务器节点至少需要2块网卡，一块对外网络接口，一块私有网络接口（心跳）。·  如果你通过OUI安装Oracle集群软件，需要保证每个节点用于外网或私网接口（网卡名）保证一致。比如，node1使用eth0作为对外接口，node2就不能使用eth1作为对外接口。II.IP配置要求·存在为集群服务的DHCP··DHCP能为每个节点提供足够的IP，一个虚拟IP、3个SCAN IP·III.非GNS下手动配置IP实例6.检查操作系统软件包首先，根据操作系统版本到官方文档中找到安装包需求列表，如下图可以通过mount安装盘或直接通过yum源检查和安装所需要的包：点击(此处)折叠或打开1. # rpm -qa packages_name2. # rpm -ivh packages_name3.4. # yum list packages_name5. # yum install packages_name这里还要提一下：CVUdisk这个包也可以在这个时候一起安装好，以备之后使用CVU时会用到。点击(此处)折叠或打开1. # 检查是否已经安装2. # rpm -qi cvuqdisk3. # 如果已安装需要先卸载之前的版本4. # rpm -e cvuqdisk5. # 安装新版本6. # CVUQDISK_GRP=oinstall; export CVUQDISK_GRP7. # rpm -ivh cvuqdisk-1.0.9-1.rpm7.关闭NTP及端口范围参数修改点击(此处)折叠或打开1. # Oracle建议使用Oracle Cluster Time Synchronization Service，因此关闭删除NTP2. # /sbin/service ntpd stop3. # chkconfig ntpd off4. # rm /etc/ntp.conf (mv /etc/ntp.conf /etc/ntp.conf.old)5. # rm /var/run/ntpd.pid6.7. 检查TCP/UDP端口范围8. # cat /proc/sys/net/ipv4/ip_local_port_range9. 如果已经显示9000 65500,就不用进行下面的步骤了10. # echo 9000 65500 > /proc/sys/net/ipv4/ip_local_port_range11. # vim /etc/sysctl.conf12. # 添加此行：13. # TCP/UDP port range14. net.ipv4.ip_local_port_range = 9000 6550015. # 重启网络16. # /etc/rc.d/init.d/network restart8.调整.bash_profile内容并设置显示地址点击(此处)折叠或打开1. 设置参数：2. $ su - root3. # mkdir /mount_point/tmp4. # chmod 775 /mount_point/tmp5. # exit6.7. $ vi .bash_profile8. 加入行：9. TEMP=/mount_point/tmp10. TMPDIR=/mount_point/tmp11. export TEMP TMPDIR12. 加入行：umask 02213. 加入行：DISPLAY=local_IP:0.0 ; export DISPLAY14. local_IP为你要将安装视图所显示的桌面地址15.16. 检查设置参数17. $ umask18. $ env | more19. $ echo $DISPLAY20. $ echo $TEMP21. $ echo $TMPDIR9.配置SSH互信这是很关键的一步，虽然官方文档中声称安装GI和RAC的时候OUI会自动配置SSH，但为了在安装之前使用CVU检查各项配置，还是手动配置互信更优。点击(此处)折叠或打开1. 配置过程如下：2. 各节点生成Keys：3. rootrac1 # su - oracle4. oraclerac1 $ mkdir /.ssh5. oraclerac1 $ chmod 700 /.ssh6. oraclerac1 $ ssh-keygen -t rsa7. oraclerac1 $ ssh-keygen -t dsa8. rootrac2 # su - oracle9. oraclerac2 $ mkdir /.ssh10. oraclerac2 $ chmod 700 /.ssh11. oraclerac2 $ ssh-keygen -t rsa12. oraclerac2 $ ssh-keygen -t dsa13.14. 在节点1上进行互信配置：15. oraclerac1 $ touch /.ssh/authorized_keys16. oraclerac1 $ cd /.ssh17. oraclerac1 .ssh$ ssh rac1 cat /.ssh/id_rsa.pub >> authorized_keys18. oraclerac1 .ssh$ ssh rac2 cat /.ssh/id_rsa.pub >> authorized_keys19. oraclerac1 .ssh$ ssh rac1 cat /.ssh/id_dsa.pub >> authorized_keys20. oraclerac1 .ssh$ ssh rac2 cat /.ssh/id_dsa.pub >> authorized_keys21.22. 在rac1把存储公钥信息的验证文件传送到rac2上23. oraclerac1 .ssh$ pwd24. /home/oracle/.ssh25. oraclerac1 .ssh$ scp authorized_keys rac2:'pwd'26. oraclerac2's password:27. authorized_keys 100% 1644 1.6KB/s 00:0028.29. 设置验证文件的权限30. 在每一个节点执行：31. $ chmod 600 /.ssh/authorized_keys32.33. 启用用户一致性34. 在你要运行OUI的节点以oracle用户运行(这里选择rac1)：35. oraclerac1 .ssh$ exec /usr/bin/ssh-agent $SHELL36. oraclerac1 .ssh$ ssh-add37. Identity added: /home/oracle/.ssh/id_rsa (/home/oracle/.ssh/id_rsa)38. Identity added: /home/oracle/.ssh/id_dsa (/home/oracle/.ssh/id_dsa)39.40. 验证ssh配置是否正确41. 以oracle用户在所有节点分别执行：42. ssh rac1 date43. ssh rac2 date44. ssh rac1-priv date45. ssh rac2-priv date46.47. 如果不需要输入密码就可以输出时间，说明ssh验证配置成功。必须把以上命令在两个节点都运行，每一个命令在第一次执行的时候需要输入yes。48. 如果不运行这些命令，即使ssh验证已经配好，安装clusterware的时候也会出现错误：49. The specified nodes are not clusterable50. 因为，配好ssh后，还需要在第一次访问时输入yes，才算是真正的无障碍访问其他服务器。请谨记，SSH互信需要实现的就是各个节点之间可以无密码进行SSH访问。10.为Grid集群基础软件配置存储（使用ASM）Oracle所允许的存储主要有ASM、NFS和ACFS等，这里仅介绍ASM的配置过程。（1）安装ASM配置软件点击(此处)折叠或打开1. 依然是可以通过yum或者系统DVD光盘安装2. # cd /mnt/install_DVD/Packages3. # rpm -qi oracleasm4. # rpm -qi oracleasm-support5. # rpm -qi oracleasm-support-2.1.8-1.el6.x86_64.rpm6. /我们是Oracle Linux系统，此版本已经集成了oracleasm和oracleasmlib，所以就不用再安装了（2）规划ASM磁盘组官方文档中规定了不同冗余策略下OCR、Voting Disk、Database和Recovery所需求的大小。找到存储管理员，把规划好的磁盘都让他给你配置好（3）配置ASM点击(此处)折叠或打开1. 格式化每个磁盘2. rootrac1 # fdisk /dev/sdb3.4. 完成后我们通过fdisk -l查看一下5. rootrac1 # fdisk -l6.7. rootrac1 # /usr/sbin/oracleasm configure -i8. Default user to own the driver interface : grid9. Default group to own the driver interface : asmadmin10. Start Oracle ASM library driver on boot (y/n) n: y11. Scan for Oracle ASM disks on boot (y/n) y: y12.13. rootrac1 # /etc/init.d/oracleasm createdisk VOL1 /dev/sdb114. rootrac1 # /etc/init.d/oracleasm createdisk VOL2 /dev/sdc115. rootrac1 # /etc/init.d/oracleasm createdisk VOL3 /dev/sdd116.17. 以下操作在另一个节点上进行，RAC2上操作18. rootrac2 # oracleasm scandisks19. 这里用到的是asmlib来做磁盘设备管理的，这里大家也可以使用UDEV来管理，在RHEL6中asmlib已经被废弃了，以后就是UDEV的天下11.使用CVU检查各个节点的配置工作千辛万苦终于到了安装前的最后一步点击(此处)折叠或打开1. rootnode1 # su - grid2. gridnode1 $ cd grid_sw3. gridnode1 grid_sw$ ./runcluvfy.sh stage -pre crsinst -n node1,node2 -fixup -verbose4. 其中“grid_sw”为安装包解压出来的grid安装文件。这一步的重点在于遇到报错怎样处理：我这次安装遇到了PRVF-5636，此问题是由于没有DNS以及/etc/resolv.conf 的设置引起的，因为脚本要用nslookup命令去检测两个节点的连通性。12.安装GI和RAC（1）安装Oracle Grid Infrastructure安装过程中遇到了udev的报错，由于我们使用的oracleasmlib，所以直接无视（2）安装Oracle Database 11g with Oracle Real Application Clusters安装Grid是难点，RAC只要Grid安装顺利基本不是问题，安装过程中也请先使用CVU进行安装前检测，本次安装过程中遇到了一些文件权限的问题，大家安装时也请多注意。尤其是ASM的权限和安装用户的家目录权限。13.使用ASMCA和DBCA管理数据库关于这两个管理软件网上文章很多，这里不再赘述。鸣谢：本文参考了众多高手的博客和文章，特此说明，以表敬意！