网络工程专业毕业设计（论文）基于虚拟磁带库对数据库的备份和容灾1.doc

毕业设计题 目 基于虚拟磁带库对数据库的备份和容灾学 院 信息科学与工程学院 专 业 网络工程 班 级 网络 学 生 学 号 指导教师 二一一 年 六 月 十 日摘 要随着信息时代的到来，用数据爆炸来形容我们当前的信息社会已经毫不夸张，从1.44MB的软盘到以TB记的磁盘阵列，存储介质正以千万倍的速度增长着。信息时代给我们每个人带来的方便时是不言而喻的，及时便利的网上购物，安全便捷的网上银行，无所不知的百度谷歌，还有互联网上无数的供我们汲取的巨大知识宝库。敢想象一下哪一天互联网上的数据丢失了会怎么样么，股票、证券、银行，几乎所有的行业都会瘫痪，我们的生活将举步维艰。信息作为当今社会发展的基石，作为每一个提供服务的企业都有责任和义务保证自己所提供的数据信息的安全，来保证我们是生活在轨道上运行。数据备份容灾不可小觑。企业数据一般而言都以数据库管理，当前最受企业青睐的数据库当属Oracle了，所以我的毕业设计主要是对当前主流服务器操作系统下利用NBU备份软件对Oracle数据库的备份和容灾设计，以及在IBM小机上利用NBU备份软件DB2数据库的备份和容灾设计。设计所实现的功能将会在实验室中搭建起来，实验室的环境主要有2台DELL服务器、一台同有VTL150G2虚拟磁带库、一台同有ISUM450G3磁盘阵列、2台IBM小机，通过对企业数据存储环境的模拟，完成对企业数据库的备份和容灾设计的实现。完成对模拟企业数据存储环境的备份和容灾后，将会保证数据的高可用性和易恢复性，当本地主机的业务中断时，可以通过提取备份介质中的备份数据来实现企业业务的不间断。例如，在病毒或者人为误操作下，Oracle数据库的控制文件被删除，可以通过NBU备份软件从虚拟磁带库中将Oracle控制文件恢复到本地硬盘，以实现数据库的正常使用管理。通过NBU备份软件和虚拟磁带库的搭配可以保证企业数据库在病毒或人为误操作甚至本地磁盘物理上的出现错误时数据不会丢失，从而使得企业数据库的安全得到了根本上的保证。关键词：数据库安全、虚拟磁带库、备份容灾ABSTRACTWith the advent of the information age，use data explosion to describe our current information society has none exaggerative.At least 1.44MB floppy disk from to TB remember disk array,storage medium is growing with thousands of times. The information age to give each of us bring convenience self-evident. For example,convenience shopping online 、Safety and convenient online bank Omniscient baidu Google,And on the Internet for innumerable we learnt huge compendium of knowledge. You imagine someday Internet data lost what will happen,stocks、bonds 、bank Almost all of the industry will be paralyzed, our life will limping. Information as the cornerstone of the current social development,as each provide service enterprise has the obligation to ensure that their responsibility and the data provide information security, to ensure that we are living in orbit. How to guarantee the safety of enterprise data ? Data backup tolerant cannot small gaze. General enterprise data in database management. Currently, the most favored by the enterprise of Oracle database,So my graduation design is mainly to the current mainstream server operating system (Windows server 2003 / in 2008, Linux, Unix) is shown to backup software with the Oracle database backup and tolerant design，And on the HP small shown backup software DB2 database using the backup and tolerant design. Design the function will realize in the lab building up. Lab 2 sets of environment are mainly DELL servers (Windows server 2003), a VTL150G2 with a virtual tape library, a ISUM450G3 disk arrays, with a small machine (2 sets of IBM, Unix). Through the enterprise data storage environmental simulation and the completion of enterprise database backup and tolerant design is realized.Finish to the analog enterprise data storage environment after the backup and tolerant, will ensure that the data availability and restorative, when the local host may, when the business interruption by extracting the backup data backup medium to realize enterprise business uninterrupted. For example, in the virus or human error operating under the control, Oracle database files are deleted, can pass is shown from virtual tape library backup software will Oracle control file recovery to local hard disks, in order to realize the normal use of database management. Through the shown backup software and virtual tape library collocation can make the enterprise database security has been fundamental guarantee.Keywords:Database Security, Virtual Tape Library, Backup Tolerant目 录摘 要IABSTRACTII1 绪论11.1基本概念介绍11.1.1虚拟磁带库11.1.2 IP-SAN11.1.3 VERITAS NetBackup11.1.4备份与复制21.2虚拟磁带库技术优势21.3论文结构与组织3第二章 项目规划42.1硬件信息42.2 项目概要42.3拓扑图52.4 主机网络信息表63 虚拟磁带库配置73.1 VTL150G2基本配置信息73.2 VTL150G2配置过程73.2.1.在管理机器上安装VTL150G2控制台73.2.2登陆VTL控制台73.2.3磁盘虚拟化83.2.4创建虚拟磁带库93.3将磁带库分配给IP-SAN客户端103.3.1添加SAN客户端103.3.2在服务器上识别备份介质124 NetBackUp安装管理144.1 NetBackUp组件介绍144.1.1 NetBackUp Master Server144.1.2 NETBackUp Client144.2 管理NETBackUp144.2.1基本管理144.2.2 磁带管理144.2.3 NBU常用命令介绍164.3 NetBackup日常维护184.3.1使用Device Monitor184.3.2 使用Activity Monitor184.3.3 使用Report184.3.4 使用Logs195 Oracle数据库的备份与恢复205.1前期准备205.1.1 备份数据库205.1.2 更改数据库为Archivelog方式205.2 NBU Oracle agent 简介205.3 ORACLE备份客户端的配置215.3.1 AIX下客户端的配置215.3.2 windows下客户端的配置225.4在Master Server端创建Oracle备份的策略225.5备份软件参数设置275.6 oracle数据库的恢复296 DB2的备份管理316.1 Unix client的安装316.2 DB2 agent 简介316.3 DB2的备份与恢复316.3.1 DB2 Agent的配置316.3.2 创建DB2数据库的备份策略336.3.3 DB2数据库的恢复366.3.4 DB2数据库的异机恢复37结 论38参 考 文 献39致 谢401 绪论1.1基本概念介绍1.1.1虚拟磁带库虚拟磁带库(VTL)是指将磁盘仿真(虚拟)成磁带库，使备份服务器把磁盘作为磁带库对待，从而实现在备份作业中用磁盘代替磁带来存储数据的目的。VTL技术是数据备份领域的里程碑，具备多项优势，如性能高、故障率低、可靠性高、成本投入低以及运营成本低等，受到各行业用户的青睐。同时，VTL也可以和现有磁带库集成，提高数据保护的整体安全性和性能，降低数据保护成本。VTL对于其它系统来说，与真实的、自动化的物理磁带库/机设备一样，区别仅在于数据是存储在磁盘上。1.1.2 IP-SANSAN（Storage Area Network，存储局域网络）的诞生，使存储空间得到更加充分的利用以及安装和管理更加有效。SAN是一种将存储设备、连接设备和接口集成在一个高速网络中的技术。SAN本身就是一个存储网络，承担了数据存储任务，SAN网络与LAN业务网络相隔离，存储数据流不会占用业务网络带宽。IP-SAN即走IP链路的SAN网络。1.1.3 VERITAS NetBackup作为企业级备份和恢复的公认领先产品，VERITAS NetBackup软件设计用来为各种复杂的UNIX、Windows、Linux和NetWare环境提供完整的数据保护。直观的图形化用户界面可帮助企业管理所有备份和恢复功能，维护部署在企业中协调一致的备份策略。Veritas NetBackup软件可提供数据库和应用感知（Database-and Application-Aware）的智能备份和恢复解决方案，适用于Oracle、IBM DB2 UDB、Microsoft SQL Server、Microsoft Exchange Server、Microsoft SharePoint Portal server、 SAP R/3、 Sybase、Informix 、Lotus Notes和Domino server。NetBackup的数据中心级介质管理使企业具有了包括带库共享在内的管理介质的各方面能力，并且NetBackup的Java界面提供了对所有备份和恢复操作的完整的实时和历史情况分析。第一级由NetBackup主服务器（Master Server）组成 ， NetBackup 主 服务 器 的 作用相当于“大脑”，管理制定全网(包括全部备份服务器和客户机)的备份策略和跟踪客户端的备份，能够管理一台或多台磁带库，实现多个客户端的数据备份。NetBackup主服务器是集中管理的核心。第二级由介质服务器 (Media Server) 组成，介质服务器可以直接连接和管理磁带库或与主服务器（Master Server）或者其他介质服务器共享一个磁带库。介质服务器与主服务器的不同在于全网的备份策略和控制通路均由主服务器集中管理，而介质服务器仅提供数据通路。如果拥有诸如数据仓库的海量数据，介质服务器可以进行大量的本地备份，同时对其他客户机进行备份。介质服务器能够和主服务器或者其他介质服务器共享磁带库，这一点也是VERITAS NBU的独特之处。第三级是客户端。通常，这一级的机器最多但数据量不是最大。1.1.4备份与复制备份不等同于复制。很多人可能会将备份与复制混为一谈，将备份简单的等同于复制操作，其实并不是这样的。复制是将原来的数据或文件做一个完全相同格式和内容的数据或内容保存下来，而备份是将原来的数据或文件以另一种格式保存下来，通常情况下备份文件的格式是不能任意访问的。通过备份的文件以另一种形式存在而不受病毒和人为误操作的影响。1.2虚拟磁带库技术优势1.2.1传统磁带库备份存在的问题首先备份过程与恢复过程太长，而且人力资源消耗过大无法保证成功，备份介质的管理复杂恢复时间无法确定，介质的成本高。虽然如此，传统的磁带库备份仍然是一种成熟的备份技术。1.2.2虚拟磁带库的优势相比于磁带库，采用磁盘阵列技术的虚拟磁带库产品在可靠性上有着非常大的优势。磁盘阵列及其相关技术已经非常成熟，通常采用模块化设计，方便维护管理人员的维护工作。通常磁盘阵列在多方面均采用了高可靠设计，冗余控制器、冗余电源、冗余散热系统、甚至与主机的链路均采用冗余设计。其磁盘的维护成本也较低廉，RAID功能、热备援磁盘、在线RAID数据重建，没有磁带驱动器所需的定期清洗要求，磁盘热插拔在线更换等等多种功能充分保证了磁盘阵列的可靠性，提高了可维护性。综上所述，利用磁盘介质虚拟出磁带库，达到和传统带库一样的功能；同时排除了传统带库Robot与Tape的机械故障率，从而大大增强了备份设备的稳定性。基于磁盘存储技术，磁盘介质在I/O性能上远远高于顺序读写的磁带介质，虚拟磁带库的性能更优；虚拟磁带库可以灵活配置驱动器数量、类型以及磁带插槽数量以适应不同的应用环境，带来管理上的灵活和方便。虚拟磁带库基于RAID磁盘阵列存储技术来保证备份数据的安全，在备份介质上提供了更深一层的保护。1.3论文结构与组织本论文的结构主要分为以下几章第一章绪论介绍了与虚拟磁带库备份有关的几个概念并分析了利用虚拟磁带库进行备份的优势所在。第二章介绍了本设计方案项目规划，从全局可以对整个项目有一个把握。第三章对虚拟磁带库的具体配置做出了详细概述，将虚拟磁带库分配给备份服务器及客户端。第四章展现了VERITAS NetBackup软件的功能及日常使用管理的方法第五章基于虚拟磁带库对Oracle数据进行了具体的备份与恢复操作第六章基于虚拟磁带库对DB2数据进行了具体的备份与恢复操作第二章 项目规划2.1硬件信息表2.1 所需硬件信息及其用途产品名称规格型号数量容量用途虚拟磁带库VTL150G2-F1750G备份介质Veritas NetBackup6.51备份软件DELL服务器EMS01180G备份服务器DELL服务器EMS01180G用于虚拟备份客户端（虚拟2台）磁盘阵列ISUM450G214.5T备份服务器和客户端的存储设备IBM小型机P5 520Q2备份客户端 2.2 项目概要2.2.1主机硬件信息表由于硬件数量不足，利用了虚拟主机技术，虚拟主机与硬件平台的对应关系如表2.2所示。表2.2 主机应用详细信息主机应用主机名IP地址SAN地址硬件平台备份服务器 Server98192.168.1.98192.168.0.98DELL B虚拟机主机Server97192.168.1.97192.168.0.97DELL AOracle数据库Linux64192.168.1.64192.168.0.64虚拟主机Oracle数据库toyou192.168.1.89192.168.0.86虚拟主机Oracle数据库ibmp615-1192.168.1.85192.168.0.85IBM小机DB2数据库ibmp615-2192.168.1.86192.168.0.86IBM小机2.2.2磁盘阵列空间分配磁盘阵列的总空间为2T，分配形式如表2.3所示表2.3主机空间分配主机应用主机名IP地址SAN地址分配空间备份服务器 Server98192.168.1.98192.168.0.98200G虚拟机主机Server97192.168.1.97192.168.0.971TOracle数据库Linux64192.168.1.64192.168.0.64200GOracle数据库toyou192.168.1.89192.168.0.86200GOracle数据库ibmp615-1192.168.1.85192.168.0.85200GDB2数据库ibmp615-2192.168.1.86192.168.0.86200G2.3拓扑图图2.1 设备物理拓扑图图1.1说明：图中的设备都有两个网口，其中的一个网口接IP网络，用于IP通信；其中的另一个网口用于IP-SAN网络，用于存储网络通信。2.4 主机网络信息表表2.2主机网络信息主机应用主机名IP地址SAN地址OS版本数据库版本备份服务器 Server98192.168.1.98192.168.0.98WIN2003 标准版 sp2N/A虚拟机主机Server97192.168.1.97192.168.0.97WIN2003 标准版 sp2N/AOracle数据库Linux64192.168.1.64192.168.0.64RedhatLinux 5.0OracleOracle数据库toyou192.168.1.89192.168.0.86WIN 2003企业版 sp2Oracle Oracle数据库ibmp615-1192.168.1.85192.168.0.85WIN 2003企业版 sp2OracleDB2数据库ibmp615-2192.168.1.86192.168.0.86WIN 2003企业版 sp2DB2表2.23 虚拟磁带库配置3.1 VTL150G2基本配置信息表3.1 虚拟磁带库简要信息产品型号VTL150G2管理地址192.168.1.200用户名/密码root/root带库型号ADIC SCALAR i2000驱动器类型IBM LTO4带库连接模式使用超五类双绞线连接到IP-SAN网络驱动器1IBM ULTRIUM-TD4 分配给vtlserver驱动器2IBM ULTRIUM-TD4 分配给vtlserver驱动器3IBM ULTRIUM-TD4 分配给vtlserver驱动器4IBM ULTRIUM-TD4 分配给vtlserver磁带驱动器IBM ULTRIUM-TD4 SCSI Sequential Device驱动程序IBM 官方驱动 软件提供带库槽位信息数据带槽位118磁带容量大小300GB3.2 VTL150G2配置过程3.2.1.在管理机器上安装VTL150G2控制台虚拟磁带库的安装调试以及日常管理维护工作是通过VTL150G2控制台完成的，通过控制台可以完成VTL的网络管理、主机管理、设备虚拟化、配置虚拟磁带库、添加SAN客户端、分配虚拟磁带库。3.2.2登陆VTL控制台添加VTL服务器图3.1 添加VTL控制端登陆信息，VTL服务器处填写VTL服务器的IP地址，其中用户名和密码均为root图3.2 输入登陆信息登陆成功，登录后即可对VTL进行管理配置3.2.3磁盘虚拟化 虚拟磁带库使用前要对磁盘设备进行虚拟化操作，由于虚拟磁带库是利用磁盘作为备份的最终物理介质，需要利用磁盘模拟磁带的备份模式，所以磁盘格式是无法进行备份做的。这就需要对物理磁盘进行虚拟化操作，将物理磁盘虚拟化为磁带格式。图3.3 在SCSI设备中虚拟化物理磁盘3.2.4创建虚拟磁带库开启创建磁带库向导图3. 4 启用虚拟磁带库图3. 5 创建虚拟磁带库完成3.3将磁带库分配给IP-SAN客户端3.3.1添加SAN客户端在Netstor® VTL管理软件界面中右键单击“SAN客户端”选择Add，添加iSCSI 客户端。注：首次配置时需在选项中进行开启iSCSI，如下图所示：图3.6 启用iscsi链路在“选择客户端协议类型”处选择iSCSI，点击下一步。手动或自动添加客户端的显示名称。图3.7 添加客户端名称然后进行下一步设置客户端发起端选项，添加发起端名称。图3.8 详细信息设置iSCSI用户访问认证方式图3.9 不查看认证点击完成，完成添加iSCSI客户端向导。3.3.2在服务器上识别备份介质在介质服务器安装并启动Microsoft iSCSI Initiator软件。在弹出的“iSCSI Initiator属性”对话框中选择“Discovery”标签，并在“Target Portals”选项中单击“Add”添加Target端。弹出“Add Target Portal”对话框，在“IP address or DNS name”后输入Netstor® VTL端IP地址并单击“Advanced”进入高级设置选项。弹出“Advanced Settings”对话框，在“Connect by using”“Local adapter”选项中选择“Microsoft iSCSI Initiator”，在“Source IP”选项中选择介质服务器IP地址，单击“确定”完成高级选项设置。此时自动返回到“Add Target Portal”对话框，单击“OK”完成“Discovery”设置。在“iSCSI Initiator属性”对话框中单击“Targets”标签，单击“Log On”登录刚刚建立的Target。弹出“Log On to Target”对话框，将“Automatically restore this connection whetn the system boots”前面的复选框打上对勾(每次启动系统时自动连接)。单击“Advanced”进入高级设置选项。在“Advanced Settings”对话框，选择“Connect by using”“Local adapter”选项中选择“Microsoft iSCSI Initiator”，在“Source IP”选项中选择介质服务器IP地址，在“Target Portal”选项中选择NetStor VTL主机端IP地址，单击“确定”完成高级选项设置。返回到“iSCSI Initiator属性”对话框，单击“确定”完成设置。图3.10 iscsi initiator连接完成鼠标右键单击“我的电脑”“管理”“设备管理器”，在树型莱单右侧可以看到已经分配的虚拟磁带库/磁带机设备。图3.11 在设备管理器中查看磁带库设备4 NetBackUp安装管理4.1 NetBackUp组件介绍4.1.1 NetBackUp Master Server顾名思义，NETBackUp Master Server是NETBackUp备份系统中的主服务器管理组件，Master Server可以管理备份介质，对备份客户端进行统一的调度，创建备份策略，以保证各个客户端能有条不紊的往虚拟磁带库上进行备份操作，而不至于造成I/O重读等其他问题。4.1.2 NETBackUp ClientNETBackUp Client需要安装在备份客户端上，作为整个备份过程的发起端，Client将需要备份的数据文件通过SAN网络备份到虚拟磁带库中。4.2 管理NETBackUp4.2.1基本管理配置存储设备、卷管理、管理备份目录、创建备份策略。4.2.2 磁带管理从磁带库中导入磁带在导入磁带库中的磁带之前，请先确认磁带库已经加电自检完毕，并处于在线状态；选择Media and Device Management下的Media下，点击鼠标右键选择Inventory Robot， 在Inventory Type中选择Updata Volume Configuration，点击Start，开始把所有磁带的信息写入到Master Server中 点上图yes导入结束后，点击Close关闭界面；然后点击Media and Device Management下的Media，可以看到所有导入的磁带信息 图4. 1 导入磁带信息 将磁带分配至某个Volume Pool中在Media and Device Management下的Media窗口中，点中一盘或多盘磁带，然后点击鼠标右键选择Change；然后在弹出窗口中选择New pool选项，在右边的下拉菜单中选择将要归属的Pool的名称，再点击OK确认即可；图4.2 选择将要归属的Pool的名称4.2.3 NBU常用命令介绍1 bpexpdate作用：将磁带中的所有内容过期，使磁带可以被重新规划使用。例如：要将Media ID为000001的磁带内容全部清除。# bpexpdate ev 000001 d 02 vmchange作用：更改磁带的介质类型。例如：要将Media ID为000001的原磁带类型HCART2修改为HCART。# vmchange new_mt hcart m 000003 available_media作用：查看磁带状态install_pathNetBackupbingoodiesavailable_media图4. 3 在cmd中查看磁带状态4 bpmedia作用：磁带冻结后解冻install_pathNetBackupbinadmincmdbpmedia unfreeze m media_id h hostname5 bpexpdate作用：磁带手动过期命令install_pathNetBackupbinadmincmdbpexpdate m media_id d 06 bplabel作用：磁带重新标定命令install_pathNetBackupbinadmincmdbplabel m media_id d density7 robtest作用：带库测试命令install_pathVolmgrbinrobtest4.3 NetBackup日常维护4.3.1使用Device Monitor 在Master Server上运行“Netbackup Administration Console”，选择“Media and Device Management”-“Device Monitor”4.3.2 使用Activity Monitor 在Master Server上运行“Netbackup Administration Console”，选择“Activity Monitor” 4.3.3 使用Report 在Master Server上运行“Netbackup Administration Console”，选择“Netbackup Management”-“Reports” 图4.4 使用Report4.3.4 使用Logslog日志放置路径：/usr/openv/logs 统一日志存储 /usr/openv/netbackup/logs 传统日志存储缺省时，该目录没有创建日志文件夹，系统管理员可以在该目录下根据需要创建相关的日志。5 Oracle数据库的备份与恢复5.1前期准备5.1.1 备份数据库在安装配置之前，需要对数据库系统进行备份，以保证出现问题时可以进行有效的恢复。可采用停止数据库，备份所有dbf文件的冷备份方式；或者使用exp命令进行逻辑备份。5.1.2 更改数据库为Archivelog方式Windows下与unix下的修改方法相同1 关闭数据库SQL>shutdown immediate; 2 启动数据库到mount状态SQL>startup mount; 3 将数据库改至归档模式SQL>alter database archivelog; 4 设置归档路径SQL>alter system set log_archive_dest='/ora_arch' 5 开启自动归档模式SQL>alter system set log_archive_start=TRUE scope=spfile;6 重新启动数据库SQL>shutdown immediate; SQL>startup5.2 NBU Oracle agent 简介Oracle 代理负责监视数据库进程。该代理可以使 Oracle 数据库服务联机、监视其状态以及使其脱机。特定的代理操作包括：Online - 启动 Oracle 服务。Offline - 停止 Oracle 服务。该操作还会停止依赖于 Oracle 服务的所有服务。Monitor - 确认 Oracle 服务的状态。该代理提供了两种级别的应用程序监视功能：基本监视和详细信息监视。基本监视：该代理通过查询服务控制管理器 (SCM) 来确认 Oracle 服务是否一直处于活动状态。详细信息监视：该代理运行 SQL 脚本来确认数据库的状态。详细信息监视功能是可选功能。它会更新 Oracle 数据库中的临时表来确认数据库实例的可用性。5.3 ORACLE备份客户端的配置5.3.1 AIX下客户端的配置1）racle用户的身份，执行oracle_link# su - oracle$ sqlplus /as sysdba$ cd /usr/openv/netbackup/bin$ ./oracle_linkSat Dec 6 21:27:58 BEIST 2008All Oracle instances should be shutdown before running this script.Please log into the Unix system as the Oracle owner for running this scriptDo you want to continue? (y/n) n yLIBOBK path: /usr/openv/netbackup/binORACLE_HOME: /oracle/product/9.2.0Oracle version: 9.2.0.7.0Linking LIBOBK:Ln-s/usr/openv/netbackup/bin/libobk.a64 /oracle/product/9.2.0/lib/libobk.aDonePlease check the trace file located in /tmp/make_trace.266360 to make sure the linking process was successful.2）ACPM存储数据的共享盘阵上创建备份脚本目录# mkdir /oradata/nbuscript3）oracle备份的脚本#cp/usr/openv/netbackup/ext/db_ext/oracle/samples/rman/hot_database_backup.sh /orcdata/db_back_scripts4）实际情况编辑oracle备份脚本5.3.2 windows下客户端的配置windows下只需修改脚本就行脚本的默认路径为D:VeritasNetBackupDbExtOracleSamplesrman5.4在Master Server端创建Oracle备份的策略备份脚本创建完毕之后，回到NetBackup Master Server上，创建一个新的备份