大型企业容灾解决方案.doc
《大型企业容灾解决方案.doc》由会员分享,可在线阅读,更多相关《大型企业容灾解决方案.doc(30页珍藏版)》请在三一办公上搜索。
1、XXX异地数据容灾复制解决方案迪思杰(北京)数码技术有限公司二零零七年五月四日目 录1项目背景42用户的现状和需求52.1现状52.2用户需求53XXX数据复制方案设计63.1系统结构63.2软硬件配置需求73.2.1异地容灾系统的服务器和存储要求73.2.2DSG REALSYNC的配置74解决方案功能描述84.1初始化同步功能和性能84.1.1初始化的原理84.1.2dsg初始化性能94.2实时复制的功能和性能104.2.1日志分析速度104.2.2每秒钟复制的操作数104.2.3复制数据延迟114.2.4CPU资源占用114.2.5源端的缓存空间114.2.6网络需求114.3业务接管和
2、回切124.4数据一致性比较124.4.1比较原理124.4.2比较性能134.4.3特点145数据复制技术的比较155.1与磁盘阵列复制技术相比165.2与存储卷复制技术(VERITAS)相比175.3DSG RealSync与ORACLE DG的比较185.4与应用层技术相比206解决方案的特点216.1业务功能实现216.1.1主备系统数据库处于双活状态216.1.2以数据保护为中心,侧重于保护业务数据安全216.1.3数据损失216.2性能和稳定性226.2.1对源系统性能的影响226.2.2对网络资源的使用226.2.3数据延迟236.2.4对主中心的影响236.2.5复制环境的健壮
3、性236.2.6事物的完整性和可用性246.3配置和实施246.3.1开放性246.3.2对源系统的修改工作246.4可扩展性246.4.1对系统扩容的影响246.4.2业务扩展的影响256.4.3对双机集群的支持257Realsync部分应用案例261 项目背景XXXXXXX有限公司成立于1998年6月,公司总部位于深圳市福田区XXX,拥有逾2000平米的自有现代化办公区。公司专注于移动通信产品的营销服务,是三星等国际著名品牌在中国的核心代理商,中国移动的战略合作伙伴,国内最大的移动通讯产品代理商之一。xxx在全国各地设立了39个分支机构, 形成了覆盖全国的销售、物流和服务网络是1999年以
4、来手机分销行业内唯一实现年增长数倍的企业。基于INTRANET的xxx信息平台,是行业内最先进的、运用最广泛的、可延展性最深入的IT平台,给公司的手机分销和数据业务推广提供了强大的后台支持。随着公司业务的发展,企业信息化对公司的业务影响越来越明显,为了更好地支持XXX集团的发展,集团组建专门的信息部负责企业的信息化进行全面的规划和实施维护。随着企业应用的逐渐增加,对一些关键业务的实时保护就变得异常重要,同时对关键数据的保护也变得十分重要。应用级别的灾难恢复就是在这样的背景下提出的。2 用户的现状和需求2.1 现状XXX目前采用dataguard的physical standy 模式进行数据的异
5、地容灾处理。结构如下所示:生产端服务器和容灾端服务器相同 均为ibm p570 aix5.2(6cpu),生产端将redo log 传送到远程然后再容灾端应用,采用physical standby模式。容灾端数据库为关闭状态。由于带宽的限制,初始化同步的时候先在深圳将容灾端服务器做好physical ,然后再将服务器运送至南昌容灾中心。其缺点为1、 physical standby 对带宽要求较高,而集团提供的路线仅仅10M。2、 目标数据库处于关闭状态,切换比较繁琐。2.2 用户需求针对原有复制系统的不足,XXX对数据复制提出了下属的要求;1、 在2M带宽下对数据进行复制。2、 数据复制要保
6、证数据的完整性和一致性,并能提供相应的比对工具。3、 在生产中心和灾备中心可以进行任意灵活的切换,操作简单。4、 灾备中心的数据库处于打开状态,可以有效地利用灾备设备。3 XXX数据复制方案设计3.1 系统结构根据异地容灾系统的需求及其业务特点,我们建议的异地容灾系统结构图如下所示:XXX现有的生产系统:oracle10g + ibm p570 aix5.2(6cpu)XXX现有的灾备系统:oracle10g + ibm p570 aix5.2 (6cpu)该方案中采用DSG RealSync软件将深圳生产中心的生产数据实时复制到南昌容灾系统上,数据实时复制的时候,集团的10M的带宽完全可以满
7、足要求。 针对数据库内容的完整性和一致性,我们软件配有专用的数据库比较工具,可以针对选择的内容进行快速的一致性比较,从而满足用户的数据验证的需求。在容灾端,系统地Oracle数据库一直处于OPEN状态。可以在容灾中心上加载一些查询和统计分析的功能应用。 另外需要特别注意的是,对于集团的数据在容灾端回切的时候做增量复制的要求,我们目前的产品还不能满足,现阶段只能要求用户用全同步工具进行数据复制,但公司这方面一直在开发和测试,目前处于测试阶段,预计将在年底会有新版本和相应的成熟的解决方案发布。3.2 软硬件配置需求3.2.1 异地容灾系统的服务器和存储要求异地实时备份服务器:和本地实时备份服务器一
8、样,一般也选择和生产服务器相同档次的服务器(不过可选择不同厂商的),但一般建议采用单机结构用作备份服务器,无需在本地备份服务器上采用HA或双机结构。存储设备要求不小于源端系统的容量。3.2.2 DSG REALSYNC的配置为了实现本地和异地的数据实时复制架构,我们采用DSG RealSync用于数据复制软件。在生产端和容灾端的数据库服务器上(安装oracle软件的服务器)分别部署两个realsync agent:。经过配置之后,通过生产端和容灾端agent的通信,就可以将源端的数据实施复制到容灾端的数据库服务器。4 解决方案功能描述在采用了DSG的realsync解决方案后,可提供数据实时复
9、制的需要,包括业务连续性的切换,也包括因为误操作而造成的数据损坏。4.1 初始化同步功能和性能4.1.1 初始化的原理DSG RealSync提供的首次全同步功能将源系统上的已有数据记录从datafile中直接读取并解析成为DXF数据格式,在利用XIMP将DXF数据批量快速装载到Data target系统上。RealSync调用Oracle的I/O层的API接口批量读取一张表(Table)的记录(每次读多少条是由操作员设定的RealSync系统的Buffer决定的,如果一次读不完,则分为多次读取),然后将读取的记录转化为DXF格式,再将DXF格式表示的一批记录传送到目标端的RealSync A
10、gent进程,目标端进程再调用ORACLE的I/O层的API接口将数据批量写入目标系统中。对于一个数据库而言,其中有许多张表(Table),RealSync依次将每张表的所有数据按照上述原理复制到目标系统中。对于xexp导出过程不是通过Oracle的标准select接口,所以其导出速度非常快。同时,在采用DSG RealSync实现批量数据装载时,还无需停止源系统上的业务流程。那么RealSync是如何处理在导出过程中新改变的数据的复制呢?因此,RealSync还支持第二阶段的增量数据复制:当上个步骤的大批量数据完成后,RealSync再将步骤一过程中新增加的交易重新复制到目标系统。在过程的工
11、作原理是通过跟踪和分析从上个步骤开始时的所有redo.log信息,从Log文件中分析和翻译出这段时间内新增加的记录,然后再将记录在目标系统上插入。如果在该过程中复制的数据在目标表中已经存在,则RealSync将首先删除目标系统中的该记录,同时插入新复制的记录。在这两个过程执行过程中,生产系统的业务可以保持运行状态。无需中断业务。4.1.2 dsg初始化性能dsg专业的初始化同步工具,可以快速有效地完成实时复制所需的数据初始化的问题,并且不需要中断业务。下表是用户在带宽没有限制的情况下的初始化同步的性能。源端导出速度10个并发任务下:780GB:3个小时导完每个并发任务消耗单个cpu的30%目标
12、端装载速度10个并发任务下:780GB:6个小时导完含建索引每个并发任务消耗单个cpu的30%4.2 实时复制的功能和性能realsync实时复制源端cpu单个CPU的10%左右目标端cpu单个CPU的20%左右源端内存200400M目标端内存200400M实时抓取速度2分钟1GB日志实时装载速度3分钟1GB日志4.2.1 日志分析速度2分钟分析完成10GB积压日志我们采取了积压日志分析的方式进行测试,利用rac环境下的两台服务器同时产生10GB的日志数据,然后启动realsync测试其在多长时间内能够分析完这些数据。测试结果表名,在rac模式下,由两个数据库节点同时工作,在5分钟内产生的10
13、GB归档日志,共计800万条记录,realsync只需要2分钟40秒即能分析完累积的日志,约9分钟装载完成。日志分析的速度远远高于产生日志的速度。完全能够满足未来的业务需求,即使是在业务高峰期,也不会造成日志累积。4.2.2 每秒钟复制的操作数每秒钟处理达到18000条操作,满足高峰期的业务并发量。在测试过程中,我们采用PL/SQL方式在源端产生1万,10万,100万条记录,以及进行1万,10万,100万的update,delete操作等。按照统计结果,DSG RealSync达到平均18000条/s的复制速度。4.2.3 复制数据延迟RealSync是一种异步准实时的复制技术,其数据延迟非常
14、小。数据延迟的周期可以设置,在生产系统中,数据延迟和源系统复制事物的多少,事物的处理方式有关,以及跟设置的log数据轮询周期有关。在复制数据量正常的OLTP系统中,数据延迟一般在几秒钟。4.2.4 CPU资源占用DSG RealSync通过Oracle日志获得数据的变化信息,它独特的技术优势使得它对源系统的资源占用很小。在生产系统中,实际对源系统的影响和源系统复制事物的多少,事物的处理方式有关。在复制数据量正常的OLTP系统中,正常状态下对CPU资源的占用为几个百分点。4.2.5 源端的缓存空间当容灾中心暂停或传输异常中断导致复制停止时,RealSync会将数据库的变化内容存储在源系统或目标系
15、统的队列中,当系统恢复后,RealSync会自动识别复制环境,自动从断点处开始复制工作。在上述过程中,主中心的业务不受任何影响。数据的一致性不会破坏。当复制环境停止的情况下,需要在源系统和目标系统上存储的空间和业务系统每天峰值的日志数有关。4.2.6 网络需求RealSync对数据传输采用TCP/IP网络传输。RealSync复制操作只是读取操作系统的日志文件,同时通过TCP/IP方式而不是采用中间件方式传输只发生改变的数据也使网络负载降至最低。RealSync只将日志的三分之一的内容通过网络进行传输。实际每小时传输的数据量=每小时日志文件切换的数量*日志文件的大小*1/3 .根据XXX的业务
16、量统计峰值时为每分钟产生的日志量为100M。实际每分钟传输的数据量=每分钟日志量*/3=100/33 M折算成带宽约为5Mbps。4.3 业务接管和回切当生产服务器出现故障,导致生产服务器不可用的时候,由于我们实时复制服务器处于打开状态,随时可以接管生产端服务器的业务,所以业务接管时不需要进行额外的工作。当生产端服务器经过处理可以重新使用的时候,需要对生产端的服务器和实时复制服务器做一次数据全同步,在数据初始化同步的过程中不会影响业务。4.4 数据一致性比较4.4.1 比较原理对于ORACLE而言,数据一致性的检查主要通过数据库的SQL接口读取记录进行对比的方式进行。而这种比对方式耗时巨大,效
17、率十分低下,如果对于一些没有主键的表就几乎无法比较。DSG在数据一致性校验的检查机制方面做的尤为突出,并且使得这一需求变得可行。在其它同类产品中,DSG RealSync不是通过select接口来读取数据并进行比较,而是通过批量读取的方式从数据库底层直接读取记录,并通过rowid的对应关系来定位记录,并通过数据源的记录值、ROWID,目标端的记录值、ROWID,以及realsync所记录的ROWID映射关系来比较双方的记录是否一样。其实现原理为:(1) 从源端通过realsync自带的导出工具读取某张表的所有记录,将每条记录生成一个CRC校验码。从而形成ROWID和CRC对应的数据文件;(2)
18、 将校验文件传输到目标端;(3) 目标端也通过realsync自带的导出工具读取需要比较的表的所有记录,将每条记录生成一个CRC校验码。从而形成ROWID和CRC对应的数据文件;(4) 利用realsync记录的ROWID MAPPING映射文件比较每条记录的CRC码是否相同,如果不同,则两条记录的肯定有错误。4.4.2 比较性能该工具的工作方式不是通过select接口读取数据进行比较,而是通过其快速导出工具进行记录导出,并将导出的记录分别形成CRC校验码,然后通过CRC校验码来检验数据是否一致。根据测试结果表名:对一个有900多万行记录的用户进行一致性比较,比较时间1分钟;4.4.3 特点
19、性能高:对一个有900多万行记录的用户进行一致性比较,比较时间1分钟; 对特殊数据类型也可以比较:对于long raw,lob等类型都可以比较。 网络压力小:因为传输的数据不是记录本身,而只是每条记录的crc校验码,因此网络压力很小。5 数据复制技术的比较在选择数据复制系统的构造时,首先要考虑的就是选择采用合理的异地数据复制技术。数据的远程复制技术是数据复制系统的核心技术,它对于数据系统的一致性和可靠性以及系统的应变能力具有举足轻重的作用,通过有效的数据复制,远程的业务数据中心与本地的业务数据实现同步,确保一旦本地系统故障,远程的数据复制中心迅速进行完整的接管。一般说,在容灾系统方案的数据复制
20、技术上存在两种主流模式: 第一种方式是基于智能存储的数据镜像技术。该技术是将数据复制通过磁盘阵列控制器在进行写入操作的同时通过高速网络向容灾系统的阵列上发送相同的I/O指令来实现,因此该方案对主机的资源占用很小;稳定性好;同步性强。该技术主要由各存储设备生产厂家所推荐,如EMC,IBM,HP等都提供了相应的解决方案。 第二种方式是基于主机系统的数据复制,该方式是把数据定期、在线地复制到目的地的机器上去。这种方案大部分由存储管理软件厂家提供,尤其是VERITAS推出了一系列基于该方案的存储管理软件解决方案。而用户在选择复制技术时,除了考虑技术本身以外,还着重考虑以下几个因素:(1)投资回收与其他
21、任何保险策略一样,对容灾系统而言,没有灾难出现时,我们根本无法意识到容灾系统所起到的作用,无法回收容灾系统建设所需的大量投资。但从系统安全性角度考虑,我们必须为关键的业务支撑系统建设最有效的灾难恢复解决方案。但是在大部分情况下,当未出现灾难时,我们的容灾端系统总是处于空闲状态,花费大量投资买来的系统根本无法有效利用。这个问题一直困扰着用户。因此,我们建议在容灾系统建设中,需要考虑的第一个问题是如何保证容灾端的系统可以得到充分利用,使容灾端系统的数据实现共享,能够利用容灾系统提供的高性能主机资源、存储资源为企业带来更大的处理能力。(2)异构平台因为容灾系统的建设其投资很高,并且所能够选择的系统平
22、台有限。而对目前各大厂商推荐的容灾方案大部分是基于智能存储复制技术,这种技术要求本地系统与容灾系统的系统平台同构。这样用户就很容易受到平台选择的限制。DSG RealSync主要应用目的是将一个oracle系统上的数据实时复制到另外一个oracle系统上。实现这些功能的业界常用解决方案主要包括以下几类: 磁盘阵列复制技术:主要由一些磁盘阵列厂商提供,如EMC SRDF、IBM PPRC 、HP BusinessCopy、HDS TrueCopy等; 存储卷复制技术:由一些卷管理软件厂商提供,如VERITAS VVR; 数据库复制技术:由数据库厂商以及一些第三方厂商提供,如DSG RealSyn
23、c/SmartE,Quest SharePlex等; 应用层复制技术:由各系统的应用厂商自己提供;DSG RealSync属于数据库复制技术。因此下面就该技术与其他几类复制技术的优缺点作一个归纳:5.1 与磁盘阵列复制技术相比DSG RealSync磁盘阵列复制技术适合对象: 适合从工作组级、企业级到数据中心级的复制需求。 无论系统采用什么样的服务器平台、什么样的存储平台,只要是ORACLE系统之间的复制即可适用。优点: 目标端数据可用:目标端数据库在复制过程中出于可用状态,可用作数据查询、报表、数据抽取等任务分担; 异构系统复制:源端系统和目标端系统可以采用异构的操作系统平台、存储平台; 支
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 大型企业 解决方案

链接地址:https://www.31ppt.com/p-3475354.html