两地三中心容灾解决方案.doc

《两地三中心容灾解决方案.doc》由会员分享，可在线阅读，更多相关《两地三中心容灾解决方案.doc（18页珍藏版）》请在三一办公上搜索。

1、两地三中心容灾解决方案2010-12-26目 录1“两地三中心”容灾系统建设的功能目标32两地三中心”容灾系统技术方案42.1总体设计方案42.2容灾方案实现52.2.1同城应用级容灾方案52.2.2异地数据级灾备方案63基于SHAREPLEX的容灾方案73.1SharePlex for Oracle产品介绍73.2Shareplex主要技术指标84成功案例104.1银联数据104.2山西移动124.3北京地税154.4SharePlex国内部分客户181 “两地三中心”容灾系统建设的功能目标理想目标：在确保系统稳定安全的前提下，颠覆“切换时长、数据丢失，平时不用、浪费投资，决策困难、影响巨大

2、，演练复杂、风险增加”的传统“灾备”模式，创建全新“容灾”理念，使新增投资平时发挥生产效力、实现容纳各种灾难、确保业务连续和数据安全的崭新模式。同城应用级容灾：覆盖能被客户直接感知的各类业务，平时与主机房同时运行，负载均衡使用，可分担各查询业务流量。当容灾机房或主机房任何一处出现灾难造成的非计划内停机，则另一个机房都能在保证不丢失数据的前提下，继续对外提供同样的服务，对业务或对客户的感觉影响极低。异地容灾；异地容灾机房，存放一台存储设备和一台核心业务验证服务器，异步存储数据，容许0-15分钟数据丢失。发生城市级灾难时仍可以有效恢复生产系统核心数据和，。最终实际目标：以系统稳定、安全、高效为基本

3、前提，经严格论证和实测，可以逐步退守，直至实现一定投资下“高可用性和高安全性”的平衡。容灾系统将能够应对下述的灾难和风险，确保数据安全性和业务连续性：2 两地三中心”容灾系统技术方案2.1 总体设计方案生产系统的容灾系统拟建成“两地三中心“模式。同城双中心是指在同城或邻近城市建立两个可独立承担关键系统运行的数据中心，双中心具备基本等同的业务处理能力并通过高速链路实时同步数据，日常情况下可同时分担业务及管理系统的运行，并可切换运行；灾难情况下可在基本不丢失数据的情况下进行灾备应急切换，保持业务连续运行。同城应用级容灾的主要目标为业务连续性，同城双中心需要数据实时同步或准同步，RPO=0，同城范围

4、有效保证了数据的安全性和业务连续性； 异地灾备中心是指在异地的城市建立一个备份的灾备中心，用于双中心的数据备份，当双中心出现自然灾害等原因而发生故障时，异地灾备中心可以用备份数据进行业务的恢复。异地灾备系统的主要目标为数据安全性，复制距离较远，容灾距离：一般200公里以上。主要应对地区级数据风险。本方案中计划在海口建立异地的数据备份中心。在异地复制方案中，一般采用异步复制技术，需要尽可能降低数据丢失机率；带宽要求低，减少维护性成本； l 数据库同步方案在本方案中，建议使用SharePlex for Oracle 软件来实现生产系统数据库到同城灾备中心和异地灾备中心的数据准实时同步。l 非结构化

5、数据同步方案对于目前生产系统中的非结构化数据，同城的灾备中心可使用同时上传的方式，即应用程序每次将文件上传时，要求必须同时上传到生产中心和同城的灾备中心，以保证应用切换后，所有非结构化数据均可在同城容灾中心访问。异地的灾备中心，因仅需要实现数据的异地备份功能，则可以考虑使用脚本定期将生产系统产生的非结构化数据传输到异地灾备中心的方式实现，文件的更新频率可根据生产系统业务量，以及容灾需求来确定，本方案中建议每30分钟同步一次增量的文件。同步方式可使用FTP脚本或其他第三方文件同步工具实现。2.2 容灾方案实现2.2.1 同城应用级容灾方案由于目前生产系统才用的均为C/S结构的应用，因此，本方案中

6、，同城的应用接管建议使用网络层面的切换来实现。当生产中心数据库主机出现系统级故障，暂时不可用时，可使用网络设备，通过地址或域名解析的方式，将所有终端客户重新指引到同城的灾备中心数据库服务器，实现业务的全面接管。l 切换决策本方案中建议采用专用的负载均衡设备来实现地址或主机域名的切换，该设备通常可自动检测数据库是否可用等状态，并可实现自动的切换，但本方案中，考虑到整个系统的安全性和稳定性，建议最终的切换决策必须手工确认，如使用网络设备自动实现，则可能在某些特殊的情况下增加以外的切换风险 l 正向接管和反向回切，在出现问题后，SharePlex解决方案可以进行应用接管，而当原系统恢复正常时，可以将

7、接管期间的增量数据反向同步回去，平滑地实现接管和反向回切。l 切换步骤及时间本方案中的应用接管将主要包括网络切换和数据库的切换步骤，网络切换可有硬件设备自动完成，数据库切换则需要在切换前确认容灾数据库的运行状态，并执行一些相关的切换脚本，所有步骤均可在方案部署时统一编写脚本，确保整个切换步骤简单、迅速。根据现有生产系统的实际情况，切换时间可控制在分钟以内l 终端用户影响生产系统现有的用户主要通过C/S方式访问系统，因此，在生产系统数据库出现故障时所有用户会出现数据库连接中断的错误，当灾备数据库实现接管后，仅需要重新连接数据库服务器即可继续使用，不需要任何额外的切换或操作步骤。2.2.2 异地数

8、据级灾备方案生产系统异地灾备系统的设计目标是发生城市级灾难时仍可以有效恢复数据和柜面行内业务，即实现数据安全保护和核心业务的业务连续性，提供可恢复能力。l 数据保护能力建立异地灾备系统最重要的目标是保障核心业务系统的数据安全，规避数据风险，保障数据在任何情况下万无一失。通过SharePlex进行数据复制，目标系统是一个打开的“看得见，摸得着”数据库，不会出现基于硬件方式复制在极端情况下无法打开数据库的风险，可以最大程度地保障宝贵数据的安全性。l 网络带宽使用带宽使用较少不仅可以减少电信网络的租用费用，还可以满意日后数据增长的扩展性需求。通过SharePlex进行数据复制，对带宽使用只有日志文件

9、1/3的内容，而且平均分布到所有时间点，可以极大地节省带宽租用的成本，不仅可以满足现有的需求，还可以满意日后数据增长的扩展性需求。l 复制延迟数据延迟关系到灾难发生时的数据丢失多少，对于异地灾备来说，任何复制技术必然会数据延迟和数据损失，数据损失越少越好。SharePlex解决方案随时解析联机日志，存储到自己的队列并传输到目标系统，然后加载到数据库中，这个过程的延迟非常小。3 基于SharePlex的容灾方案3.1 SharePlex for Oracle产品介绍下图所示为SharePlex for Oracle的基本结构：数据捕获SharePlex for Oracle由捕获进程来收集发生变

10、化的数据，捕获进程驻留在源系统上，自动读取Oracle的在线日志文件。这种读操作是从操作系统的角度来完成的，而不是通过数据库。通过将日志文件作为获取变化信息的源泉，Quest可以完成数据的复制而不会给生产系统带来额外的开销。由于Oracle将所有的事物变化记录到日志中并使用日志文件进行系统恢复，因此Shareplex for Oracle可以通过解析日志文件保障数据的一致性。捕获进程连续监控日志文件用以捕捉变化信息。当日志文件中出现一条新记录时，SharePlex判断其是否属于被复制对象，如果是，则SharePlex为该条记录加入用于决定此记录将被发向那个主机的地址信息并将包含地址信息的记录存

11、放到自己的队列中，存储队列存在于数据库之外。发生改变的数据被立即处理并被发送到目标系统中而不等待提交或回滚动作的完成，因为等待提交或回滚完成将带来延迟。当提交或回滚信息被写入日志文件时，它们也将被发送到目标系统中，从而在目标系统中完成相对应的操作。捕获进程具有如下特点：l 捕获进程从Oracle 日志文件中读取信息，因此复制过程不会给生产数据库实例带来性能问题；l 只有发生改变的数据被传输，而不是日志文件中的全部信息，因此SharePlex的网络负载非常小；l 尽管需要在Oracle数据库中安装少量的对象用来存储有关复制的一些基本信息，但源数据库不需要参与到数据捕获和传输过程中；SharePl

12、ex的捕获进程不但可以读取在线的日志文件，而且可以读取归档日志，甚至当归档日志文件被移动到其它设备上时，SharePlex会发出提示信息。正是这种能力极大地增强了系统的冗余功能。例如，如果捕获进程由于某种原因被停止，当它重新启动后数据同步不会受到影响；数据传输SharePlex for Oracle在基于TCP/IP协议的网络环境完成源和目标系统之间的数据传输。其相关的进程确保数据的正确接收和网络数据包的正确顺序，从而提供网络传输冗余，确保数据的完整。整个数据传输过程无需其它的中间件。应用数据应用进程将传送到目标系统中的信息转化为SQL语句，然后发送给Oracle执行。SharePlex能够实

13、现精确复制的一个重要原因就是其能保证从源数据库到目标数据库的Oracle读一致性，不但按顺序复制事务，而且也复制上下文信息，将源数据库中发生变化的全部事务信息都复制到目标数据库中。3.2 Shareplex主要技术指标Shareplex产品的主要技术指标见下表：指标描述技术原理读取Oracle的日志文件，获取数据的变化信息，传输到目标系统，然后解析成SQL语句，在目标系统中执行复制的基本单位复制的基本单位为表，也可以选定表的行或列进行复制,支持的复制内容见Shareplex的Release Notes。支持的复制模式单向，双向，一对多，多对一，级联复制对DML的支持支持所有DML操作对DDL的

14、支持支持大部分的DDL操作，提供灵活的配置选项，可以设置复制或者不复制相关的DDL操作。对集群和RAC的支持支持各种集群，支持RAC目标系统支持的操作目标系统支持Read-Write操作对系统性能的影响对主系统CPU占用率5%。数据延迟和事物处理的类型、事物量、机器性能、优化配置有关，对于每天日志量40G以内的OLTP系统来说，一般延迟在60s以内。网络资源的使用和复制表的数量有关，传输量最多为日志文件的1/3最大距离没有限制对异构环境的支持支持不同的存储、主机、操作系统、Oracle数据库的不同版本4 成功案例SharePlex for Oracle产品面世已经有十年时间，目前在全球范围内有

15、1000家以上的成功案例，其中中国大陆地区有70家。 4.1 银联数据银联数据服务有限公司是中国银联股份有限公司（简称“中国银联”）的子公司， 公司成立六年来，以银行卡发卡数据处理外包服务为突破口，秉承“市场第一、客户第一、服务第一”的企业理念，积极进取，勇于开拓，赢得了广大客户的信任和尊重，在国内发卡数据处理外包服务市场处于绝对领先地位。截止2009年6月30日，公司已经与兴业银行、民生银行、华夏银行、中国邮政储蓄银行、花旗银行、东亚银行等境内外66家机构签署发卡外包服务合同，其中58家机构已经在银联数据发卡系统上发卡运营，卡量累计1700万张。 公司主要业务包括：l 贷记卡业务：银联数据为

16、客户银行提供发卡业务的一揽子解决方案。包括客户银行的信用卡中心设计，业务规划、系统建设、业务培训和咨询，7X24小时运营，全程服务。目前，已经与银联数据合作以外包模式发卡，和正在积极筹建中的合作方已有邮政储蓄银行、华夏银行、民生银行、兴业银行、东亚银行等四十余家银行。l 借记卡业务：是一个以处理卡片支付为主线，处理整个零售银行业务的系统，已经过多年的实际生产验证。该系统具有客户管理、产品定义、卡片管理、账务处理与会计核算、业务处理和风险控制等基本功能，支持转账与支付、储蓄存款、小额信贷、个人理财等零售银行业务处理，提供有灵活的卡产品、业务产品定义和卡片、客户个性化服务定制功能。l 银联数据预付

17、卡业务：是一个专门用于发行和管理小额支付卡的系统，能够支持国内外金融机构、非金融机构发行支付卡的业务处理。系统具有产品定义、卡片管理和行业支付等基本功能，提供有灵活的卡片个性化服务定制功能。业务挑战为了提高为各个银行提供卡业务的服务质量，银联数据计划在北京建设异地灾备系统。技术需求如下：l 接管时间（RTO）：2小时l 数据恢复点目标（RPO）:15分钟l 目标系统平时能够承担查询业务，实时可用；l 对网络带宽的使用小，节省电信网络租用费用，提高投资回报；l 不影响源系统的运行；l 可扩展性强，能够支持未来三年的数据量；解决方案银联数据在与其它方案进行了仔细对比以后，确定选用Quest公司的

18、SharePlex解决方案。SharePlex具有对带宽要求低，对源系统性能影响小，容易部署等特点。SharePlex解决方案如下图：l 生产系统采用了Sun 25K，建立了四个分区，每个分区上运行1到多个Oracle实例。包括不同公司的信用卡，贷计卡信息。l 针对每个实例，建立从上海到北京的复制链路。l 通过Shareplex建立生产中心到灾备中心的异地数据复制；l 当灾难发生时，通过灾备库进行容灾接管；l 灾备库可以在平时运行查询业务；l 生产中心每台机器上可能有多个数据库，与目标端的数据库一一对应。用户收益银联数据异地灾备项目实施后通过部署Shareplex解决方案，用户获得了以下收益：

19、1实现了容灾系统建设目标解决方案充分实现了容灾系统的建设目标，目标数据库出于打开的状态。能够确保目标数据的安全性。经过了几次容灾演习，非常顺利地实现应用接管和反向回切。RTO和RPO满足大大低于预订目标。 2.网络带宽使用少，维护成本低银联数据采用从上海到北京的复制，在目前带宽为4M的情况下能够保障复制的实时性。Shareplex for Oracle方案对带宽的使用只有日志文件13，对带宽占用较少减少了每年租用带宽的成本，提供了总体投资回报。全面提升了银联数据的服务能力，容灾系统建设后，为银联数据的中小银行的信用卡和贷计卡提供了容灾服务，服务的提升可以避免现有客户的流失，保持企业竞争力。4.

20、2 山西移动用户概述中国移动通信集团山西有限公司（简称中国移动山西公司），于1999年9月1日成立，2002年7月在香港和纽约成功上市，成为中国移动（香港）有限公司的全资子公司。注册资本28亿元人民币，资产规模超过80亿元，服务的用户数接近1500万。山西移动主要经营移动话音、数据、IP电话和多媒体业务、计算机信息网络国际联网和基于移动通信业务的各类增值业务。除提供基本话音业务外，还提供数据、传真、IP电话、无线上网、宽带接入、视讯通、移动办公、信息点播、彩铃、彩信、手机证券等多种增值业务。拥有“全球通”、“神州行”、“动感地带”等著名服务品牌。目前全省已建成了以营业厅服务、1860电话服务及

21、互联网服务、大客户个性化服务为主体的客户服务体系，营业网点达到4200多个。业务挑战集中化管理是IT系统发展的一个趋势，山西公司在完成BOSS系统的集中化管理后，大大提高了系统的可维护性、可管理性、可扩充性。但正如把一筐鸡蛋放进一个篮子里一样，集中化管理也带来了一定的风险。而且，近几年随着业务的发展，集中的BOSS系统所支撑的客户规模剧增，如何提高系统运行的高可靠性、抵抗灾难、提高业务连续运行的能力就成为山西省移动公司现阶段面临的一个挑战。 解决方案山西移动根据业务的迫切需求，在与其它方案进行了仔细对比以后，确定选用Quest公司的 基于SharePlex业务支撑系统应急、报表解决方案。Sha

22、rePlex具有对源系统性能影响小，复制延迟小，并能快速的实现关键业务的接管与反向回切，以及分担查询报表等业务等特点。SharePlex解决方案如下图：l 生产系统使用采用Oracle RAC架构，由两个节点共同承担业务的访问；l 生产系统的数据安全主要有本地的磁带备份与基于Oracle Standby技术的容灾数据库保障；l 应急、报表数据库采用SharePlex数据复制技术，实施的同步生产系统中交费等关键业务，以及报表业务所需数据；l 应急、报表数据库一直处于可用状态，可分担生产系统的查询业务，以减轻生产系统数据库的负担。l 当生产数据库出现系统故障，无法对外提供服务时，可由应急、报表数据

23、库在3-5分钟内实现关键业务的接管。用户收益山西移动的应急、报表方案能够解决各种发生概率较高的系统故障，保护关键业务应用在7X24小时内不间歇运行。从技术上保障了业务系统的连续性和数据的安全性。独立的报表、查询数据库也大大减轻了生产系统的负担，使得高峰期业务办理的性能有了大幅度的提高。快速应用接管和反向回切山西移动应急方案充分考虑到了应用、数据和系统各级的保护，当生产系统出现任何软件、硬件或其他不可知故障时，占整个业务量75%以上的关键业务能迅速的实现应用的接管，接管步骤可在几分钟内完成；当应用切换到应急系统后，SharePlex的数据复制会自动切换成由应急系统到生产系统的反向复制，并把切换之

24、后产生的数据变化，以对列文件的形式缓存在SharePlex独立的队列文件系统中，而当生产系统数据库恢复后，可将切换后所有的数据变化，反向增量同步回生产数据库，同时应用可以迅速切换回生产数据库运行。SharePlex的应急解决方案大大的降低了切换时间、切换风险以及切换操作的成本，为山西移动的业务支撑系统提供了有效的业务连续性保障。 报表及查询业务的分担通过应用和中间件双重灵活配置，充分保证了各种情况下报表打印和数据查询的正确性，即达到了降低生产数据库的额外压力，又满足了前台业务人员对业务数据即财务数据稽核的要求。根据报表中心迁移到应急数据后对营业数据库性能分析，正常时段内，营业数据库的等待事件平

25、均下降了10，业务高峰时段内等待事件下降了20左右，以前月初由于月报表打印导致回滚段资源紧张的情况已经不再出现。由于报表的分离，目前前台核心业务报表的打印速度提升了30左右。4.3 北京地税用户概述北京市地方税务局是主管北京市地方税收工作的市政府直属机构，于1994年8月15日正式成立。业务上接受国家税务总局的指导。它主要负责组织实施北京市各税（费）种的征收和管理（不包括已明确由国家税务机关负责征收的地方税部分）。同时进行税务法规、宣传等方面的等方面的工作。北京地方税务局于1995开始建设税务管理信息系统，已经形成了连接全市23个区县分局及217个税务所的三级税务专网，实现了税收征管、办公及综

26、合管理业务的电子化。目前北京地方税务局已经具备了进一步利用新技术，发展新的电子化应用，拓宽税收征管信息化应用领域，开展基于互联网技术的高度统一、严格规范的纳税服务的条件。北京地税的容灾系统于2004年开始建设，其核心复制软件Quest Software的SharePlex，不但达到了系统的高可用性的目标，而且实现了投资收益的最大化。业务挑战随着最终客户网上纳税的开通（网上纳税的服务内容包括网上申报、企业年检审批、综合查询等业务。）以及数据集中机制的施行，鉴于税务行业的特点，最终客户对业务连续性和企业数据安全性的要求也越来越高，建设一个可靠而高效的容灾系统成为当务之急。另外由于数据量的不断增加，

27、市局和各个区县的查询业务，已经严重的影响了生产系统的性能，很多查询业务只能等到晚上才能运行。用户希望在保护已有软、硬件投资的前提下，通过高效的容灾系统，实现系统的高可用性，全力保障系统24X7的可用性，同时为区县级市局的查询业务提供一个专用的与生产数据库准时是同步的查询数据库。解决方案北京地税根据自己对其它Quest产品已有的应用感受，在与其它方案进行了仔细对比以后，确定选用Quest公司的 SharePlex解决方案。SharePlex具有对源系统性能影响小，独立性强，充分利用现有软、硬件资源和容易部署等特点。SharePlex解决方案如下图：l 生产系统使用IBM HACMP双机技术，两个

28、节点各自运行不同数据库，并互相进行本地的容灾，同时使用SharePlex实现两个生产数据库的异地容灾复制；l 容灾数据库在本次实施中使用单机环境，在主系统发生灾难时，可实现关键业务数据的恢复；l 容灾数据库一直处于可用状态，可分担生产系统的查询业务，以减轻生产系统数据库的负担。l 容灾数据库为区县税务局提供查询业务的数据源。用户收益北京地税容灾方案能够解决各种导致计算机系统失效的意外情况，保护业务应用在7X24小时内不间歇运行。从技术上保障了业务系统的连续性和数据的安全性。1快速应用接管北京地税容灾方案充分考虑到了应用、数据和系统各级的保护，做到了：数据中心任何计算机系统硬件，软件，应用故障不

29、影响整个中心的处理工作；数据中心由于灾难(火灾、地震)等原因无法工作时，有备份数据中心能够立即接管关键应用，继续运行；主数据中心恢复后，应用、数据可以迅速切换回主中心运行。2强大的数据恢复能力Quest Software的SharePlex for Oracle提供快速、精确的数据复制功能，能够实时维护生产数据库的远程拷贝，在灾难发生时只有很少或没有数据丢失，极大程度地保证了数据的有效性。系统灾难大多被理解为一个节点的系统环境崩溃掉了，但研究表明大多数的数据丢失并不是系统崩溃导致的。相反，一些意外事件，如删表、数据块级的数据损坏或数据文件的丢失才是数据丢失的主要原因，而北京地税的高可用和容灾方

30、案可以有效地防止这类意外的发生。目标数据的在线使用能够有效地对容灾系统进行测试，保障数据的准确性，从而避免容灾系统长期冷备，数据错误而无人发现的情况，能够确保容灾系统在灾难发生时被有效接管，进行数据恢复。为查询业务及区县地税提供数据源由于数据库复制软件独特的实现机制，容灾系统的数据可访问。容灾数据库的在线使用能够提高容灾系统的投资回报，增加容灾系统的利用价值。使投资变为可用，而不是单纯的冷备闲置。容灾数据库可以在以下场合：l 为查询系统提供数据源，减轻主系统的读取压力l 为区县用户提供数据访问及共享l 灾备系统可作为数据仓库的数据源l 不影响现有生产系统4.4 SharePlex国内部分客户行

31、业 客户 电信 中国移动：山西移动、福建移动、黑龙江移动、辽宁移动、中国移动音乐门户 新联通：贵州联通、广西联通 中国电信：上海电信、江苏电信 电力 国家电网：浙江电力、黑龙江电力、宁夏电力、福建电力、上海电力、河北电力、山西电力、辽宁电力、天津电力 、陕西电力、甘肃电力南方电网：云南电力、江门电力 金融 银行：银联数据、江苏银行 保险：太平人寿、太平保险、天安保险 证券交易：大连商品交易所、郑州商品交易所、上投摩根、华宝兴业基金 政府 税务：广东国税、北京地税、天津地税 公安：山西公安、浙江公安 、洛阳公安 政府部门：海关电子口岸、广州市信息中心、福州新华发行集团、江苏公路局、无锡社保、苏州住房公积金、广东顺德政府、河北质检 企业 港口码头：香港国际货柜码头、广州港、南沙港、天津港 电子商务：eBay中国、WebEx、东方有限网络、重庆有限、江苏广播电视网、杭州Wasu 其他：永乐家电、淮南矿业、宝钢、迪信通