主流数据库体系架构及方案介绍ppt课件.pptx

《主流数据库体系架构及方案介绍ppt课件.pptx》由会员分享，可在线阅读，更多相关《主流数据库体系架构及方案介绍ppt课件.pptx（175页珍藏版）》请在三一办公上搜索。

1、,主流数据库体系结构及方案介绍,解决方案部2016年01月,ANY TIMEANY QUESTION,本讲内容:1.Oracle数据库基本架构及常见方案2.K-DB数据库基本架构及常见方案3.DB2数据库基本架构及常见方案4.Sybase数据库基本架构及常见方案5.MySQL数据库基本架构及常见方案,概述,Oracle数据基本架构: 概述,Oracle数据基本架构: 内存结构,Oracle数据基本架构: 进程,Oracle数据基本架构: 实例管理,Oracle数据基本架构: 实例管理,Oracle数据基本架构: 物理数据库结构,Oracle数据基本架构: OMF,Oracle Managed

2、Files (OMF),按照数据库对象而不是文件名指定文件操作。,Oracle数据基本架构:逻辑和物理数据库结构,Oracle数据基本架构:结构组件汇总,内存结构 系统全局区 (SGA)：数据库缓冲区高速缓存、重做缓冲区以及各种池 程序全局区 (PGA) 进程结构 用户进程和服务器进程 后台进程：SMON、PMON、DBWn、CKPT、LGWR、ARCn 等 存储结构 逻辑：数据库、方案、表空间、段、区和 Oracle 块 物理：用于存储数据、参数、重做和操作系统块的文件,Oracle数据库常见方案: Oracle RAC,Oracle Real Application Server，真正应用

3、集群，简称Oracle RAC ，是Oracle的并行集群，位于不同服务器系统的Oracle实例同时访问同一个Oracle数据库，节点之间通过私有网络进行通信，所有的控制文件、联机日志和数据文件存放在共享的设备上，能够被集群中的所有节点同时读写 。,什么是 Oracle RAC 集群?,Oracle数据库常见方案: Oracle RAC 体系结构,集群的数据库服务器,镜像磁盘子系统,高速交换机和互联,集线器或交换机结构,网络,集中管理控制台,存储区域网,低延迟互联,用户,无单点故障,Oracle数据库常见方案: Oracle RAC 体系结构,共享磁盘数据库,共享数据模型,Oracle数据库常

4、见方案: Oracle RAC 体系结构,公用网络,节点 1,共享存储,重做日志所有实例,数据库和控制文件,OCR 和 voting 磁盘,(oracle_home),操作系统,CRS,集群互联,数据库实例 1,ASM 实例 1,集群互联,. . .,Oracle数据库常见方案: Oracle RAC 体系结构,客户端首先访问某个实例，让后再通过集群管理软件访问到数据库的数据；节点之间使用内部连接进行通讯。,Oracle数据库常见方案: Oracle RAC 优势,多节点负载均衡; 提供高可用：故障容错和无缝切换功能，将硬件和软件错误造成的影响最小化 。,Oracle数据库常见方案: Orac

5、le RAC 优势,通过并行执行技术提高事务响应时间-通常用于数据分析系统;通过横向扩展提高每秒交易数和连接数 ;-通常对于联机事务系统;可扩展性好，可以方便添加删除节点，扩展硬件资源,Oracle数据库常见方案: Oracle Data Guard,Oracle 为 Oracle 数据提供的灾难恢复解决方案Oracle 数据库企业版 (EE) 的特性自动创建和维护生产数据库（或主数据库）的一个或多个事务一致的副本（备用数据库）如果主数据库（因灾难、维护）不可用，那么可以激活一个备用数据库并使之承担主数据库的角色要求主服务器和备用服务器上的 Oracle 数据库和操作系统的版本相同,什么是 O

6、racle Data Guard？,Oracle数据库常见方案: Oracle Data Guard,Oracle Data Guard 核心,数据故障与站点灾难：,此外还解决了人为错误和计划维护的问题,数据保护数据可用性数据恢复,数据是企业的核心资产！,Oracle数据库常见方案: Oracle Data Guard,Oracle Data Guard 结构,网络,逻辑备用数据库,可用于报表操作,SQL应用,将重做转换成 SQL,额外的索引和物化视图,物理备用数据库,备份,重做应用,同步或异步 重做传输,最新的物理/逻辑备用数据库,MRP/ LSP,RFS,备用重做日志,ARCH,Oracl

7、e数据库常见方案: Oracle Data Guard,存档的重做日志,存档的重做日志,主数据库,事务,LGWR,联机重做日志,ARCH,Oracle 网络,实时应用,Data Guard 重做应用,物理备用数据库是主数据库的一个块到块的副本使用数据库恢复功能来应用更改可以以只读方式打开，用于生成报表和查询还可用于备份和减轻生产数据库的负载,主数据库,物理备用数据库,重做传输,网络,重做应用,备份,备用重做日志,Data Guard Broker,Oracle数据库常见方案: Oracle Data Guard,Oracle数据库常见方案: Oracle Data Guard,Data Gua

8、rd SQL 应用,逻辑备用数据库是一个开放、独立和活动的数据库包含与生产数据库相同的逻辑信息（行）物理组织和结构可能大不相同可以托管多种模式当通过 SQL 来应用日志时，可以查询逻辑备用数据库，以进行报表操作可以创建额外的索引和物化视图，以获得更高的查询性能,额外的索引和物化视图,重做传输,网络,可随时进行报表操作,将重做转换成 SQL 并应用,Data Guard Broker,主数据库,逻辑备用数据库,备用重做日志,Oracle数据库常见方案: Oracle Data Guard,Data Guard 的优点,网络效率只传输重做数据更适于 WAN无需协议转换器，基于标准的 TCP/IP更

9、好的数据保护保持写顺序的一致性，避免逻辑损坏和物理损坏,功能全面的 DR 解决方案灵活性底层存储器对供应商没有限制ROI从 DR 投资中提取价值，与数据库本地集成,Oracle数据库常见方案: Oracle Data Guard,灵活的数据保护模式,均衡成本、可用性、性能和事务保护,例如：ALTER DATABASE SET STANDBY TO MAXIMIZE PROTECTION;,Oracle数据库常见方案: Oracle Data Guard,Data Guard 和 RAC,Data Guard 和真正应用集群是互补的，应一起使用以实现最高可用性结构真正应用集群提供了高可用性能够快

10、速和自动地从节点故障或一个实例崩溃中恢复过来提供了增强的可伸缩性Data Guard 提供了灾难保护并防止数据丢失维护主数据库的几个事务一致的副本防止灾难、数据损坏和用户错误无需昂贵且复杂的 HW/SW 镜像,Oracle数据库常见方案: Oracle Data Guard,Streams 和 Data Guard 是 Oracle 数据库企业版两个独立的特性，它们基于一些共同的底层技术Data Guard： 灾难恢复与数据保护事务一致的备用数据库零数据丢失自动转换/故障切换各种数据保护模式Streams：信息共享/分发 细粒化和控制要复制的内容 双向复制数据转换异种平台由于业务需要，客户可能

11、选择将 Streams 用于 DR/HA，而将 Data Guard SQL 应用用于信息分发,Data Guard 与 Streams,Oracle数据库常见方案: Oracle GoldenGate,Oracle数据库常见方案: Oracle GoldenGate,Oracle数据库常见方案: Oracle GoldenGate,Oracle数据库常见方案: Oracle GoldenGate,Oracle数据库常见方案: Oracle GoldenGate,Oracle数据库常见方案: Oracle GoldenGate,Oracle数据库常见方案: Oracle GoldenGate,

12、Oracle数据库常见方案: Oracle GoldenGate,Oracle数据库常见方案: Oracle GoldenGate,Oracle数据库常见方案: Oracle GoldenGate,DB2数据库体系结构-DB2简介,IBM DB2 是美国IBM公司开发的一套关系型数据库管理系统，它主要的运行环境为UNIX（包括IBM自家的AIX）、Linux、IBM i（旧称OS/400）、z/OS，以及Windows服务器版本。DB2主要应用于大型应用系统，具有较好的可伸缩性，可支持从大型机到单用户环境，应用于所有常见的服务器操作系统平台下。 DB2提供了高层次的数据利用性、完整性、安全性、

13、可恢复性，以及小规模到大规模应用程序的执行能力，具有与平台无关的基本功能和SQL命令。,DB2数据库体系结构-DB2体系结构,DB2数据库体系结构-DB2体系结构,系统 DB2体系结构中的最高一层是系统，一个系统表示DB2的一个安装。在由很多机器组成的网络环境中，我们有时也称系统为数据库分区。一个系统可以包含多个DB2实例，每个实例能够管理一个或多个数据库。实例 实例也称为数据库管理器(Database Management Application)，是数据库管理器在内存中的映像，是管理数据的DB2代码。实例相当于Informix的Informix Server，在一台机器上可以有多个相互独立

14、的实例，实例之间彼此独立，同时运行，不会相互影响。每个实例可以管理若干个数据库，一个数据库只属于一个实例。实例可控制对数据执行的操作，并管理分配给实例的系统资源。每个实例都是独立的运行环境，可以编目数据库和设置配置参数。可以在同一物理服务器上创建多个实例，并为每个实例提供唯一的数据库服务器环境。Database关系数据库使用一组表来管理数据，表由在行和列中以逻辑关系排列的数据组成，每个表的数据在逻辑上相关，在表之间能够定义关系。,DB2数据库体系结构-DB2体系结构,Database关系数据库使用一组表来管理数据，表由在行和列中以逻辑关系排列的数据组成，每个表的数据在逻辑上相关，在表之间能够定

15、义关系。每个数据库包含一组系统编目表(或称之为数据字典)、配置文件和恢复日志，系统编目表用于描述数据的逻辑和物理结构，配置文件包含所有为数据库分配的配置参数值，恢复日志记录正在进行的事务处理和可存档的事务处理。数据库可以是本地的，也可以是远程的。本地数据库物理上位于本地的机器上；当数据库物理上驻留在另一台机器上时，则称为远程的。,DB2数据库体系结构-DB2内存结构,DB2数据库体系结构-DB2内存结构,Instance Shared Memory(实例共享内存) 每个DB2实例都有一个实例共享内存。实例共享内存是在数据库管理器启动(db2start)时分配的，并随着数据库管理器的停止(db2

16、stop)而释放。 这种内存用于实例级的任务，例如监控、审计和节点间通信。数据库管理器配置（dbm cfg）参数控制着对实例共享内存以及其中个别内存池的限制。实例内存（Instance Memory）：1.监视器堆（mon_heap_sz)：用于监控。2.Audit Buffer(audit_buf_sz)：用于db2audit实用程序。3.Fast Communications buffers(fcm_num_buffers):用于分区之间的节点间通信。仅适用于分区的实例。INSTANCE_MEMORY参数指定为实例管理预留的内存数量。默认值为AUTOMATIC。这意味着 DB2 将根据监视

17、器堆、审计缓冲区和 FCM 缓冲区的大小计算当前配置所需的实例内存数量。此外，DB2 还将分配一些额外的内存，作为溢出缓冲区。每当某个堆超出了其配置的大小时，便可以使用溢出缓冲区来满足实例共享内存区内任何堆的峰值需求。在这种情况下，个别堆的设置是 软限制的，它们可以在内存使用的峰值期间进一步增长。 如果 instance_memory被设置为某一个数字，则采用 instance_memory与 mon_heap_sz、 audit_buf_sz和 fcm_num_buffers的和之间的较大者。这时，对实例内存就施加了一个硬性的限制，而不是软限制。当达到这个限制时，就会收到内存分配错误。出于这

18、个原因，建议将 instance_memory的设置保留为 AUTOMATIC。,DB2数据库体系结构-DB2内存结构,Database Shared Memory,DB2数据库体系结构-DB2内存结构,Database Shared Memory 每个数据库有一个数据库共享内存集。数据库共享内存是在数据库被激活或者第一次被连接上的时候分配的。该内存集将在数据库处于非激活状态时释放（如果数据库先前是处于激活状态）或者最后一个连接被断开的时候释放。这种内存用于数据库级的任务，例如备份/恢复、锁定和 SQL 的执行。 大致由以下几部分组成（有些是一开始就分配好的，有些是在做某些操作时才分配的）：M

19、ain BufferpoolsHidden Bufferpools Catalog CacheLock HeapPackage CacheShared SortDatabase Heap(include Log Buffer),DB2数据库体系结构-DB2内存结构,Database Shared Memory 1. Main Bufferpools:数据库缓冲池通常是数据库共享内存中最大的一块内存。DB2在其中操纵所有常规数据和索引数据。一个数据库必须至少有一个缓冲池，并且可以有多个缓冲池，这要视工作负载的特征、数据库中使用的数据库页面大小等因素而定。例如，页面大小为 8KB的表空间只能使用页

20、面大小为 8KB 的缓冲池。 2. Hidden Bufferpools:当数据库启动时，要分配 4 个页宽分别为 4K、8K、16K 和 32K 的小型缓冲池。这些缓冲池是“隐藏”的，因为在系统编目中看不到它们 （通过 SELECT * FROM SYSCAT.BUFFERPOOLS 显示不出）。如果主缓冲池配置得太大，则可能出现主缓冲池不适合可寻址内存空间的情况。（我们在后面会谈到可寻址内存。）这意味着 DB2 无法启动数据库，因为一个数据库至少必须有一个缓冲池。如果数据库没有启动，那么就不能连接到数据库，也就不能更改缓冲池的大小。由于这个原因，DB2 预先分配了 4 个这样的小型缓冲池。

21、 这样，一旦主缓冲池无法启动，DB2 还可以使用这些小型的缓冲池来启动数据库。（在此情况下，用户将收到一条警告（SQLSTATE 01626）。 这时，应该连接到数据库，并减少主缓冲池的大小。 3.排序堆的阈值（ sheapthres， sheapthres_shr） 1)如果没有索引满足所取的行的要求顺序，或者优化器断定排序的代价低于索引扫描，那么就需要进行排序。DB2 中有两种排序，一种是私有排序，一种是共享排序。私有排序发生在代理的私有代理内存（在下一节讨论）中，而共享排序发生在数据库的数据库共享内存中。,DB2数据库体系结构-DB2内存结构,Database Shared Memory

22、 4. Package Cache and Catalog Cache1)虽然大多数内存池的大小是由它们的配置参数预先确定的，但下面两种内存池的大小在默认情况下却是动态的: a.包缓存： pckcachesz = maxappls * 8 b.编目缓存： catalogcache_sz = maxappls * 4 c.活动应用程序的最大数量： maxappls = AUTOMATIC 2)将 maxappls设为 AUTOMATIC的效果是，允许任意数量的连接数据库的应用程序。DB2 将动态地分配所需资源，以支持新的应用程序。因此，包缓存和编目的大小可以随着 maxappls的值而变化。,D

23、B2数据库体系结构-DB2进程结构,DB2数据库体系结构-DB2进程结构,上图DB2的进程模型，长方形代表处理进程，椭圆形代表处理线程，DB2的主进程是db2sysc，在这个处理进程下有许多线程，最主要的线程也是叫 db2sysc，这个主要的线程派生了其他子线程。当一个远程的应用程序比如采用sql connect语句链接服务器时，通讯协议的远程监听器将接收这个请求，并联系db2agent，agent是一个代表DB2实现一些小操作的处理程序， 当发出请求的应用程序是本地的，也就是和DB2服务器在同一服务器上，如果不在同一个服务器上，那么采用db2tcpcm处理本地请求，如果在一台服务器 上采用d

24、b2ipccm线程来处理请求。如果发生本地和异地并行的情况，db2agent会生成其他线程的代理db2agntp线程。其他的线程如 db2pfchr、db2loggr、db2dlock它们应用到不同的目的。,DB2数据库体系结构-DB2进程结构,db2wdog进程：我们都知道在 UNIX/Linux 上，init 进程是所有进程的父进程；同样，在 DB2 的进程中，“ db2wdog ”进程是所有其他 DB2 进程的父进程。这个进程是由操作系统的 init 进程派生的。从上面的命令输出中我们可以看到“ db2wdog ”的“ ppid ” (parent pid) 是操作系统的 init 进程

25、。“ db2wdog ”进程是在 UNIX 和 Linux 操作系统上处理异常终止的看守程序。“ db2wdog ”是“ db2 watch dog ”的缩写，是看门狗的意思，这个进程的工作机制如图 2-3 所示。,在 UNIX 中，“ db2wdog ”看守程序是必需的，因为 UNIX 中的进程只能跟踪其父进程的标识。如图 2-3 所示，每次新进程启动时，“ db2gds ”进程就会通知 DB2 看守程序。如果任何 DB2 进程接收到 CTRL-C 或其他异常信号，该进程就会向看守程序发送信号，而看守程序会将信号传播给实例中其他所有进程。如果“ dbzwdog ”进程出现异常，那么整个 DB

26、2 数据库将无法正常工作。,DB2数据库 HADR高可用性灾难恢复,DB2 for Linux, UNIX, and Windows 高可用性灾难恢复 (High Availability Disaster Recovery, HADR) 功能是一种数据复制功能，它为部分和全面的站点故障提供了一种高可用性解决方案。HADR 通过将称为主要数据库的源数据库中的数据更改复制到称为备用数据库的目标数据库，防止数据丢失。 HADR 是在 DB2 V8.2 中引入的。在 DB2 V9.7 Fix Pack 1 之前，备用服务器只能前滚从主要服务器传来的日志记录，并且对用户而言是离线的。不允许在备用数据库

27、上建立用户连接。 从 DB2 V9.7 Fix Pack 1 开始，reads on standby 功能 (HADR RoS) 支持只读应用程序访问备用数据库。这只有在启用了 reads on standby 功能时才可行。使用此功能，读/写应用程序可访问 HADR 主要数据库，只读应用程序可访问主要或备用数据库。这支持您将在主要数据库上运行的一些只读工作负载卸载到备用数据库上。连接备用数据库的应用程序在故障转移时不会影响备用数据库的可用性。,DB2数据库 HADR高可用性灾难恢复,High Availability Disaster Recovery (HADR)是数据库级别的高可用性数据

28、复制机制，最初被应用于Informix数据库系统中，称为High Availability Data Replication（HDR）。IBM收购Informix之后，这项技术就应用到了新的DB2发行版中。一个HADR环境需要两台数据库服务器：主数据库服务器（primary）和备用数据库服务器（standby）。当主数据库中发生事务操作时，会同时将日志文件通过TCP/IP协议传送到备用数据库服务器，然后备用数据库对接受到的日志文件进行重放（Replay），从而保持与主数据库的一致性。当主数据库发生故障时，备用数据库服务器可以接管主数据库服务器的事务处理。此时，备用数据库服务器作为新的主数据库服

29、务器进行数据库的读写操作，而客户端应用程序的数据库连接可以通过自动客户端重新路由（Automatic Client Reroute）机制转移到新的主服务器。当原来的主数据库服务器被修复后，又可以作为新的备用数据库服务器加入HADR。通过这种机制，DB2 UDB实现了数据库的灾难恢复和高可用性，最大限度的避免了数据丢失。 下图为DB2 HADR的工作原理图：,DB2数据库 HADR高可用性灾难恢复,DB2数据库 HADR高可用性灾难恢复,什么是HADR? DB2 HADR特性采用Informix HDR技术 采用日志复制技术(快速切换和灾难恢复)Informix “HDR”=“High Avai

30、lability Data Replication”IBM “HADR” = “High Availability Disaster Recovery”,DB2数据库 HADR高可用性灾难恢复,HADR同步方式DB2 HADR支持四种同步模式：同步、近同步、异步和超级异步。四种同步模式对网络的要求和对主数据库的影响依次减小，但是可靠性也依次降低。例如，同步模式对主数据库上的事务影响最大，但是可以保证从数据库上的事务和主数据库是实时一致的；而超级异步模式对主数据库上的事务没有任何影响，但是一旦主数据库出现事故，就可能会发生事务丢失。,DB2数据库 HADR高可用性灾难恢复,HADR同步方式:SY

31、NC（同步） 在同步模式下，当用户在主数据库上提交一个事务时，首先该事务的相关数据库日志会被写到主数据库的本地磁盘上，然后主数据库会将日志发送给备机数据库，并且等待备机数据库的回复；备机数据库在接收到日志，并将其写到自己的磁盘上后，才回复给主数据库。主数据库在接到备机数据库的回复之后，才返回给用户该事务提交成功。由此可见，在该同步模式下，凡是提交成功的事务，日志不仅在主数据库的磁盘上，也在备机数据库的磁盘上，此时如果主数据库发生故障，已提交的数据不会丢失。因此，在同步模式下，HADR 能够提供无数据丢失保证（No data loss guarantee）。但是，在该同步模式下，HADR 对主数

32、据库业务的影响也是显而易见的。,DB2数据库 HADR高可用性灾难恢复,HADR同步方式:近同步模式（NEARSYNC） 与同步模式相比，近同步模式下的备机数据库接收到主数据库发来的日志时，并不等待将其写到本地磁盘之后才回复给主数据库，而是立即回复给主数据库。主数据库在接收到备机数据库的回复之后就返回给用户事务提交成功，而此时，该事务的日志可能还在备机数据库的内存中，并未写到本地盘上。如果此时主机发生故障，并不能保证在原主数据库上已提交的数据在备机上必然能找回。虽然该同步模式不能保证零数据丢失，但是相比同步模式，近同步模式下的 HADR 对于主数据库业务的影响较小。,DB2数据库 HADR高可

33、用性灾难恢复,HADR同步方式:异步模式（ASYNC） 在异步模式下，主数据库发送日志成功后就返回给用户，事务提交成功，而此时，备机数据库有可能还没有收到这些日志。如果此时主数据库发生故障，该已提交事务的数据更改就会丢失。同样的，由于异步模式下的主数据库在返回给用户事务提交成功之前不等待备机数据库的回复，HADR 对主数据库上业务的影响比近同步模式更小。这种模式下，因为日志有可能仍然在主机的 TCP 缓冲区里面，如果这个时候主机出现故障停机，这些数据就会丢失。,DB2数据库 HADR高可用性灾难恢复,HADR同步方式:超级异步模式（SUPERASYNC） 从 DB2 LUW V9.7.5 和

34、V9.5.8 开始，HADR 引入了一种新的同步模式，即超同步模式。在该同步模式下，主数据库上数据库日志的产生与发送完全分离，二者没有任何依赖，这样 HADR 对于主数据库业务的影响降到了最低；同时，由于日志的产生与发送分离，可能导致主数据库和备机数据库之间的差距较大，此时如果主机发生故障，会有较多的数据丢失；并且非强制接管（non-force TAKEOVER）可能需要更多时间。以上四种同步模式，同步强度从强到弱，无数据丢失保证从高到低。,DB2数据库 HADR高可用性灾难恢复,DB2 HADR的使用限制1.只有DB2 UDB Enterprise Server Edition（ESE）支持

35、HADR，但HADR不能支持分区数据库（Database Partitioning Feature，DPF）。2.主数据库和备用数据库必须运行在相同的操作系统版本上，并且DB2 UDB的版本也必须一致，除非短暂的软件升级过程。3.主数据库和备用数据库的位大小必须一致（32位或64位）。4.不能在备用数据库上进行备份操作5.备用数据库是不能访问的，客户端程序无法连接备用数据库。6.日志归档操作只能在主数据库上进行。7.带有COPY NO选项的LOAD命令是不支持的8.主数据库和备用数据库必须是一对一的。9.HADR不能使用循环日志10.HADR不复制数据库配置参数、共享库、DLLs、UDFs或存

36、储过程,DB2数据库常见方案:InfoSphere CDC,IBM InfoSphere Change Data Capture( 简称 InfoSphere CDC) 作为一款跨数据库复制解决方案，支持不同 DB2 for i 之间，甚至是异构数据库之间的实时数据复制，满足了 HA 环境下对于数据灾备的需求。,DB2数据库常见方案:InfoSphere CDC,什么是 InfoSphere CDC IBM InfoSphere Change Data Capture ( 以下简称 InfoSphere CDC) 是一个跨不同数据库的实时数据复制解决方案，支持 DB2, Informix，Or

37、acle, Microsoft SQL Server, Sybase, Teradata, SolidDB 等各种主流数据库。InfoSphere CDC 通过读取源数据库的日志获取变化的数据，并经过适当的转换将数据复制到数据目标中。InfoSphere CDC 目标端支持数据库，消息队列、以及 ETL 解决方案（例如 InfoSphere DataStage）等。 从系统性能角度，通过读取数据库的日志来获取变化的数 据，InfoSphere CDC 对源数据库造成的影响极低；从系统资源角度，通过仅发送已更改的数据，InfoSphere CDC 还可以减少处理开销和网络流量。从用户体验角度，I

38、nfoSphere CDC 提供一个 Eclipse 风格的管理控制台，方便用户轻松创建、配置、监控与管理各种数据复制任务。总体而言，InfoSphere CDC 主要支持三种数据复制模式，分别为：Refresh、Net change（或称为 Scheduled End）、Continuous mirroring。,DB2数据库常见方案:InfoSphere CDC,表 1. 三种 InfoSphere CDC 数据复制模式,DB2数据库常见方案:InfoSphere CDC,InfoSphere CDC 体系结构图,DB2数据库常见方案:InfoSphere CDC,下面描述了 InfoSp

39、here CDC 体系结构的关键组件：Access Server - 控制所有以非命令行方式对复制环境进行的访问。当您登录到 Management Console 时，您就是在连接到 Access Server。可以在客户机工作站上关闭 Access Server，而不会影响源服务器与目标服务器之间活动的数据复制活动。命令行界面 - 允许您独立于 Management Console 来管理数据存储器和用户帐户，以及执行管理脚本编制。管理 API - 作为基于 Java 的可选编程接口运行，您可以使用此 API 对操作配置或交互进行脚本编制。应用代理程序 - 目标上的代理程序，用于处理源所发送

40、的更改。通信层 (TCP/IP) - 作为源与目标之间的专用网络连接。,DB2数据库常见方案:InfoSphere CDC,下面描述了 InfoSphere CDC 体系结构的关键组件：源和目标数据存储器 - 表示数据复制所需的数据文件和 InfoSphere CDC 实例。每个数据存储器都表示您要连接至的数据库，并且充当表的容器。使其可供复制的表包含在数据存储器中。Management Console - 允许您配置、监视和管理各种服务器上的复制， 指定复制参数以及从客户机工作站启动刷新和镜像操作。另外，Management Console 还允许您监视复制操作、等待时间、事件消息以及源或目

41、标数据存储器所支持的其他统计信息。Management Console 中的监控器旨在用于需要持续分析数据移动的时间紧急的工作环境。在设置复制之后，您可以在客户机工作站上关闭 Management Console，而不会影响源服务器与目标服务器之间活动的数据复制活动。元数据 - 表示关于相关表、映射、预订、通知、事件和您设置的数据复制实例的其他细目的信息。,DB2数据库常见方案:InfoSphere CDC,下面描述了 InfoSphere CDC 体系结构的关键组件：镜像 - 将更改复制到目标表或者积累源表更改并在以后将其复制到目标表。如果您在环境中实现了双向复制，那么可以在源表与目标表之间

42、来回进行镜像。刷新 - 执行初始同步，以便将表从源数据库同步到目标。这称为刷新阅读器复制引擎 - 用于发送和接收数据。用于发送复制的数据的进程是源捕获引擎，而用于接收复制的数据的进程是目标引擎。InfoSphere CDC 实例可以同时作为源捕获引擎和目标引擎运行。单一提取 - 仅用于源的日志阅读器和日志解析器组件。它将检查并分析所选数据存储器中的所有预订的源数据库日志,DB2数据库常见方案:InfoSphere CDC,下面描述了 InfoSphere CDC 体系结构的关键组件：源变换引擎 - 处理行过滤、关键列、列过滤、编码转换和其他数据以传播到目标数据存储器引擎。源数据库日志 - 由源

43、数据库维护以用于其自身的恢复。InfoSphere CDC 日志阅读器将在镜像过程中检查这些日志， 并滤出复制作用域外的表目标变换引擎 - 处理目标存储器引擎上的数据和值转换、编码转换、用户出口、冲突检测和其他数据共有两类仅用于目标的非数据库复制目的地：JMS 消息 - 作为创建为 XML 文档的行级别操作的 JMS 消息目的地（队列或主题）。InfoSphere DataStage - 处理 InfoSphere CDC 所传送的可以由 InfoSphere DataStage 作业使用的更改。,DB2数据库常见方案:InfoSphere CDC,下面描述了 InfoSphere CDC 体

44、系结构的关键组件：源变换引擎 - 处理行过滤、关键列、列过滤、编码转换和其他数据以传播到目标数据存储器引擎。源数据库日志 - 由源数据库维护以用于其自身的恢复。InfoSphere CDC 日志阅读器将在镜像过程中检查这些日志， 并滤出复制作用域外的表目标变换引擎 - 处理目标存储器引擎上的数据和值转换、编码转换、用户出口、冲突检测和其他数据共有两类仅用于目标的非数据库复制目的地：JMS 消息 - 作为创建为 XML 文档的行级别操作的 JMS 消息目的地（队列或主题）。InfoSphere DataStage - 处理 InfoSphere CDC 所传送的可以由 InfoSphere Da

45、taStage 作业使用的更改。,DB2数据库常见方案:InfoSphere CDC,DB2数据库常见方案:InfoSphere CDC,主要功能特点,DB2数据库常见方案:InfoSphere CDC,Log-Based Change Data Capture,DB2数据库常见方案:InfoSphere CDC,Replication Modes,DB2数据库常见方案:InfoSphere CDC,异构平台支持,DB2数据库常见方案:InfoSphere CDC,架构（数据源）,DB2数据库常见方案:InfoSphere CDC,架构（目标端）,DB2数据库常见方案:InfoSphere C

46、DC,架构（目标端）,DB2数据库常见方案:InfoSphere CDC,架构（目标端）,DB2数据库常见方案:InfoSphere CDC,与HADR的区别HADR和CDC，最大的区别是HADR必须是同构的， CDC可以使异构的。 HADR做灾备基本是冷备，备机可读。 CDC可做到实时同步，两端都可读写。 HADR有握手机制，对主机由性能影响， CDC无影响。 简明说HADR是数据库的一个特性， CDC是一个数据库同步复制软件。 还有就是HADR主备关系是单向的，可以一主多备。 CDC可以做双向复制。 CDC可以做数据集中、分发等，如分局数据向总局汇总，或者总局想分局分发数据等场景。,DB2

47、数据库常见方案:InfoSphere CDC,特点,DB2数据库常见方案:InfoSphere CDC,IBM CDC vs ORACLE GoldenGate,Sybase数据库体系结构,Sybase公司成立于1984年，公司名称“Sybase”取自system和database相结合的含义。Sybase公司的第一个关系型数据库产品是1987年5月推出的Sybase SQL Server 1.0。 Sybase首先提出了Client/Server数据库体系结构的思想，并率先在自己的Sybase SQL Server中实现。,Sybase数据库体系结构-ASE的产品构成,ASE称为Sybase

48、适应性服务器，是Sybase提供的主要数据库产品。其产品组件可分为服务器端组件、客户端组件。1.ASE服务器端组件 a) SQL Server: ASE数据库服务器，用于数据库SQL服务的高性能RDBMS软件系统 b) Backup Server : ASE备份服务器，是与SQL Server并发运行的服务器应用软件，用来进行数据库备份转储和备份的再装入操作。一般而言，在运行SQL Server的服务器上一般都要运行Backup Server c) Backup Server : ASE监控服务器，可用于捕获和显示ASE SQL Server性能数据。为ASE的性能调整服务。Monitor S

49、erver会从SQL Server的共享内存中捕获性能数据，并以图表的方式进行展现。一般而言，运行SQL Server的服务器上一般都要安装Monitor Server，但是未必运行该服务器 d)组件集成服务（Component Integration Services，CIS）：CIS用于扩展ASE到其他异构数据库的互操作性，允许通过ASE实现到其他数据库的异构访问，进而把数据一致性地展示给客户应用，使各种数据源实现透明访问。通常讲，CIS是一种异构数据库互连的网关。,Sybase数据库体系结构-ASE的产品构成,1.ASE服务器端组件 e)配置工具 :包括服务器配置工具、目录服务配置工具等

50、，例如Server Config（UNIX上的asecfg工具）工具和Sybase Central管理工具。通过这些工具，ASE用户即可很容易地对ASE进行配置和管理。2.ASE客户端组件Sybase ASE的客户端程序一般称为Open Client。Open Client包含客户应用与ASE的接口API。一般而言，客户应用程序都需要安装Open Client的库函数来与ASE通信。Open Client主要包括了如下的若干库：CS-Library、CT-Library、DB-Library和Net-Library。ASE在客户端主要有如下的关键组件（以Sybase ASE Client Fo