《镜像技术基础》.ppt

《《镜像技术基础》.ppt》由会员分享，可在线阅读，更多相关《《镜像技术基础》.ppt（64页珍藏版）》请在三一办公上搜索。

1、镜像技术基础培训,目 录,1、基本概念2、区别：镜像、备份、拷贝、复制、RAID13、我司存储产品镜像介绍4、镜像技术在其它厂商的应用,基本概念,为什么要用镜像主磁盘和镜像磁盘镜像对物理镜像逻辑镜像同步镜像异步镜像同步镜像和异步镜像区别,镜像实现RAID技术镜像过程存储虚拟化存储虚拟化方法虚拟磁盘技术镜像层次模型,基本概念 为什么要用镜像（一）,镜像保护是一种软件可用性功能，它保护数据避免由于故障或由于磁盘相关部件损坏而丢失。系统在两个独立的磁盘单元上保存数据的两个副本，所以数据受到保护。当磁盘相关部件发生故障时，系统可以通过使用数据的镜像副本继续运行而不会中断，直到修复发生故障的部件为止。镜

2、像还能提供增强的读(写)性能。因为读请求服务可以从任意一个成员处提供。在许多性能度量和基准程序中，观察到镜像的时间开销大约增加15到20。而一个存储设备如果是镜像的，它可提供的读请求服务数目将增加一倍。,基本概念为什么要用镜像（二）,使用磁盘镜像增加I/O性能，异步读取通过增加磁盘轴数量增加性能。,镜像的异步读取,基本概念 主磁盘和镜像磁盘,主磁盘 客户端正常读写数据的磁盘。镜像磁盘 主磁盘的副本。数据每次写入主磁盘的同时，存储控制器也会把数据写入镜像磁盘，因此镜像磁盘保留了主磁盘的完整副本。,基本概念镜像对,镜像对：主磁盘和镜像磁盘均连接到同一个存储服务器，它们被称为镜像对。如果主磁盘发生故

3、障，存储服务器自动将数据访问快速地切换到镜像磁盘，整个过程无缝地进行，对客户端没有影响。,基本概念物理镜像（一）,硬盘镜像最简单的形式是:一个主机控制器带二个互为镜像的硬盘。数据同时写入二个硬盘，二个硬盘上的数据完全相同，因此一个硬盘故障时，另一个硬盘可提供数据。,硬盘镜像简图,基本概念物理镜像（二）,硬盘数据跨盘（Disk Spanning）利用这种技术，几个硬盘看上去像是1个大硬盘；这个虚拟盘可以把数据跨盘存储在不同的物理盘上，用户不需关心哪个盘上存有他需要的数据。硬盘数据分段（Disk Striping）数据分散存储在几个盘上。数据的第1段放在盘0，第2段放在盘1，直至达到硬盘链中的最后

4、1个盘，然后下1个逻辑段将放在硬盘0，再下1个逻辑段放在盘1，如此循环直至完成写操作。双控（Duplexing）这里指的是用2个控制器来驱动个硬盘子系统。个控制器发生故障，另1个控制器马上控制硬盘操作。此外，如果编写恰当的控制器软件，可实现不同的硬盘驱动器同时工作。,基本概念物理镜像（三）,容错（Fault Tolerant）具有容错功能的机器有抗故障的能力。例如RAID 1镜像系统是容错的，镜像盘中的一个出故障，硬盘子系统仍能正常工作。主机控制器（Host Adapter）指的是使主机和外设进行数据交换的控制部件（如SCSI控制器）。热修复（Hot Fix）指用一个硬盘热备份来替换发生的故障

5、的硬盘。要注意故障盘并不是真正地被物理替换了。用作热备份的盘被加载上故障盘原来的数据，然后系统恢复工作。热补（Hot Patch）具有硬盘热备份，可随时替换故障盘的系统。,基本概念物理镜像（四）,热备份（Hot Spare）与CPU系统电连接的硬盘，它能替换下系统中的故障盘。与冷备份的区别是，冷备份盘平时与机器不相连接，硬盘故障时才换下故障盘。平均数据丢失时间（MTBDLMean Time Between Data Loss）发生数据丢失的事件间的平均时间。平均无故障工作时间（MTBFMean Time Between Failure或MTIF）设备平均无故障运行时间。系统重建（Reconst

6、ruction or Rebuild）一个硬盘发生故障后，从其它正确的硬盘数据和奇偶信息恢复故障盘数据的过程。恢复时间（Reconstruction Time）为故障盘重建数据所需要的时间。,基本概念逻辑镜像,在物理资源之上划分成逻辑资源，在对逻辑资源作镜像。我司的IX1000，IV5000等产品都是物理镜像和逻辑镜像的双层镜像保护下的高可靠性存储产品。,基本概念同步镜像（一）,概念 当客户端需要写入数据时，设备会同时把数据写入主磁盘和镜像磁盘，因此，镜像磁盘保留主磁盘的精确、完整的副本。,基本概念同步镜像（二）,同步镜像I/O请求的操作流程,流程镜像产生一对镜像I/O,并将它们发往一对磁盘。

7、每个磁盘单独地响应这个请求，标有响应搜集的进程收到来自两个磁盘响应后再将它们发送给所接收的原有I/O。,性能 采用同步镜像时，要求主磁盘和镜像磁盘的性能相近，否则可能会影响系统性能。,基本概念同步镜像（三）,IX1000同步镜像,基本概念异步镜像（一）,概述当客户端需要写入数据时，存储服务器先把数据写入Cache（专用缓存资源），而不用等待主磁盘和镜像磁盘的确认信息，然后存储服务器把Cache里的数据写入主磁盘和镜像磁盘。,基本概念异步镜像（二）,数据流 镜像操作部分缺少了响应搜集成分，镜像器产生的I/O，并将它们发送到镜像磁盘。,异步镜像的数据流,基本概念异步镜像（三）,过程配置异步镜像时，

8、必须创建一个Cache，将其与主磁盘关联。完成镜像添加后，存储设备将同步主磁盘和镜像磁盘，这个过程不会影响客户端读写操作。同步完成后，客户端的数据先写入Cache，然后这些数据在后台被写入到主磁盘及镜像磁盘。如果要提供进一步的保护，也可以对Cache进行镜像。,异步镜像,基本概念同步镜像与异步镜像的区别（一）,缓存同步镜像无缓存异步镜像有缓存,基本概念同步镜像与异步镜像的区别（二）,速度同步镜像（稍慢）数据随机写入每一I/O事务需等待主磁盘和镜像磁盘都完成，确认信息方可释放异步镜像（快）数据顺序写入Cache，再由Cache随机写入磁盘系统只需等待Cache确认信息,基本概念同步镜像与异步镜像

9、区别（三）,使用场合同步镜像当数据一致性对商业应用非常关键时，并且数据丢失去几乎不可忍受时，适合采用同步镜像模式。异步镜像 该模式适用于对速度要求比较高的场合。,基本概念同步镜像与异步镜像区别（四）,写操作同步镜像 是指“写”操作会同时在主磁盘和镜像磁盘上完成。异步镜像 虽然同时将“写”命令和数据同时发送给原始磁盘和镜像磁盘，但原始磁盘的“写”操作完成后并不需要等待镜像磁盘完成“写”操作，镜像磁盘的“写”操作可以通过数据复制进程异步完成。,基本概念镜像实现（一）,一般来说，镜像是在硬件架构的基础上由软件实现 的，通常可在系统的三个位置上实现：卷管理器磁盘控制器主机总线适配器,基本概念镜像实现（

10、二）,卷管理器：作为服务器的软件组件，它是在文件系统和主机总线适配器驱动程序之间构架的单独一层。其主要目的是把服务器挂载的物理磁盘驱动器虚拟化，以更方便的形式提供给文件系统使用。,卷管理器中实现的镜像I/O路径,基本概念镜像实现（三）,磁盘控制器：磁盘控制器除了完成数据块的移动、拷贝、计算等特殊功能外，还带有功能强大的通用处理器。磁盘控制器是一些较大型服务器实现数据镜像和RAID最为常用的位置。,在磁盘子系统中实现的镜像I/O路径,基本概念镜像实现（四）,主机总线适配器：一些供应商开发了一种既可以提供传统主机总线适配器的格式转换功能，又能实现多I/O总线接口以及RAID和数据镜像算法的主机总线

11、适配器。,主机控制器中磁盘实现的I/O路径,基本概念RAID技术（一）,独立冗余磁盘阵列最初叫做廉价冗余磁盘阵列（Redundant Array of Inexpensive Disks），它是由多个小容量、独立的硬盘组成的阵列，而阵列综合的性能可以超过单一昂贵大容量硬盘（SLED）的性能。由于是对多个磁盘并行操作，所以RAID磁盘子系统与单一磁盘相比它的输入输出性能得到了提高。服务器会把RAID阵列看成一个单一的存储单元，并对几个磁盘同时访问，所以提高了输入输出的速率。,基本概念RAID技术（二）,镜像是在硬件架构的基础上由软件实现的；两份（或多份）数据拷贝写入；选择其中一个磁盘（主磁盘）读

12、出数据；具体实现根据镜像分类不同有所区别（如物理镜像，逻辑镜像和同步、异步镜像）。,基本概念镜像过程,磁盘镜像,基本概念存储虚拟化,存储虚拟化 存储虚拟化是物理存储的逻辑表示方法，是在服务器与存储之间设置的一个抽象层，服务器被绑定到逻辑抽象层上。把物理设备和服务器所能看见的存储设备视图分开.提供一个统一的逻辑存储空间给服务器,服务器所能看见的是一个逻辑的存储空间,而不知道实际物理存储设备的位置,路径和每个设备的具体特点.存储虚拟化的实现可以根据实现方式分三种:基于服务器或主机基于存储设备基于存储网络,基本概念存储虚拟化,基于主机或服务器的存储虚拟化实现通常称为逻辑卷管理(logical vol

13、ume manager);磁盘上的物理块或逻辑单元号(LUN)被映射成逻辑卷号;逻辑卷管理软件把多个不同的磁盘阵列映射成一个虚拟的逻辑块空间;当存储需求增加时,逻辑管理软件能把部分逻辑空间映射到新增的磁盘阵列,因此逻辑卷管理可以在不断运行的情况下,增加或减少物理存储设备,基本概念存储虚拟化方法,存储虚拟化方法,说明：采用不同RAID策略，将物理磁盘划分成若干相同大小的逻辑元，通过逻辑单元构成虚拟化后的逻辑资源。,基本概念虚拟磁盘技术（一）,卷的三个层次：物理磁盘虚拟磁盘逻辑卷 要建立卷，首先要根据不同的RAID策略，采用一块或者多块物理磁盘组成虚拟盘，然后在虚拟磁盘之上划出需要的空间建立卷。,

14、存储虚拟化,基本概念虚拟磁盘技术（二）,物理磁盘 是单个的物理磁盘设备，用来进行数据的读写。虚拟磁盘 包含多个物理磁盘，并被作为一个实体来进行数据的读写。逻辑卷（Logical Volume）由逻辑磁盘形成的虚拟盘，也可称为磁盘分区。,基本概念虚拟磁盘技术（三）,逻辑卷(续)一个卷可以跨多个物理磁盘，也可以由一个或者多个虚拟磁盘组成。并且可以被终端用户直接访问，就好像它是一个单独的存储设备一样，而不用考虑虚拟磁盘的类型。用户还随时可以增加卷的容量。当用户增加卷的容量时，虚拟磁盘将会赋予更多的空间给该卷。卷镜像技术(逻辑资源镜像)管理员可以在存储服务器上为已有的生产数据卷添加镜像，镜像卷占用与源

15、卷大小一样的空间。管理员为卷创建镜像后，镜像卷会从源卷上进行数据拷贝和迁移。当源卷的数据改变时，变化也会同步地写入到镜像卷。当源卷发生故障时，镜像卷会继续工作，保持业务的连续性，反之亦然。卷镜像是卷这一层面的概念。卷镜像是对卷的镜像，对卷的实际大小和内容进行复制，跟虚拟磁盘无关。卷镜像功能让用户可以创建实时的，同步的数据的物理拷贝。用途：测试、只读共享访问、备份。,基本概念虚拟磁盘技术（三）,基于策略的卷管理技术 当创建卷时，根据卷使用的方法和场合来选择合适的策略。主要的策略有：基本策略镜像策略条带策略镜像条带策略,基本概念虚拟磁盘技术（四）,策略特性当你创建卷时，这些策略设置一些特性，这些特

16、性包括：RAID级别支持的级别包括基本、RAID0、RAID1和RAID10条带成员的数量在镜像或者条带集中可以有2到16个成员(IX5000)条带成员大小条带的每个成员的大小强制冗余当创建卷时，强制策略选择归属于不同磁盘控制器的磁盘，从而避免单点故障条带大小限制设置最小和最大的条带大小。如果在RAID10虚拟磁盘上的空闲区域上的条带大小多于最大条带大小，那么它将不能用于创建指定类型的卷。,卷镜像功能让用户可以创建实时的，同步的数据的物理拷贝。RAID是基于磁盘级别的拷贝，是整块磁盘的镜像，而且同一RAID组的磁盘必须是相同。而卷镜像是卷一级别的，同步的数据大小只是卷的大小，而不是整块磁盘。而

17、且卷镜像可以在采用不同策略的卷之间进行。例如：可以为一个采用RAID10策略的卷加一个采用RAID0策略的镜像。,基本概念虚拟磁盘技术（五）,物理镜像(RAID1)和逻辑(卷)镜像的区别,基本概念虚拟磁盘技术（六）,卷镜像功能在实际中有很大的用途。例如要更换磁盘或者磁盘柜时，可以将卷镜像到别的磁盘上，从而保证了部件更换操作不会中断业务的运行。卷镜像还可以进行剥离操作：可以为卷建立一个或者多个镜像，然后将镜像剥离成新的卷。这些剥离的一个或多个拷贝可以用于测试，或者作为新的数据卷的源数据，还可以设置成只读方式供多个主机共享访问。一个典型的应用是镜像卷来备份：先做一个镜像卷，然后剥离镜像，用镜像出来

18、的卷作备份的数据源。这样，保证了数据备份随时可以进行，而不需要影响正常的工作卷的性能,卷镜像的作用,基本概念镜像层次模型,物理磁盘,物理镜像层（RAID）,逻辑抽象层,逻辑镜像层,镜像层次模型,逻辑卷(LUN),虚拟磁盘(磁盘阵列),目 录,1、基本概念2、区别：镜像、备份、拷贝、复制、RAID13、我司存储产品镜像介绍4、镜像技术在其它厂商的应用,首先了解衡量各种数据保护手段,衡量各种数据保护手段的有效指标包括RTO、RPO。RTO（Recovery Time Object）：恢复时间目标。是指信息系统从灾难状态恢复到可运行状态所需的时间，用来衡量容灾系统的业务恢复能力。RPO（Recove

19、ry Point Object）：恢复点目标。是指业务系统所允许的在灾难过程中的最大数据丢失量，用来衡量容灾系统的数据冗余备份能力。,区别镜像,数据虽然存在两个物理设备中，但是OS和逻辑层次只识别一个逻辑的设备。两个设备中数据时刻保持同步。镜像也分为同步镜像、异步镜像。对于软故障要与快照技术结合，来保障RTO和RPO最小。,区别备份,一般是指利用备份软件，把数据从磁盘备份到磁带进行离线保存。最新的备份技术也支持磁盘到磁盘的备份，也就是把磁盘作为备份数据的存放介质，以加快数据的备份和恢复速度，即D2D。,区别拷贝,即COPY。无增量的捕捉机制，每次都要完全拷贝。手工进行，无法自动化配置，容易出错

20、。某些系统文件，如在线数据库文件无法拷贝。RTO大，RPO大。,区别 复制（一）,是指利用复制软件把数据从一个设备复制到另一个设备或者一个设备的一个磁盘复制到另一个磁盘，生成一个数据副本。这个数据副本是数据处理系统直接可以访问的，不需要进行任何的数据恢复操作，这一点是复制与D2D备份的明显区别。,区别复制（二）,复制可以分为同步复制和异步复制。同步、异步指的是数据同步的方式。同步方式的安全性和时效性很好，但会影响系统性能和带宽。异步方式相对于同步方式对系统性能和带宽影响较小，但安全性比同步方式稍低。对于软故障与快照技术结合，来保障RTO和RPO最小。,区别RAID1,RAID1是基于物理磁盘级

21、的镜像技术。硬盘镜像（RAID1）是容错磁盘阵列技术最传统的一种形式，在工业界中相对地最被了解，它最重要的优点是百分之百的数据冗余。,RAID1,综合区别镜像、备份、拷贝、复制,目 录,1、基本概念2、区别：镜像、备份、拷贝、复制、RAID13、我司存储产品镜像介绍4、镜像技术在其它厂商的应用,目前我司存储产品主要有X1000/EX1000/EX800/IV5000IX1000 物理上可以作物理级镜像，逻辑资源上支持同步镜像功能EX1000 物理上可以作物理级镜像，逻辑资源上不支持镜像功能EX800物理上可以作物理级镜像，逻辑资源上不支持镜像功能IV5000(IX5000)支持物理上的磁盘镜像

22、和逻辑资源上的同步和异步镜像功能,我司存储产品镜像功能介绍产品,我司存储产品镜像功能介绍功能,我们的卷（物理卷）都是建立在一定的RAID基础(IX5000叫虚拟磁盘)之上，然后逻辑卷（SAN/NAS资源）又建立在物理卷之上。IV5000的镜像是软件级别的RAID1，有异步镜像（开启了SafeCache）和同步镜像两种。IX1000上面的RAID管理里面的RAID是硬件级别的RAID，可以创建RAID0/1/10/5/1n/10n/50几种策略的RAID，但是不能设置条带的大小，只能够选择成员。IX1000的功能和IV5000差不多（少了SafeCache等几个功能），也可以创建镜像（mirro

23、r）。IX5000目前只支持创建基本策略/RAID0/RAID1/RAID10，是硬件级别的RAID，可以设置条带大小，也可以选择成员，策略非常灵活。,我司存储产品镜像功能介绍 IX1000镜像介绍（一）,IX1000支持逻辑资源上的同步镜像功能支持如下操作:添加镜像查看镜像状态交换镜像镜像同步提升镜像磁盘删除镜像,我司存储产品镜像功能介绍 IX1000镜像介绍（二）,添加镜像IX1000支持为单个或多个SAN/NAS资源添加镜像，还支持为现有的快照资源、缓存资源或者副本磁盘添加镜像。查看镜像状态在Console上选择已添加镜像的某个SAN/NAS资源的“常规”页签，可以看到其镜像配置的当前状

24、态。交换镜像镜像交换操作即反转主磁盘和镜像磁盘的角色。对主磁盘执行维护或需要移除主磁盘时，需要执行该操作。,我司存储产品镜像功能介绍 IX1000镜像介绍,镜像同步 是同步主磁盘和镜像磁盘中的数据。提升镜像磁盘提升镜像磁盘操作可以从“镜像对”中剥离镜像磁盘，并把它提升为一个独立的逻辑资源，供给客户端访问。当对主磁盘执行重大系统维护或升级时，就可以提升镜像磁盘供给应用服务器访问，这样就对主磁盘起到“安全网”的作用。删除镜像用户可以通过“删除镜像”操作取消镜像并删除镜像磁盘。,我司存储产品镜像功能介绍 IV5000镜像介绍,同步镜像,正常情况下，数据的写入按照如下过程：应用通知应用服务器“I/O完

25、成”服务器向IV5000发起第一个IO请求；IV5000同时向主磁盘和镜像磁盘发起IO请求；主磁盘/镜像磁盘处理IO操作，处理完成后，通知IV5000“I/O完成”；IV5000等待主磁盘和镜像磁盘的“I/O完成”确认信息，然后通知应用服务器“I/O完成”；应用服务器得到“I/O完成”确认信息，然后发起第2个I/O请求,我司存储产品镜像功能介绍 IV5000镜像介绍,异步镜像,正常情况下，数据的写入按照如下过程：应用服务器向IV5000发起第一个IO请求；IV5000向缓存资源发起IO请求；缓存资源处理IO操作，处理完成后，通知IV5000“I/O完成”；IV5000收到的“I/O完成”确认信

26、息，通知应用服务器“I/O完成”；应用服务器得到“I/O完成”确认信息，然后发起第2个I/O请求；同时，IV5000把缓存资源的数据分别刷新到主磁盘和镜像磁盘中。,目 录,1、基本概念2、镜像、备份、拷贝、复制、RAID1技术的区别3、我司存储产品镜像介绍4、镜像技术在其它厂商的应用,EMC-MirrorView/Synchronous（一）,无数据丢失重新启动点所有写入在主站点和辅助站点之间均保持同步仅在有限的距离内基于磁盘的副本加快了重启速度 链路故障后以增量方式重新同步不需要服务器资源 不依赖于服务器操作系统、应用程序、文件系统 管理简单用基于 Web 的 Navisphere 管理套件

27、 GUI 进行设置和管理可实现自动操作的 Navisphere CLI,辅助,主,每个写操作都得到确认和保护,远程同步镜像（有限距离）,1,2,3,4,I/O,I/O,ACK,ACK,从主机到本地存储系统I/O；从本地存储系统到远程系统（目标）I/O；从远程到本地系统应答返回；从主机到本地存储系统应答返回。,EMC-MirrorView/Synchronous（二）,同步模型,2,EMC-MirrorView/Asynchronous（一）,远距离复制 可定制的 RPO通常从30分钟到数小时不需要服务器资源 不依赖于服务器操作系统、应用程序、文件系统低网络带宽需求最多使用100 Mb/s基于磁盘的副本加快了重启速度 始终都有一个可重新启动的数据“一致性 拷贝”管理简单用基于 Web 的 Navisphere 管理套件GUI进行设置和管理可实现自动操作的 Navisphere CLI,远距离,辅助,主,增量集,黄金拷贝,远程异步镜像（远距离）,1,2,3,4,I/O,ACK,Chunk,Delta set,ACK,5,EMC-MirrorView/Asynchronous（二）,从主机到存储系统I/O；从存储系统到主机应答返回；触发事件；从本地存储系统到远程(目标）系统Delta设置；从远程到本地系统应答返回。,异步周期更新模型,