《RAID云存储》PPT课件.ppt

《《RAID云存储》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《RAID云存储》PPT课件.ppt（75页珍藏版）》请在三一办公上搜索。

1、NAND FLASHNOR Flash廉价磁盘冗余阵列RAID云存储网络附加存储（NAS）存储区域网（san）CDN内容分发网络HSM分级存储管理,存储技术,NAND FLASH(非易失闪存技术)NOR FLASH(闪速存储器)NAND FLASH与NOR的比较,NAND FLASH是什么？,是东芝公司开发的一种非易失闪存技术，具较高的单元密度，可以达到高存储密度，写入和擦除速度较快。,Nand flash 的特点,NANDFlash具有快速访问、低功耗、抗震性、尺寸小、重量轻等特性，并且稳定性良好，即使在系统电源关闭的情况下仍可保存数据。,NAND FLASH 的结构,NAND接口由6个主要

2、控制信号构成,1.芯片启动(Chip Enable,CE#)：如果没有检测到CE信号，那么，NAND器件就保持待机模式，不对任何控制信号作出响应。2.写使能(Write Enable,WE#):WE#负责将数据、地址或指令写入NAND之中。3.读使能(Read Enable,RE#):RE#允许输出数据缓冲器。4.指令锁存使能(Command Latch Enable,CLE):当CLE为高时，在WE#信号的上升沿，指令被锁存到NAND指令寄存器中。5.地址锁存使能(Address Latch Enable,ALE)：当ALE为高时，在WE#信号的上升沿，地址被锁存到NAND地址寄存器中。6.

3、就绪/忙(Ready/Busy,R/B#)：如果NAND器件忙，R/B#信号将变低。该信号是漏极开路，需要采用上拉电阻。,NAND Flash嵌入式存储系统结构,NAND Flash嵌入式存储系统结构图,为什么要使用嵌入式存储系统结构,基于NAND Flash的存储系统的设计首先要解决坏块问题。由于NAND Flash自身存在固有坏块并在擦除和编程中又随机产生坏块，因此为了提高设备的可靠性应该将这两种操作分散在闪存不同的块中，以避免对某块的过度操作。,NAND FLASH存储器类型之一,有关NAND FLASH 的产品,这款采用2.2寸QVGA屏幕、可播放FM广播、内置 2GB NAND Fl

4、ash 内存、外插 SD 存储卡，可播放照片、音乐和影片的 MS-6687，最厉害的地方在于可透过 v2.0+EDR 和 802.11 b/g 无线传输,什么是NOR Flash Memory,NOR技术（亦称为Linear技术）闪速存储器是最早出现的Flash Memory，具有可靠性高、随机读取速度快的优势，在擦除和编程操作较少而直接执行代码的场合，尤其是纯代码存储的应用中广泛使用，如PC的BIOS固件、移动电话、硬盘驱动器的控制存储器等。,NOR的传输效率很高，在14MB的小容量时具有很高的成本效益，但是很低的写入和擦除速度大大影响了它的性能。,NOR FLASH的电路连接图,Nor F

5、LASH的类型之一,相关产品,该款开发板上集成了2M NorFlash,NAND FLASH与NOR的比较,两者接口差别,NOR flash带有SRAM接口，有足够的地址引脚来寻址，可以很容易地存取其内部的每 一个字节。NAND器件使用复杂的I/O口来串行地存取数据，各个产品或厂商的方法可能各不相同。8个引脚用来传送控制、地址和数据信息。NAND结构能提供极高的单元密度,可以达到高存储密度,并且写入和擦除的速度也很快。应用NAND的困难在于flash的管理和需要特殊的系统接口。,成本差别,一个NANDFlash存储器的价格较一个NORFlash存储器便宜40%左右。与NOR Flash存储器相

6、比，NANDFlash存储器的写访问时间快20倍。尽管NORFlash具有快速随机访问速度，而NANDFlash具有一个长的随机读反映时间，但其具有功耗低、存储容量大、快速擦/写的优点。,可靠耐用性差别,在NAND闪存中每个块的最大擦写次数是一百万次，而NOR的擦写次数是十万次。NAND 存储器除了具有10比1的块擦除周期优势，典型 的NAND块尺寸要比NOR器件小8倍，每个NAND存储器块在给定的时间内的删除次数要少一 些。,易用性,可以非常直接地使用基于NOR的闪存，可以像其他存储器那样连接，并可以在上面直 接运行代码。由于需要I/O接口，NAND要复杂得多。在使用NAND器件时，必须先写

7、入驱动程序，才能继续执行其他操作。,廉价磁盘冗余阵列RAID,。,各级RAID的结构特点各级RAID的共性举例介绍RAID(RAID0、RAID1、RAID5、RAID10,廉价磁盘冗余阵列RAID,廉价磁盘冗余阵列 RedundantArray of Inexpensive Disks 独立磁盘冗余阵列 Redundant Array of Independent Disks 简称盘阵列技术 1988年，Patterson教授首先提出。优点 容量大、速度快、可靠性高、造价低廉,RAID技术主要有三个特点：,第一、通过对硬盘上的数据进行条带化，实现对数据成块存取，减少硬盘的机械寻道时间，提高数

8、据存取速度。第二、通过对一阵列中的几块硬盘同时读取，减少硬盘的机械寻道时间，提高数据存取速度。第三、通过镜像或者存储奇偶校验信息的方式，实现对数据的冗余保护。,1.各级RAID的结构特点,2.各级RAID的共性 1.RAID由一组物理磁盘驱动器组成，操作系统视之为一个逻辑驱动器；2.数据分布在一组物理磁盘上；3.冗余信息被存储在冗余磁盘空间中，保证磁盘在万一损坏时可以恢复数据；其中第2、3个特性在不同的RAID级别中的表现不同，RAID0不支持第3个特性。,3.有关RAID的几个问题(1)关键问题：如何发现磁盘的失效 磁盘技术提供了故障检测操作的信息。(2)设计的另一个问题 如何减少平均修复时

9、间MTTR 典型的做法：在系统中增加热备份盘(3)热切换技术 与热备份盘相关的一种技术,1.0 RAID0 数据分块，即把数据分布在多个盘上。非冗余阵列、无冗余信息.。（冗余阵列是多重备份，防止信息丢失，RAID0它没有备份，只是简单的把数据存进去，丢失了找不回来）严格地说，它不属于RAID系列。,廉价磁盘冗余阵列RAID,RAID0中的数据映射,廉价磁盘冗余阵列RAID,2.0 RAID1 亦称镜像盘，使用双备份磁盘。每当数据写入一个磁盘时，将该数据也写 到另一个冗余盘，形成信息的两份复制品。,廉价磁盘冗余阵列RAID,2.1 RAID1的特点 读性能好 RAID1的读性能能够达到RAID0

10、性能的两倍。写性能由写性能最差的磁盘决定。相对以后 各级RAID来说，RAID1的写速度较快。可靠性很高 最昂贵的解决方法（RAID1的每一个工作盘都有一个镜像盘，每次写数据时必须同时写入镜像盘，读数据时只从工作盘读出，所以它的有效容量是总容量的一半以下，想要解决有效容量少的问题，就是买个物理磁盘，即硬盘回来进行扩充），物理磁盘空间是逻辑磁盘空间的两倍。,廉价磁盘冗余阵列RAID,2.2 RAID1中的镜像和分块如何相互作用？RAID0+1 先分块后镜像,廉价磁盘冗余阵列RAID,RAID1+0 先镜像后分块,廉价磁盘冗余阵列RAID,3.0 RAID51.块交叉分布式奇偶校验盘阵列2.数据以

11、块交叉的方式存于各盘，无专用冗余盘，奇偶校验信息均匀分布在所有磁盘上。,廉价磁盘冗余阵列RAID,3.1 RAID4和RAID5中的信息分布,廉价磁盘冗余阵列RAID,4.0 RAID10 Raid 0与Raid1的组合体利用奇偶校验实现条带集镜像,RAID的实现与发展1.实现盘阵列的方式主要有三种 软件方式：阵列管理软件由主机来实现 优点：成本低 缺点：过多地占用主机时间，并且带宽指 标上不去。阵列卡方式：把RAID管理软件固化在I/O控制 卡上，从而可不占用主机时间，一般用于工作 站和PC机。,廉价磁盘冗余阵列RAID,子系统方式：这是一种基于通用接口总线 的开放式平台，可用于各种主机平台

12、和网 络系统。,2.盘阵列技术研究的主要热点问题 新型阵列体系结构；RAID结构与其所记录文件特性的关系；在RAID冗余设计中，综合平衡性能、可靠 性和开销的问题；超大型盘阵列在物理上如何构造和连结的问题。,廉价磁盘冗余阵列RAID,网络附加存储（NAS）,NAS是Network Attached Storage的简称，中文称为网络附加存储。按字面简单说就是连接在网络上,具备资料存储功能的装置，因此也称为“网络存储器”或者“网络磁盘阵列”。,nas是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以便于对不同主机和应用服务器进行访问的技术。NAS被定义为一种特殊的专用数据存储服务器，包

13、括存储器件（例如磁盘阵列、CD/DVD驱动器、磁带驱动器或可移动的存储介质）和内嵌系统软件，可提供跨平台文件共享功能。NAS本身能够支持多种协议（如NFS、CIFS、FTP、HTTP等），而且能够支持各种操作系统。通过任何一台工作站，采用IE或Netscape浏览器就可以对NAS设备进行直观方便的管理。,从结构上讲，NAS是功能单一的精简型电脑，因此在架构上不像个人电脑那么复杂，在外观上就像家电产品，只需电源与简单的控制钮，结构图如下：,NAS是一种专业的网络文件存储及文件备份设备，它是基于LAN（局域网）的，按照TCP/IP协议进行通信，以文件的I/O（输入/输出）方式进行数据传输。在LAN

14、环境下，NAS已经完全可以实现异构平台之间的数据级共享，比如NT、UNIX等平台的共享。一个NAS系统包括处理器，文件服务管理模块和多个硬盘驱动器(用于数据的存储)。NAS 可以存取任意格式的文件，包括SMB格式（Windows）NFS格式(Unix,Linux)和CIFS（Common Internet File System）格式等等。典型的NAS的网络结构如下图所示：,NAS的优点,NAS是通过网线连接的磁盘阵列，具备磁盘阵列的所有主要特征：高容量、高效能、高可靠。1、NAS 具有安装容易、快速的特点 2、易于维护 3、非常好的可扩展性 4、具有更快的响应速度和更高的数据带宽 5、对服务

15、器的要求降低，可大大降低服务器的成本，有利于高性能存储系统在更广的范围内普及及应用,存储区域网（san）,SAN（Storage Area Network，存储区域网），被定义为一个共用的高速专用存储网络，存储设备集中在服务器的后端，因此SAN是专用的高速光纤网络。架构一个真正的SAN，需要接专用的光纤交换机和集线器。存储区域网络是网络体系结构中一种相对新的概念，也是链接服务器和独立于工作网络的在线存储设备的网络。,SAN由三个基本的组件构成：接口（如SCSI、光纤通道、ESCON等）、连接设备（交换设备、网关、路由器、集线器等）和通信控制协议（如IP和SCSI等）。这三个组件再加上附加的存储

16、设备和独立的SAN服务器，就构成一个SAN系统。SAN提供一个专用的、高可靠性的基于光通道的存储网络，SAN允许独立地增加它们的存储容量，也使得管理及集中控制（特别是对于全部存储设备都集群在一起的时候）更加简化,SAN通过以下三种方式支持服务器与存储设备之间的直接高速数据传输：（1）服务器到存储设备：这是服务器与存储设备之间的传统的相互作用模式，其优点在于多个服务器可以串行或并行地访问同一个存储设备。（2）服务器到服务器：SAN可用于服务器之间的高速大容量数据通信。（3）存储设备到存储设备：通过这种外部数据传输能力，可以在不需要服务器参与的情况下传输数据,从而使服务器周期能更多地用于其他活动如

17、应用程序处理等。这样的例子还包括磁盘设备不需服务器参与就可以将数据备份到磁带设备上，以及跨SAN的远程设备镜像操作。,nas和san的区别,NAS：活络勤勉的跑堂（店小二）在存储世界里，NAS相当于餐厅里的跑堂。它适用于文件或数据块访问，作为SAN与工作组或用户之间的网关。换句话说，它的使命是将数据从“厨房”送至相应的“餐桌”。NAS能很好的完成“跑堂”这一工作。在小型企业中，NAS能够同时满足两个功能：就象在小餐馆一个人能兼任烹饪上菜两职。但随着企业规模增长、结构日益复杂，需求发生变化，就要把任务进行明确分工。,SAN：技艺高超的厨师,我们再用刚才的餐厅打个比方，SAN就相当于烹饪美味佳肴的

18、厨房，它不管食客点了牛排、鲜鱼、鸡肉还是蔬菜。食客需要的一切厨房里都有，只要让跑堂按照点菜单的顺序传菜。用NAS完成同样任务需要为每份菜准备一个厨房，或者为每位跑堂服务的几桌客人准备一个厨房。跑堂必须先让食客点菜，再跑到厨房里自己烹饪。而烹饪其实不应该是跑堂做的工作。,“大厨”还是“招待”，这不是问题,是要店小二（nas）还是厨师（san）？答案是携手合作才是王道（NAS与SAN双方互补，混合使用）NAS是SAN理想的网关，能帮助SAN提供的数据块以文件形式路由至适当的服务器中，SAN能通过减轻非关键数据的大容量存储负担，使NAS更为有效的工作。,CDN内容分发网络,CDN技术简介+关键技术C

19、DN的作用CDN的特点CDN的产品优势CDN在我国的发展状况,CDN技术简介,CDN技术是近年来在美国首先兴起并迅速发展起来的一种解决互联网性能不佳问题的有效手段。其基本思路就是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。,关键技术,（1）内容发布：它借助于建立索引、缓存、流分裂、组播（Multicast）等技术，将内容发布或投递到距离用户

20、最近的远程服务点（POP）处；（2）内容路由：它是整体性的网络附载均衡技术，通过内容路由器中的重定向（DNS）机制，在多个远程POP上均衡用户的请求，以使用户请求得到最近内容源的响应；（3）内容交换：它根据内容的可用性、服务器的可用性以及用户的背景，在POP的缓存服务器上，利用应用层交换、流分裂、重定向（ICP、WCCP）等技术，智能地平衡负载流量；（4）性能管理：它通过内部和外部监控系统，获取网络部件的状况信息，测量内容发布的端到端性能（如包丢失、延时、平均带宽、启动时间、帧速率等），保证网络处于最佳的运行状态。,CDN的作用+CDN的产品优势一种新型的网络构建方式,是为能在传统的IP网发布

21、宽带丰富媒体而特别优化的网络覆盖层；从广义的角度，CDN代表了一种基于质量与秩序的网络服务模式。简单地说，内容发布网(CDN)是一个经策略性部署的整体系统，包括分布式存储、负载均衡、网络请求的重定向和内容管理个要件，而内容管理和全局的网络流量管理(Traffic Management)是CDN的核心所在。通过用户就近性和服务器负载的判断，CDN确保内容以一种极为高效的方式为用户的请求提供服务。总的来说，内容服务基于缓存服务器，也称作代理缓存(Surrogate)，它位于网络的边缘，距用户仅有一跳(Single Hop)之遥。同时，代理缓存是内容提供商源服务器（通常位于CDN服务提供商的数据中心

22、）的一个透明镜像。这样的架构使得CDN服务提供商能够代表他们客户，即内容供应商，向最终用户提供尽可能好的体验，而这些用户是不能容忍请求响应时间有任何延迟的。据统计，采用CDN技术，能处理整个网站页面的70%95的内容访问量，减轻服务器的压力，提升了网站的性能和可扩展性。,CDN的作用+CDN的产品优势一种新型的网络构建方式,目前，国内访问量较高的大型网站如新浪、网易等，均使用CDN网络加速技术，虽然网站的访问巨大，但无论在什么地方访问都会感觉速度很快。而一般的网站如果服务器在网通，电信用户访问很慢，如果服务器在电信，网通用户访问又很慢。采取了分布式网络缓存结构（即国际上流行的web cache

23、技术），通过在现有的Internet中增加一层新的网络架构，将网站的内容发布到最接近用户的cache服务器内，通过DNS负载均衡的技术，判断用户来源就近访问cache服务器取得所需的内容，解决Internet网络拥塞状况，提高用户访问网站的响应速度，如同提供了多个分布在各地的加速器，以达到快速、可冗余的为多个网站加速的目的。,CDN的特点,与目前现有的内容发布模式相比较，CDN强调了网络在内容发布中的重要性。通过引入主动的内容管理层的和全局负载均衡从根本上区别于传统的内容发布模式。与目前现有的内容发布服务模式相比较，CDN服务模式将内容推到网络的边缘，为用户提供就近性的边缘服务，从而保证服务的

24、质量和整个网络上的访问秩序就成了一种显而易见的选择。CDN的建立解决了困扰内容运营商的内容集中与分散的两难选择，无疑对于构建良好的互联网价值链是有价值的，也是不可或缺的最优网站加速服务。,CDN能几乎涵盖国内所有线路。而在可靠性上，CDN 在结构上实现了多点的冗余，即使某一个节点由于意外发生故障，对网站的访问能够被自动导向其他的健康节点进行响应。CDN能轻松实现网站的全国铺设，不必考虑服务器的投入与托管、不必考虑新增带宽的成本、不必考虑多台服务器的镜像同步、不必考虑更多的管理维护技术人员,CDN在我国的发展状况,分级存储管理(Hierarchical Storage Management，HS

25、M),起源于1978年，首先使用于大型机系统。近10年来，HSM被广泛应用于开放系统的Unix和Windows平台。,概括分层存储架构的优点未来前景与面临的问题,概括,HSM即Hierarchical Storage Management的简写，意为“分层存储管理”，指数据对象在存储设备之间自动迁移的过程，通常是被动进行的。分层存储管理建立在性价比存储层次的概念之上，只要愿意降低访问性能，就可以更低的代价来存储。如果自动地将访问频率较低的数据移动到较低的存储层次中，同时将访问频率较高的数据移动到较高的存储层次中，就可以达到很高的整体性价比,分层存储架构的优点,分层存储是将不同类别的数据分配到不

26、同类型的存储介质上，目的是提高存储效率，减少总使用成本(TCO)。存储分类基本上是根据应用程序的服务层面的要求，包括可用性、性能、保存要求、使用频率以及其他因素等。分层存储号称可以节省多达50%的存储使用成本，使得它成为无差别容量配置。Wikibon.org进行的终端用户研究显示在硬件和软件上每花一美元，还要花50美分在数据迁移和阵列使用期间的配置上面。通过分层存储，这一数字可以降低到每一美元硬件软件花低于10美分在迁移和配置上。,未来前景与面临的问题,由于大量的日益增长的电子存储数据、最佳实践政策、自动持续性分配软件、特定数据匹配以及设备特点等因素，分层存储可以非常复杂。分层存储的主要商业驱

27、动因素和终端用户的考虑包括如下：1.“SAN(存储局域网)的异构”导致了互不兼容的存储孤岛，没有很好的方法能够在服务器和磁盘阵列之间共享数据;2.兼并和收购带来了异构的SAN架构，进一步增加了复杂性;3.昂贵的一级(Tier-1)架构在一些时候显得成本太高，使得许多公司发展避免一级架构策略;4.迁移和配置复杂性要求应用程序关闭，以便迁移数据或配置新的容量，由此引起的每迁移阵列成本经常超过50000美元。,由于存储硬件、应用、技术以及架构的分化，因此虽然几位厂商有努力实现自动化，但是还是面对很大的挑战。结果，作为一种积极策略，分层存储的市场渗透率只有10%到15%，虽然根据有些人的定义，实际上每

28、个公司都有一定形式的分层存储。,云存储,。,云存储,与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。,云存储系统的结构模型由4层组成。1.存储层 2.基础管理层性 3.应用接口层 4.访问层,云存储架构图,1.存储层,存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备，可以是NAS和 iSCSI等IP存储设备，也可以是 SCSI或SAS等 DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域，彼此之间

29、通过广域网、互联网或者 FC光纤通道网络连接在一起。存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。,2.基础管理层性,基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。,

30、应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。,3.应用接口层,任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。,4.访问层,新型的云状结构的存储系统系统,广域网和互联网对于具体的使用者是完全透明的，我们经常用一个云状的图形来表示广域网和互联网。虽然云状的图形中包含了许许多多的交换机、路由器、防火墙和服务器，但对具体的广域网、互联网用户来讲，这些都是不需要知道的。这个云状图形代表的是广域网和互联网带给大家的互联互通的网络服务，无论我们在任何地方，都可以通过一个网络接入线缆和一个用户、密码，就可以接入广域网和互联网，享受网络带给我们的服务,云状的网络结构,THANK YOU!,