存储相关技术基础.ppt

《存储相关技术基础.ppt》由会员分享，可在线阅读，更多相关《存储相关技术基础.ppt（89页珍藏版）》请在三一办公上搜索。

1、存储相关技术基础,培训教材,课程时间：50分钟日期：2009年02月,曙光信息产业（北京）有限公司四川技术服务部,目 录,1 存储的发展和历史1.1 存储技术的发展1.2 存储介质简介2 RAID技术3 主流存储架构,1.1 存储技术的发展,存储技术的发展是随着计算机技术的发展,不断的发展.先期的存储只是用打孔机或者磁带来存放数据。硬盘的出现，终结了打孔机和磁带作为主要存储手段的历史。1956年9月，IBM的一个工程小组向世界展示了第一套磁盘系统IBM 350 RAMAC Random Access Method of Accounting and Control，虽然这套系统的总容量只有5M

2、B，但却起到了一个里程碑的作用。在350 RAMAC之后，硬盘产业开始起步，从最初的24英寸发展到5.25英寸，从5MB的存储量突破了100MB。如今，硬盘的容量已经用T（1000G）来形容。硬盘最主要的功能是存储数据。虽然在冯诺伊曼计算机体系中并没有提到硬盘，但是从现在计算机使用情况来看，硬盘是计算机中最重要的部分，“硬盘有价，数据无价”！随着存储介质的不断发展，存储技术的也在不断发展，形成了今天各种各样的存储架构，存储解决方案。,2 存储介质简介,打孔纸卡穿孔纸袋计数电子管盘式磁带盒式录音磁带磁鼓,软硬盘硬盘机硬盘LD光盘5寸光盘DVD光盘蓝光DVD,HD-DVDU盘,SSD硬盘,2.1

3、最早期的存储媒介打孔纸卡,最早的数据存储媒介,在1725年由Basile Bouchon发明出来，用来保存印染布上的图案。但是关于它的第一个真正的专利权，Herman Hollerith在1884年9月23日申请的，这个发明用了将近100年，一直用到了20世纪70年代中期。由于能存储的数据少的可怜,一般它是用来保存不同计算机的设置参数的。,2.2 容量比打孔纸卡大穿孔纸带,Alexander Bain（传真机和电传电报机的发明人）在1846年最早使用了穿孔纸带。纸带上每一行代表一个字符，显然穿孔纸带的容量比打孔纸卡大多了。,2.3 电子应用计数电子管,1946年RCA公司启动了对计数电子管的研

4、究，这是用在早期巨大的电子管计算机中的，一个管子长达10英寸（25厘米），能够保存4096bits的数据。糟糕的是，它极其昂贵，所以在市场上昙花一现，很快就消失了。,2.4 大型磁带记录盘式磁带,在1950年代，IBM最早把盘式磁带用在数据存储上。因为一卷磁带可以代替1万张打孔纸卡，于是它马上获得了成功，成为直到80年代之前最为普及的计算机存储设备。,2.5最珍贵的回忆盒式录音磁带,一些计算机，如ZX Spectrum,Commodore 64和Amstrad CPC使用它来存储数据。一盘90分钟的录音磁带，在每一面（记得录音磁带是可以翻面的吗）可以存储700KB到1M的数据。,2.6 超长的

5、存储设备磁鼓,一支磁鼓有12英寸长，一分钟可以转1万2千5百转。它在IBM 650系列计算机中被当成主存储器，每支可以保存1万个字符（不到10K）。,2.7 早期盛行的移动存储软磁盘,第一张软盘，发明于1969年，当时是一张8英寸的大家伙，可以保存80K的只读数据。4年以后的1973年一种小一号但是容量为256K的软盘诞生了：它的特点是可以反复读写。从此一个趋势开始了磁盘直径越来越小，而容量却越来越大。到了1990年代后期，我们可以找到容量为250MB的3.5英寸软盘。,2.8“重”大突破世界上第一台硬盘机,1956年9月13日，IBM发布了305 RAMAC硬盘机。与之相关的计算机平平无奇，

6、可是在存储容量方面有着革命性的变化它可以存储“海量”的数据，“高达”4.4MB（5百万个字符），这些数据保存在50个24英寸的硬磁盘上。,2.9 现在最重要的存储设备硬盘,硬盘是现在还在发展中的一种技术，图中的日立Deskstar 7K500，是第一个达到500G容量的硬盘-是最早的IBM 305 RAMAC的12万倍。我们面对的硬盘发展趋势很明显：越来越便宜的硬盘，有着越来越巨大的容量。,2.10 第一张视频光盘LD光盘,1958年就发明光盘技术了，可是直到1972年，第一张视频光盘才问世，6年后的1978年它开始在市场上卖。那个时候的光盘是只读的，虽然不能写，但是能够保存达到VHS录像机水

7、准的视频，使得它很有吸引力。,2.11 体积更小、容量更大小光盘,我们常见的5寸光盘，是从LD光盘发展来的，可是它更小、容量更大。它是SONY公司和飞利浦公司在1979年联合发布的，在1982年上市。一张典型的5寸光盘，可以保存700MB数据。,2.12 采用红外激光DVD光盘,DVD是使用了不同激光技术的CD，它采用了650纳米的红外激光（标准CD则采用780纳米的红色激光），这种激光技术使得DVD可以在同样的面积中保存更多的数据。一张双层DVD容量可达8.5GB,2.13 最先进的存储蓝光DVD、HD-DVD(470nm),蓝色激光使得存储的容量进一步增长，目前看起来，好像蓝光DVD更流行

8、一些。不过如果我们目光放更长远一些，也许一种被称为“Holographic Versatile Disc”的光盘，可以提供比蓝光DVD大160倍的容量高达3.9TB，相当于保存4600到11900小时的MPEG4格式的电影。,2.14 U盘，SSD硬盘,U盘：利用电子的有无表示0和1SSD硬盘：又称固态硬盘，与U盘同样利用电子来存储信息。,未来存储,全息技术（例如：机器人总动员等科幻片中）本技术已实现，用于全息学的原理适用于各种形式的波动，如x射线、微波、声波、电子波等。只要这些波动在形成干涉花样时具有足够的相干性即可。光学全息术可望在立体电影、电视、展览、显微术、干涉度量学、投影光刻、军事侦

9、察监视、水下探测、金属内部探测、保存珍贵的历史文物、艺术品、信息存储、遥感，研究和记录物理变化极快的瞬时现象、瞬时过程（如爆炸和燃烧）等各个方面生物DNA存储（本技术已实现）原子,目 录,1 存储的发展和历史2 RAID技术2.1 RAID的概念2.2 RAID的特点2.3 RAID的级别2.4 RAID级别的比较2.5 RAID的实现方式2.6 RAID卡2.7 磁盘阵列2.8 RAID卡与磁盘阵列的区别2.9 RAID卡与磁盘阵列产品举例3 主流存储架构,2.1 RAID的概念,RAID是“Redundant Array of Inexpensive Disks”的缩写，中文意思是廉价磁盘

10、冗余阵列。组合小的廉价磁盘来代替大的昂贵磁盘，以降低大批量数据存储的费用 采用冗余信息的方式，使得磁盘失效时不会使对数据的访问受损失，从而开发出一定水平的数据保护技术，并且能适当的提升数据传输速度。,捆绑2个或多个独立物理磁盘成磁盘组（阵列）逻辑上做为一个大容量的硬盘供操作系统使用提高系统的读写性能具备容错性,2.2 RAID的特点,2.3 RAID的级别,RAID 0RAID 1RAID 2RAID 3RAID 4,RAID 5RAID 6RAID 7RAID 10(RAID 0+1)RAID 30RAID 50,2.3.1 RAID0,概念:无差错控制的条带化阵列,将多块硬盘连接起来形成一

11、个容量更大的存储设备。,2.3.2 RAID1,概念:称为镜像,将一个磁盘上的数据完全复制到另一个磁盘上,百分百的数据冗余.,2.3.3 RAID2,概念:带明码校验的磁盘阵列,这种RAID模式中,磁盘驱动器的第2的n次幂磁盘驱动器是专门的校验盘.应用比较少.,2.3.4 RAID3,概念:采用奇偶校验技术,需要专门的一块盘来存储校验位.,2.3.5 RAID4,概念:带奇偶校验码的独立磁盘结构,对数据的访问按磁盘进行,一块专门的奇偶校验盘存储校验位.应用比较少.,2.3.6 RAID5,概念:带分布式奇偶位的条带,把校验位信息随机地分布到所有的磁盘上,并非用单独一个盘来存储校验位,是目前应用

12、最广泛的一种磁盘阵列模式.,2.3.7 RAID6,概念:带有两种分布式存储的奇偶校验码的独立磁盘结构,使用了分配在不同的磁盘上的第二种奇偶校验的增强性RAID5.,2.3.8 RAID7,概念:优化的高速数据传送结构,带有智能化实时操作系统和用于存储管理的软件工具,采用非同步方式,配置复杂,实际应用中很少见.,2.3.9 RAID 10(RAID 0+1),概念:镜像阵列条带,既具有Raid0的高性能,又具有Raid1的安全性.,2.3.10 RAID30,概念:专用奇偶位阵列条带,有两组RAID3的磁盘组成阵列,使用专门的奇偶位,再组成RAID0,实现跨磁盘抽取数据.配置成本高,实际应用中

13、比较少见.,2.3.11 RAID50、60,概念:分布奇偶位阵列条带,由两组RAID5、6磁盘组成,每组都使用了分布式奇偶位,两组RAID5、6再组建成RAID0模式,实现跨磁盘抽取数据.,本节知识点,1、销售要知道有这些东西2、要能正确读出，并解释其含义3、不常用的不要推荐4、技术要了解并能正确判断出使用的形式5、能够组建配置6、按要求给出方案,2.4 RAID级别的比较（1/2）,2.4 RAID级别的比较（2/2）,2.5 RAID的实现方式,软件RAID方式硬件RAID方式零通道RAID,2.5.1 软件RAID,软RAID(software-basedRAID)是基于软件的RAID

14、。由于现在的很多服务器操作系统都集成了RAID功能。比如MicrosoftWindowsNT，Windows2000,Windows2003，NovellNetware和Linux。软件RAID集成于操作系统，有比较低的始投资，但是它的CPU占用率非常高，并且只有非常有限的阵列操作功能。大多数情况下，由于软件RAID是在操作系统下实现RAID，软RAID不能保护系统盘。亦即系统分区不能参与实现RAID。,2.5.2 硬件RAID,硬RAID是通过硬件方式实现的一种RAID方式，有专门的硬件来进行RAID的计算，管理等，常见的RAID卡，以及控制器等方式的RAID方式都属于硬RAID方式,它的优

15、点很多，占用CPU资源少，热插拔，管理方便等，相对软件RAID方式，成本较高。,2.5.3 零通道RAID,一种把初级的RAID功能附加给SCSI或者SATA卡而产生的产品。它是基于硬和软RAID之间的一种产品。它把软件RAID功能集成到了产品的固件上，从而提高了产品的功能和容错能力。一般情况下它可以支持RAID0和RAID1，有的可以支持更高级的RAID。,2.6 RAID卡,概念：RAID卡就是用来实现RAID功能的板卡，通常是由I/O处理器、SCSI控制器、SCSI连接器和缓存等一系列零组件构成的。,2.6.1 RAID卡接口技术,IDE接口SCSI接口SATA接口SAS接口,目前主流接

16、口类型：,IDE接口,IDE即IntegratedDriveElectronics，它的本意是指把控制器与盘体集成在一起的硬盘驱动器，我们常说的IDE接口，也叫ATA（AdvancedTechnologyAttachment）接口，也叫PATA.,并行方式传输传输距离受限,不超过0.4米连接方式有主从之分不支持热插拔线缆比较宽，不利于散热,SCSI接口（1/3）,SCSI直译为小型计算机系统专用接口(SmallComputerSystemInterface)是一种连结主机和外围设备的接口，支持包括磁盘驱动器、磁带机、光驱、扫描仪在内的多种设备。它由SCSI控制器进行数据操作，SCSI控制器相当

17、于一块小型CPU，有自己的命令集和缓存。,SCSI接口（2/3）,SCSI接口（3/3）,并行数据传输支持多设备,1个通道可以支持16个设备SCSI设备的CPU占用率极低，确实在多任务系统中占有着明显的优势。SCSI设备还具有智能化，SCSI卡自己可对CPU指令进行排队，这样就提高了工作效率。在多任务时硬盘会在当前磁头位置，将邻近的任务先完成，再逐一进行处理。,SATA接口（1/2）,SATA是由PATA发展而来的,SATA是Serial ATA的缩写，即串行ATA。这是一种完全不同于并行ATA的新型硬盘接口类型，由于采用串行方式传输数据而得名。,SATA接口（2/2）,Serial ATA技

18、术采用点对点的传输协议，不存在主从问题，这样每个驱动器硬盘能够独享带宽Serial ATA采用七针数据线缆.主要有四个针脚，第一针发送信号，第二针接收信号，第三针供应电源，第四针为地线。长度可以达到1米。接插简单，支持热插拔内置数据校验技术.串行ATA技术在传输总线的两端都引入了全新的CRC（循环冗余校验）保护系统，增加了数据传输的可靠性。,SAS接口（1/2）,SAS技术是由SCSI技术发展而来的,SAS 是Serial Attached SCSI的缩写，即串行连接SCSI。2001年11月26日，Compaq、IBM、LSI逻辑、Maxtor和Seagate联合宣布成立SAS工作组，其目标

19、是定义一个新的串行点对点的企业级存储设备接口。它综合了现有并行SCSI和串行连接技术（光纤通道、SSA、IEEE1394及InfiniBand等）的优势，以串行通讯为协议基础架构，采用SCSI-3扩展指令集并兼容SATA设备，是多层次的存储设备连接协议栈。,SAS接口（2/2）,串行传输方式向下兼通SATA采用8b/10b编码扩展性能好SAS技术的全双工模式，可以使设备在同一时间内能够以双方向传输数据.,2.6.2 RAID卡的主要厂商,AdaptecLSI建邦PROMISE,2.7 磁盘阵列（1/9）,磁盘阵列的特性：1、增大存储空间2、提高读写性能3、具有容错性,磁盘阵列的以上特性通过RA

20、ID技术来实现,2.7 磁盘阵列（2/9）,磁盘阵列的主要组成部分,1、机箱2、控制器3、背板4、电源、散热风扇5、硬盘,2.7 磁盘阵列（3/9）,磁盘阵列控制器,概念:控制器在磁盘阵列中启着核心作用,RAID技术的实现,以及数据的调用管理都有它来负责,是一个磁盘阵列的心脏.,2.7 磁盘阵列（4/9）,磁盘阵列分类,按尺寸盘位 按主机接口 按存储介质,2.7 磁盘阵列（5/9）,磁盘阵列主机接口,SCSISASFCISCSIINFINIBANDPCI-E,2.7 磁盘阵列（6/9）,磁盘阵列磁盘通道,SCSISATASASFC,2.7 磁盘阵列（7/9）,磁盘阵列常用参数,控制器数量处理芯

21、片(处理器)Cache 大小电池保护主机接口数量及带宽磁盘通道数量及带宽Iops尺寸及盘位数扩展性能支持的RAID级别,2.7 磁盘阵列（8/9）,磁盘阵列高级功能,Lunmasking功能快照功能卷拷贝功能远程镜像功能,2.7 磁盘阵列（9/9）,磁盘阵列控制器结构图（举例）,2.8 RAID卡与磁盘阵列的区别,RAID卡 磁盘阵列 形态 PCI插卡 SCSI设备 OS支持 OS DriverBIOS识别/SCSI SCSI通道 仅为磁盘通道 磁盘通道主机通道 独立性依赖主机完全独立 冗余性仅磁盘冗余 磁盘/电源/风扇冗余 配置 仅配置磁盘 配置磁盘Map 常用界面 软件界面 LCD界面 价

22、格 相对廉价 较贵,2.9 RAID卡与磁盘阵列产品举例（1/2）,产品介绍:Adaptec SCSI RAID 2130SLP卡,单通道 Adaptec 2130S Ultra320 PCI-X SCSI RAID 控制器最大可接入15块硬盘PCI-X接口,64-bit/133 MHz 内外各有一个一个68针高密scsi接口,来连接硬盘支持0,1,10,5,50,JBOD Adaptec Storage Manager 管理软件,方便raid的管理,2.9 RAID卡与磁盘阵列产品举例（2/2）,产品介绍:曙光DS6310,2U,16盘位IBM PowerPC750Cxe处理器,专用硬件异或

23、处理芯片 Cache 最大支持2GB Raid 0，1，0+1，3，5，10，30，50主机通道 2个320MB/s SCSI磁盘通道 2个320MB/s SCSI最大容量 3.6TB,目 录,1 存储的发展和历史2 RAID技术3 主流存储架构3.1 DAS架构3.2 NAS架构3.3 SAN架构3.4 ISCIS SAN3.5 存储架构对比,3 主流存储架构,DAS架构NAS架构SAN架构ISCSI SAN架构,3.1 DAS架构（1/4）,DAS是Direct Attached Storage的缩写，即“直接连接存储”。它是指将外置存储设备通过连接电缆，直接连接到一台计算机上。采用直接外

24、挂存储方案的服务器结构如同PC机架构，外部数据存储设备采用SCSI技术，或者FC(Fibre Channel)技术，直接挂接在内部总线上的方式，数据存储是整个服务器结构的一部分。,3.1 DAS架构（2/4）,结构示意：,3.1 DAS架构（3/4）,直连方式基于块设备级的访问模式扩展性差资源浪费不宜集中管理,结构特点：,3.1 DAS架构（4/4）,适用范围：,小型网络，成本较低地理位置特别分散的网络特殊应用的服务器,3.2 NAS架构（1/4）,NAS系统拥有一个专用的服务器，服务器上安装着一个优化的文件系统和“瘦”操作系统，其作用类似于一个专用的文件服务器。这种专用文件服务器去掉了通用服

25、务器原有的大多数计算功能，仅仅提供文件系统功能，用于存储服务。而且，NAS系统中的核心操作系统是经过特殊定制的，专门服务于文件请求且与主要的网络环境兼容。,3.2 NAS架构（2/4）,结构示意：,3.2 NAS架构（3/4）,特点：,集中数据管理基于文件级,异构平台的数据共享独立于操作平台，不同类的文件共享(NFS,CIFS)真正的即插即用存储系统部署简单存储设备位置灵活管理容易且成本较低浏览器界面的操作/管理存储性能较低(通过网络存储备份)投资成本较高而可靠度不高,3.2 NAS架构（4/4）,适用范围：,小型局域网络,广域网邮件系统、办公OA,校园网,文档归档,VOD等异构平台共享对性能

26、要求不是极高的应用基于文件系统，不适合数据库应用,3.3 SAN架构,所谓的SAN(storage area network)，即存储区域网络，是指在网络服务器群的后端，采用光纤通道等存储专用协议连接成高速专用网络，使网络服务器与多种存储设备直接连接。SAN的最大特点就是可以实现网络服务器与存储设备之间的多对多连接，而且，这种连接是本地的高速连接。SAN架构的优势在于：强大的扩展性、多种存储设备的集中和新架构支撑下的新型数据应用方式。,3.3.1 Fibre Channel(1/2),Fibre Channel(FC)是1994年由ANSI标准化组织制订的一种适合于千兆位数据传输通信的成熟而安

27、全的解决方案。Fibre Channel 与传统的SCSI技术相比，除了提供更高的数据传输速度，更远的传输距离，更多的设备连接支持，更稳定的性能，更简易的安装以外，最重要的是为SAN的发展提供了广阔的天地.,3.3.1 Fibre Channel(2/2),点对点,交换式 Fabric,Arbitrated Loop(仲裁环),Fibre Channel有三种拓扑结构:点对点(Point-to-Point)两个设备之间互连仲裁环(Arbitrated Loop)最多支持126个设备互连，形成一个仲裁环 交换式Fabric(Switch Fabric)最多1千6百万个设备互连,3.3.2 FC

28、SAN(1/3),结构示意：,3.3.2 FC SAN(2/3),特点：,基于设备块级的访问模式扩展性好易于集中管理高可靠性、可用性、可维护性 负载均衡传输效率高,低延迟成本高,3.3.2 FC SAN(3/3),适用范围：,大型网络实现对分散数据高速集中备份的企业、以及数据在线性要求高的企业等。传输效率要求极高的应用,可靠性高的远程灾备,异地备份,3.4 ISCSI SAN(1/6),ISCSI是一种基于开放的工业标准，通过它可以用TCP/IP对SCSI(小型计算机系统接口-一种数据传输的公共协议)指令进行封装，这样就可以使这些指令能够通过基于IP(以太网或千兆位以太网)“网络”进行传输。,

29、3.4 ISCSI SAN(2/6),ISCSI结构图:,3.4 ISCSI SAN(3/6),ISCSI的连接方式:,以太网卡+软件方式主机端采用标准的以太网卡，安装Initiator软件，通过Initiator软件将以太网卡虚拟为ISCSI卡，实现主机和iSCSI设备之间的SCSI协议和TCP/IP协议传输功能。这种方式由于采用标准网卡，无需额外配置适配器，因此硬件成本最低。缺点是进行ISCSI包文和TCP/IP包文转换要点主机端的一部分资源。硬件TOE网卡实现方式 主机采用TOE(TCP/IP Offloading Engine)网卡来连接网络，TCP/IP协议栈功能由TOE卡完成，而i

30、SCSI层的功能仍旧由主机来完成。iSCSI HBA卡实现方式 使用iSCSI存储适配器来完成服务器中的iSCSI层和TCP/IP协议栈功能。这种方式使得服务器CPU无需考虑iSCSI以及网络配置，对服务器而言，iSCSI存储器适配器是一个HBA设备，与服务器采用何种操作系统无关。该方式性能最好，但是价格也最为昂贵。,3.4 ISCSI SAN(4/6),3.4 ISCSI SAN(5/6),特点:,基于设备块级的访问模式构建所需成本低,可以利用现存网络易于部署便于管理性能受网络带宽限制,3.4 ISCSI SAN(6/6),适用范围:,局域网,广域网性能要求不是太高,分级存储实现异地间的数据备份及容灾,3.5 存储架构对比(1/2),小结,存储的发展历史RAID0、1、5、6、10RAID卡与盘阵在实现RAID时的区别存储连接的三种结构：DAS、NAS、SAN重点在RAID的级别及主流存储架构,一路上曙光因为有您而更精彩!,谢谢！,