存储基础知识应知应会.ppt

王智 90002439（email：)IT存储解决方案销售部,存储基础知识应知应会,目录,存储基本解决方案介绍,存储基础知识,存储业界主要厂商介绍,存储产品系统及软件概述,存储是什么？,广义的存储定义,CD、DVD、ZIP，磁带，硬盘等,1、存储硬件系统（磁盘阵列，控制器，磁盘柜，磁带库等）2、存储软件（备份软件；管理软件，快照，复制等增值软件）3、存储网络（HBA卡，光纤交换机，FC/SAS线缆等）4、存储解决方案（集中存储，归档，备份，容灾等）,狭义的存储定义,存储是企业数据的“家”,离线存储,数据产生,数据处理,数据管理,存储发展历程：从附属于服务器，剥离成独立系统,Server,智能硬盘阵列(DAS),Page 4,存储主要协议,SCSI协议：（Small Computer System Interface，小型计算机系统接口）是一种为小型机研制的接口技术，用于主机与外部设备之间的连接。SCSI-3是所有存储协议的基础，其它存储协议都用到SCSI的指令集。优点：与主机无关、多设备并行、高带宽。缺点：允许连接设备数量少、连接距离非常有限。,FC协议：FC是光纤通道（Fiber Channel）的简称，用于服务器与共享存储设备的连接，存储控制器和驱动器之间的内部连接，是一种高性能的串行连接标准。其接口传输速率目前有4Gbps、8Gbps几种标准。传输介质可以选择铜缆或光纤，传输距离远，支持多种互联拓扑结构。光纤通道是构建FC SAN的基础，是FC SAN系统的硬件接口和通信接口。,iSCSI协议：（Internet Small Computer System Interface）互联网小型计算机系统接口，是一种在TCP/IP上进行数据块传输的标准，可以理解为SCSI over IP。iSCSI可构成基于IP的SAN，为用户提供高速、低价、长距离的存储解决方案。iSCSI将SCSI命令封装到TCP/IP数据包中，使I/O数据块可通过IP网络传输，是未来的发展之路。,SAS协议：（Serial Attached SCSI）即SCSI总线协议的串行标准，即串行连接SCSI；SAS采用串行技术以获得更高的扩充性，并兼容SATA盘。目前SAS的最高传输速率高达3Gpbs、6Gbps，支持全双工模式。,DAS起源,磁盘阵列,服务器,SAS,FC,SCSI,DAS（Direct Attached Storage）时间：70年代背景：用户最早因为数据量的增多而产生存储的需求，从而产生最早最简单的存储架构直连附加存储DAS连接方式：FC,SCSI,SAS访问方式：直连式存储与服务器主机之间的连接通道通常采用SCSI连接链路速率：20MB/s、40MB/s、80MB/s提供快照、备份等功能,NAS(Network Attached Storage)时间：90年代初背景：网络飞速发展，大量数据需要共享和交换出现专用的NAS存储设备，成为数据共享与交换的核心访问方式：多台前端服务器共享后端存储设备，后端NAS设备上的存储空间通过CIFS（window系统）、NFS（Linux系统）协议共享给前端主机，可同时对同一目录或文件进行并发读写文件系统位于后端存储设备链路速率：1Gbps、10Gbps,NAS应用系统架构,NFS,CIFS,专用IP存储网络,RAID,文件系统,NAS存储设备,NAS起源（网络数据共享与交换需求）,NFS,NFS,CIFS,FC SAN（Fiber Channel Storage Area Network）时间：90年代中后期背景：为解决DAS扩展性差的问题，将存储设备网络化，可以同时连接上百台服务器连接方式：FC光纤，使用专用的FC交换机访问方式：后端一台存储设备的存储空间可以划分为多个LUN，每一个LUN只能属于一台前端服务器链路速率：2Gbps、4Gbps提供快照、容灾等高级数据保护功能,FC链路,磁盘阵列,FC SAN控制器,FC交换机,服务器,FC SAN起源（由DAS到FC SAN）,IP链路,磁盘阵列,iSCSI存储控制器,以太网交换机,服务器,IP SAN起源（由FC SAN到IP SAN）,IP SAN（IP Storage Area Network）时间：2001年背景：为解决FC-SAN在价格及管理上的诸多门坎而产生连接方式：采用以太网作为连接链路，以太网交换机访问方式：后端一台存储设备的存储空间可以划分为多个LUN，每一个LUN只能属于一台前端服务器链路速率：1Gbps、10Gbps提供快照、容灾等高级数据保护功能iSCSI 被看好的原因可以采用非常成熟的IP网络管理工具和基础建设IP网络使用普遍，可为企业节省大笔建设、管理及人事成本,三种存储组网，各有优劣,SAN与NAS并不是两种互相竞争的技术，二者通常相互补充以提供对不同类型数据的访问。SAN针对海量的面向数据块的数据传输，而NAS则提供文件级的数据访问和共享服务。越来越多的数据中心采用SAN+NAS的方式实现数据整合、高性能访问以及文件共享服务。,NAS和SAN的融合统一存储,SAN、NAS、iSCSI控制器,时间：21世纪初背景：为解决多种存储架构带来的管理、高TCO问题，支持多种传输协议，同时满足不同需求的统一存储设备应运而生同时支持不同传输协议，以单一系统满足企业各式各样的存储需求统一的管理界面，简化系统管理模块化的架构，灵活配置，轻松扩容，降低整体TCO,统一存储：一种网络存储架构，它既支持基于文件的NAS存储，又支持基于块的SAN存储。,磁盘阵列,存储主要协议对比,其他协议：SAS协议、AOE协议、Infiniband协议等,桌面级硬盘主要针对家庭个人应用，应用在台式PC、笔记本等领域；企业级硬盘针对企业级应用，主要应用在服务器、存储磁盘阵列、图形工作站等。容量：相比桌面级硬盘，企业级硬盘具备更大的存储容量，当前单硬盘最大容量可达4TB性能：主要体现在转速、缓存、平均寻道时间等可靠性：企业级硬盘具有更高的平均无故障时间（MTBF），一般来说桌面级硬盘的平均无故障时间大部分都在50万左右小时，企业级的都在100万以上。,硬盘类型,硬盘接口是硬盘与主机系统间的连接部件，作用是在硬盘缓存和主机内存之间传输数据。不同的硬盘接口决定着硬盘与计算机之间的连接速度，接影响着程序运行快慢和系统性能好坏。,主流硬盘类型,硬盘关键指标,硬盘容量（Volume）容量的单位为兆字节（MB）或千兆字节（GB）。影响硬盘容量的因素有单碟容量和碟片数量。转速（Rotational speed）硬盘的转速指硬盘盘片每分钟转过的圈数，单位为RPM（Rotation Per Minute）。一般硬盘的转速都达到5400RPM/7200RPM。SCSI接口硬盘转速可达1000015000RPM。平均访问时间*（Average Access Time）平均寻道时间平均等待时间。数据传输率（Date Transfer Rate）硬盘的数据传输率是指硬盘读写数据的速度，单位为兆字节每秒（MB/s）。硬盘数据传输率包括内部传输率和外部传输率两个指标。IOPS(Input/Output Per Second)即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标之一。随机读写频繁的应用，如OLTP(Online Transaction Processing)，IOPS是关键衡量指标。另一个重要指标是数据吞吐量(Throughput)，指单位时间内可以成功传输的数据数量。对于大量顺序读写的应用，如电视台的视频编辑，视频点播等则更关注吞吐量指标。,RAID基本概念定义,RAID（Redundant Array of Independent Disks）即独立磁盘冗余阵列，RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而提高了硬盘的读写性能和数据安全性。,同时采用两种不同的RAID方式还能组合成新的RAID级别:,根据不同的组合方式可以分为不同的RAID级别:,RAID基本概念数据组织及存取方式,数据组织形式,分块：将一个分区分成多个大小相等的、地址相邻的块，这些块称为分块。它是组成条带的元素。条带：同一磁盘阵列中的多个磁盘驱动器上的相同“位置”（或者说是相同编号）的分块。,分块,条带,硬盘0,硬盘2,硬盘1,硬盘3,分条,RAID基本概念热备、重构,热备（HotSpare）的定义：当冗余的RAID组中某个硬盘失效时，在不干扰当前RAID系统的正常使用的情况下，用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘，及时保证RAID系统的冗余性。热备一般分为两种：全局式：备用硬盘为系统中所有的冗余RAID组共享专用式：备用硬盘为系统中某一组冗余RAID组专用,热备,重构,数据盘,A1,P,热备盘,A0,A1,P,XOR,重构,故障,数据盘,校验盘,A2,A2,XOR,数据盘,更换,RAID基本概念逻辑卷,在RAID的基础上可以按照指定容量创建一个或多个逻辑卷，通过LUN（Logic Unit Number）来标识,物理磁盘,RAID,逻辑卷,RAID,分割,RAID级别RAID0,RAID1,没有容错设计的条带硬盘阵列，以条带形式将RAID组的数据均匀分布在各个硬盘中,又称镜像（Mirror），数据同时一致写到主硬盘和镜像硬盘,RAID0,RAID1,E,D,C,B,A,E,D,C,B,A,=,数据,数据,RAID级别 RAID3，RAID5,带有校验的并行数据传输阵列，数据条带化分布在数据盘中，同时使用专用校验硬盘存放校验数据,与RAID 3机制类似，但校验数据均匀分布在各数据硬盘上，RAID成员硬盘上同时保存数据和校验信息，数据块和对应的校验信息保存在不同硬盘上。RAID 5是最常用的RAID方式之一,RAID3,RAID5,RAID级别 RAID 6原理示例,A1,A3,A2,A4,A7,A10,A8,A5,A9,A13,A6,A15,A11,A12,A16,异或运算,A1,A2,A3,A4,A5,A6,A7,A9,横向校验盘：P1P4为各个数据盘中横向数据的校验信息例：P1=A1 XOR A2 XOR A3 XOR A4斜向校验盘：DP1DP4为各个数据盘及横向校验盘的斜向数据的校验信息例：DP1=A1 XOR A6 XOR A11 XOR A16,P1,P2,P3,P4,横向校验盘,斜向校验盘,数据盘,A8,DP1,DP2,DP3,DP4,A14,DP5,RAID组合级别 RAID 10，RAID50,将镜像和条带进行两级组合的RAID级别，第一级是RAID1镜像对，第二级为RAID 0。RAID10也是一种应用比较广泛的RAID级别,将RAID5和RAID 0进行两级组合的RAID级别，最低一级是RAID 5，第二级为RAID 0,RAID10,RAID50,RAID5,RAID5,RAID0,常见RAID级别的比较,物理硬盘存储池Pool,Chunk,CKG,主机看见LUN,多种类型硬盘同时存放于存储池,每个硬盘空间被切分成精细粒度的块Chunk(64MB),来自不同硬盘上的Chunk组成CKG,LUN可在短时间内创建成功，无需预先分配资源,Extent,CKG被切分成更细粒度的空间(256KB64MB),分级,不分级,Vloume,不分级,多个Extent组成Volume,华为RAID2.0+:两层虚拟化,目录,存储基本解决方案介绍,存储基础知识,存储业界主要厂商介绍,存储产品系统及软件概述,存储阵列与硬件概况,控制框,硬盘扩展框,=,+,控制框和硬盘框分离（俗称：盘控分离）,存储阵列系统,控制器和硬盘框一体（俗称：盘控一体）,硬盘框,控制器模块,=,+,存储阵列系统,概述：存储阵列是把多个硬盘组成一个阵列，当作大资源池使用，它将数据以分段（striping）的方式储存在不同硬盘中，存取数据时，阵列中的相关磁盘一起动作，既保证可靠性，又大幅减低数据存取时间，同时有更佳的空间利用率。常见阵列形式（以我司为例），主要有如下两种：,双控制器主流阵列架构,将多个LUN的负载或者同一个LUN的负载均衡在两个控制器上，避免性能瓶颈,一控制器故障时，另一控制器在主机多路径软件配合下接管业务负载，确保不中断,1）写入数据在双控CACHE中各保存一份，避免单控故障导致数据丢失。2）每个控制板的后端分别接入物理磁盘的环路业务负载均衡，提升整体系统性能,常见存储软件概览,管理类,数据保护类,可靠性提升类,效率提升类,存储软件，从底层的驱动、设备管理到上层的系统管理、增值软件等，种类繁多，根据功能可大致分为以下几类：,我司对应软件,IT基础设施管理，磁盘资源管理,Management Console，InfraControl,快照，LUN 拷贝，分裂镜像，远程复制，,HyperSnap，HyperCopy，HyperClone，HyperReplication,自动精简配置，自动数据分级重复数据删除，服务质量控制缓存预取、分区，智能数据迅移,UltraPath，UltraVR，UltraAPM,SmartThin，SmartTierDe-duplication，SmartQoS，SmartCache，SmartMotion,多路径软件,Page 30,多路径软件保护,屏蔽冗余硬盘,虚拟硬盘,多路径驱动,多路径虚拟HBA,HBA1,HBA2,硬盘驱动,HBA1,HBA2,硬盘驱动,未安装多路径,安装了多路径,主机看到两个物理LUN,主机只看到一个LUN,路径的故障切换和恢复,HBA1,HBA2,A控,B控,用户可见的存储空间,逻辑虚拟空间,存储资源池,存储阵列,硬盘资源,实际分配物理空间,服务器,space,存储容量虚拟化,根据推测设定理论存储空间,只划分出实际所需的物理存储空间,自动精简配置技术,SSD硬盘，存取速度快、性能好、价格相对昂贵；适合用于作为在线存储；,FC/SAS硬盘，存取速度相对较快、价格相对适中适合用于作为近线存储,SATA/NL-SAS硬盘，存取速度相对较慢、容量较大，价格相对便宜适合用于作为离线存储,数据访问频繁、对存取速度敏感,热数据流动方向,冷数据流动方向,数据访问频率低，无较高性能要求,自动分级存储,重复数据删除技术,重复数据删除，顾名思义，就是删除重复数据来给系统瘦身，它是一种数据缩减技术，通常用于基于磁盘的备份系统。系统不能判断哪些信息是垃圾，却可以判断哪些信息是冗余的。通过识别这些冗余信息并作删除处理，实现了系统的显著“减肥”。,重删后传输内容,重删前传输内容,A,B,C,A,B,C,数据块,重复数据块索引,重删比：3:1，最高可达20:1,硬盘休眠技术,存储数据在生命周期内并非一直处于被访问状态，硬盘休眠技术就是让某些特定的硬盘进入“休眠状态”，来达到降低存储设备能耗，延长硬盘使用寿命、节省电力资源、减少维护成本、高效利用硬盘资源的目的。Standby即我们所说的“休眠状态”，当有新I/O请求时，可以“唤醒”硬盘，其从Standby进入到Active状态。,硬盘休眠,快照技术,快照是对指定数据集合的一个完全可用拷贝，该拷贝包含源数据在拷贝时间点的静态映像。快照可以是数据再现的一个副本或者复制。作用：进行在线数据备份与恢复。当存储设备发生应用故障或者文件损坏时可以进行快速的数据恢复，将数据恢复某个可用的时间点。价值：在不中断正常业务的前提下，快速得到一份与源文件系统或源LUN一致的数据副本。副本生成之后立即可用，并且对副本的读写操作不再影响源数据。因此通过快照技术就可以解决如在线的备份、数据分析、应用测试等难题。,8:00 AM,9:00 AM,源数据,数据快照,LUN拷贝技术,定义：将磁盘阵列中的源LUN数据Copy到目标LUN中，主要有全量拷贝和增量拷贝两种。全量拷贝即把源LUN数据从头到尾进行一次完整的至目标LUN的拷贝。增量拷贝即在第一次启动数据初始全量拷贝后，以后每次拷贝只需将上次时间点至本次拷贝时间点之间更新的数据同步即可。特点：异构存储之间拷贝 一对多拷贝 在线改变拷贝速率 FC/IP网络支持 业务无关性（增量LUN拷贝），不需中断业务场景：数据迁移，数据备份,全量拷贝,增量拷贝,分裂镜像技术,定义：在不中断业务的前提下，为存储系统的LUN建立一份某时刻的完整物理拷贝，并且在分裂后对物理拷贝的读写操作不会影响原LUN上的数据，等同于数据克隆。,Page 37,远程复制技术,远程复制又称远程镜像，是数据镜像技术的一种，它能够在两个或多个站点维护若干个数据副本，利用长距离来避免灾难发生时的数据丢失。主要有同步远程复制和异步远程复制两种主流技术。,同步远程复制,异步远程复制,新数据写入,向灾备中心端发出写入请求,灾备中心端返回“完成”信号,新数据写入,生产阵列,灾备阵列,新数据写入,向灾备中心端发出写入请求,灾备中心端返回“完成”信号,新数据写入,生产阵列,灾备阵列,持续数据保护（CDP）是一套方法，它可以捕获或跟踪数据的变化，并将其在生产数据之外独立存放，以确保数据可以恢复到过去的任意时间点。持续数据保护系统可以基于块、文件或应用实现，可以为恢复对象提供足够细的恢复粒度，实现几乎无限多的恢复时间点。,持续数据保护技术,传统备份,快照技术,复制技术,CDP,N 天,4-6 小时,最后同步,任意时间点,管理软件,设备管理，如多设备的集中管理，简单的配置向导集中监控，如拓扑展示，实时监控系统的健康状态，多种告警上报机制等 业务保障：多维度性能统计展示，性能报表导出及查询等下图“红框”中的内容为我司Infracontrol 软件管理内容,各种分散的存储特性,SAN Array,NAS Array,Lun Copy,Backup Archive,Performance,Snapshot,多设备管理,网络资源管理,业务管理,性能统计,存储统一管理软件,Huawei InfraControl,目录,存储基本解决方案介绍,存储基础知识,存储业界主要厂商介绍,存储产品系统及软件概述,OA,NFS/CIFS/FTP/HTTP,CIFS/NFS/iSCSI/FC/FCoE,iSCSI/FC/FCoE,Unstructured data applications,Virtual machine applications,Structured data appliactions,NAS,Unified Storage,SAN,VDI,VM Server,华为集中存储解决方案,灾备概述,灾难备援，是指利用科学的技术手段和方法，提前建立系统化的数据应急方式，以应对灾难的发生。其内容包括数据备份和系统备份，业务连续规划、人员架构、通信保障、危机公关，灾难恢复规划、灾难恢复预案、业务恢复预案、紧急事件响应、第三方合作机构和供应链危机管理等等。,灾备系统建设的国际标准,典型的备份类型,备份举例说明：完全备份时每天都做全备份；而增量备份和差异备份策略是：周日做一次全备份，一周7天为1个备份周期,典型备份组网拓扑:LAN-Base,LAN-Base Network Structure,占用较大的现有网络带宽备份性能受限对主机应用有一定影响,优点,描述,缺点,充分利用已有网络，节省投资对设备的要求较低,备份数据流通过已有的LAN网络进行传输,生产存储,备份介质,应用服务器,备份服务器,介质服务器,生产中心,SAN,备份中心,数据库服务器,文件服务器,LAN,应用服务器,iDA,iDA,iDA,iDA,MA,CS,备份客户端代理,备份服务器,MA,iDA,CS,介质服务器,IP,FC,典型备份组网拓扑:LAN-Free,LAN-Free Network Structure,增加了对网络的投资对设备要求较高,优点,描述,缺点,对业务主机影响小对现有业务网络影响小备份性能好,备份数据流通过SAN网络进行传输,生产存储,备份介质,应用服务器,备份服务器,介质服务器,生产中心,SAN,备份中心,数据库服务器,文件服务器,LAN,应用服务器,iDA,iDA,iDA,iDA,MA,CS,备份客户端代理,备份服务器,MA,iDA,CS,介质服务器,IP,FC,典型备份组网拓扑:Server-Free,Server-Free Network Structure,对网络的投资较大对设备要求高,优点,描述,缺点,对业务主机几乎无影响对现有业务网络几乎无影响备份性能好，依赖于SAN网络,备份数据流直接通过介质服务器经由独立SAN网络进行传输,生产存储,备份介质,应用服务器,备份服务器,介质服务器,生产中心,SAN,备份中心,数据库服务器,文件服务器,LAN,应用服务器,iDA,iDA,iDA,iDA,MA,CS,备份客户端代理,备份服务器,MA,iDA,CS,介质服务器,IP,FC,容灾技术方案的选择,华为存储灾备解决方案,DR software,目录,存储基本解决方案介绍,存储基础知识,存储业界主要厂商介绍,存储产品系统及软件概述,业界存储厂商总体情况,市场方面，EMC长期占据30%以上的市场份额，接下来的依次是IBM,NetApp,HDS，HP各占据10%左右的市场份额（2012Q3 Gartner数据)。各个厂商基本特点：EMC通过精确收购，构建了完整的存储解决方案，其高端存储阵列品牌和市场占有率很高;IBM的存储结合其小型机，业务咨询能力，在行业垂直解决方案有充分的优势;NetApp抓住非结构化数据存储的发展机会，基于统一的Data ONTAP平台，提供了丰富的软件功能及灵活性，有很多的差异化亮点；HDS存储的最大特点是高性能、高稳定性。HP的主要特点是渠道优势、商务较好。华为在存储领域有十年投入，华赛回归华为后加大了投入力度。华为吸取了业界的经验，突出的特点是硬件平台统一，软件平台统一，便于持续发展和存储方案整合。当前华为存储的市场占有率还很低（0.83%），但增长迅速，年复合增长率为80%。,华为存储市场成就,较之2011年，2012年Gartner通用存储魔力四象限中华为取得了更好的成绩，是国产存储厂商中唯一上榜的厂商。,Source:Gartner(March 2013).,华为存储产品竞争对位图,*注：华为存储目前可以转售第三方备份软件Symantec NBU和CommVault Simpana来组成备份解决方案。,入门级存储产品比较,各厂商中端存储设备比较,各厂商高端存储设备比较,各厂商NAS设备比较,