存储产品技术基础 技术交流.ppt
存储产品技术基础,ISSUE 5.1,日期：,杭州华三通信技术有限公司 版权所有，未经授权不得使用与传播,网络存储技术,主要内容,网络存储概述IP SAN存储技术基础IP SAN基本组网介绍,引言网络存储行业应用存储体系架构网络存储技术趋势,网络存储概述,引入,“以计算为中心”向“以数据为中心”发生转变数据存储、管理方式从以服务器为中心向以网络为中心发生转变，“数据持续时间增加”积累的数据越来越多，呈现“爆炸性的增长”多样化、孤立、分散、难以管理的海量数据是“应用的巨大障碍”关键业务的数据丢失对企业带来“毁灭性打击”业务连续性、数据共享、数据备份恢复、信息生命周期管理等需求推动存储技术巨大发展,信息数据是人类“最为重要的财富”,引言,网络存储将存储设备从应用服务器中 分离出来，进行集中管理,信息数据是人类“最为重要的财富”,网络存储行业应用,数字化校园、图书馆,平安工程（监控）省会城市每月3PB,十二金工程各级数据中心,容灾系统国家标准,媒体行业（电视台节目编辑）,气象、勘探、高性能计算,IDC整合优化,中小企业,医疗PACS,网络存储行业应用,对数据安全性要求很高的企业 典型行业:电信、金融和证券 典型业务:计费 对数据存储性能要求高的企业 典型行业:电视台、交通部门和测绘部门 典型业务:音频/视频、石油测绘和地理信息系统等 在系统级方面具有很强的容量(动态)可扩展性和灵活性的企业 典型行业:各中大型企业 典型业务:ERP系统、CRM系统和决策支持系统 具有超大型海量存储特性的企业 典型行业:图书馆、博物馆、税务和石油 典型业务:资料中心和历史资料库,对具有本质上物理集中、逻辑上又彼此独立的数据管理特点的企业 典型行业:银行、证券和电信 典型业务:银行的业务集中和电信的运营支撑系统(BOSS)集中 实现对分散数据高速集中备份的企业 典型行业:各行各业 典型业务:企业各分支机构数据的集中处理 数据在线性要求高的企业 典型行业:商业网站和金融 典型业务:电子商务 实现与主机无关的容灾的企业 典型行业:大型企业 典型业务:数据中心,网络存储行业应用,DAS：Direct Attached Storage，直接连接存储（以服务器为中心）NAS：Network Attached Storage，网络附加存储（以数据为中心）SAN：Storage Area Network，存储区域网络（以网络为中心）,存储体系架构,存储体系架构-DAS,概念：通过IDE、SCSI以及光纤（FC）接口或线缆与服务器直接相连，以服务器为中心。优点：磁盘与服务器分离，便于统一管理缺点：1.每个服务器都需要独立的存储设备2.连接距离短，连接数量有限3.数据分散，共享、管理困难4.存储资源利用率低，单位成本高5.扩展性差,新增服务器需单独配置存储设备,Direct Attached Storage（DAS）,（以服务器为中心）,存储体系架构-NAS,Network Attached Storage（NAS）,概念：使用一个专用存储服务器与网络直接相连，通过NFS或CIFS对外提供文件级访问服务。优点：1.基于NFS、CIFS文件级共享存取，支持HTTP和FTP2.存储设备功能上独立于网络中的主服务器，不占用服务器资源3.扩展较容易，广泛支持操作系统及应用，安装简单方便4.即插即用 缺点：1.相比SAN架构，存取速度慢2.访问需要经过文件系统格式转换，不适合Block级应用3.数据备份及恢复占用网络带宽,（以数据为中心）,存储体系架构-SAN,Storage Area Network（SAN）,（以网络为中心）,概念：将存储系统、服务器和客户端都通过网络相互连接的架构。优点：1.设备整合，多台服务器可以通过存储网络同时访问后端存储系统2.数据集中，易管理 3.高扩展性，存储硬件功能的发挥不受LAN的影响 4.高可用性，复制、备份、恢复数据和安全的管理，容错能力强5.适用于存储量大的Block级应用缺点：1.系统的安装和升级方面效率不高2.相比NAS成本较高,存储体系架构-SAN,FC SAN,IP SAN,FC SAN,光纤网络和光纤协议,FC Switch,SAN-提高企业信息的可用性,存储区域网络(SAN),直接连接存储(DAS),NT,UNIX,NT,“让我们的存储设备发挥更大作用”,需超过50%的备用空间存储容量不易扩展管理成本5至6倍于购买成本,仅需20%的备用空间，有效减少备用空间可立即按需提供存储容量整和UNIX与NT存储增长需求,SAN-提高企业信息的可用性,存储区域网络(SAN),直接连接存储(DAS),信息的可用能力保障业务的正常运行,NT,UNIX,LAN,LAN,NT,UNIX,备份服务器,备份服务器,备份传输堵塞企业局域网备份/恢复时间冗长在备份/恢复期间，服务需要中断,与基于网络或直接连接式的备份，SAN可令备份操作更快完成企业应用程序可更快速恢复服务缩短意外服务中断时间，尽快恢复遗失或损坏的数据提高企业生产力,SAN-提高对应用系统的保护,存储区域网络(SAN),直接连接存储(DAS),降低高可用关键业务应用的构建成本,P,P,P,S,三台重要应用软件服务器需要三台备用服务器1:1故障切换，成本高昂,基于SAN群集提供高可用解决方案，明显降低成本一台备用服务器可支持多台工作服务器N:1切换减少维护开支,存储体系架构的发展,Direct-AttachedStorage(DAS),Network-AttachedStorage(NAS),Intelligent IP Storage,FC Storage AreaNetwork(SAN),存储体系架构的融合,应 用,存储体系架构的融合,NAS和SAN资源共用同一存储池,通过IP SAN供给SAN资源，通过CIFS和NFS共享NAS资源最大限度利用存储资源，在同一存储池中同时分配SAN 和 NAS 资源为SAN和NAS同时提供存储服务 镜像、快照、复制、时间标记及动态容量申请等存储功能统一的硬件和软件的管理,SAN网络,SAN和NAS的统一,SAN 和 NAS的融合解决方案,存储体系架构的融合,Data Center,IP SAN,IP SAN 和 FC SAN 融合解决方案,FC SAN,IP SANExtension,网络存储技术趋势,第一代 DAS连接方式：服务器直连,第二代 FC SAN连接方式：FC网络,第三代 IP SAN连接方式：IP网络,经历FC的痛苦，业界再次选择了IP！,1986SCSI协议,1997FC协议,2003iSCSI协议,标准化是存储发展的方向！,网络存储技术趋势,SAN和NAS的比较,体系架构发展主线：DAS-SAN(各厂家兼容性差)-OpenSAN(各厂家互为兼容)-SoIP(iSCSI/FCIP/IFCP/IP/Ethernet)我司目前专攻IP SAN 解决方案,存储管理的自动化与智能化提高存储效率减少总体拥有成本(TCO)，增加投资回报(ROI),网络存储技术趋势,IP SAN标准、技术的支持SCSI技术iSCSI技术RAID技术,IP SAN存储技术及协议标准,存储网络的体系结构,存储网关设备需要支持物理层是光纤通道物理接口及以太网的技术体系。,IP SAN标准、技术的支持（一）,IP存储技术包含：iSCSI、FCIP、iFCP等，光纤通道技术包含FC-PH、FCP、FC-SW、FC-FS、FC-FG等。FCIP（Fibre Channel over IP）：是IETF与ANSI共同提出的基于IP的光纤通道方案，采用这种模式，光纤通道数据帧被压缩为IP帧传输,在两个SAN之间通过IP网络建立点到点的隧道，构成一个统一的SAN环境。,FCIP 帧封装,SOF（帧起始定界符）、EOF（帧终止符）,IP SAN标准、技术的支持（二）,iFCP 帧封装,iFCP：在FC与IP之间建立网关到网关的连接，使FC帧可以路由到正确的目的地址，为TCP/IP网络上的FC端设备提供FC网络服务，也就是可以实现端到端的IP连接。它可以允许每一个互联的SAN都拥有自己独立的命名空间。实现起来也比FCIP复杂。,IP SAN标准、技术的支持（三）,iSCSI（Internet Small Computer Systems Interface）：一种纯粹意义上的IP存储网络技术，它不包含任何FC的内容，IETF提出的基于IP协议的技术标准，SCSI 命令和数据帧压缩为IP帧传输，实现了SCSI和TCP/IP协议的连接（SCSI在TCP/IP上的传输）。,iSCSI 帧封装,IP SAN标准、技术的支持（四）,三种IP网络存储技术对比表：,SCSI概述,SCSI：SmallComputerSystemInterface 小型计算机系统接口SCSI是客户端-服务器架构在SCSI术语里，客户端叫initiator，服务器叫targetInitiator通过SCSI通道向target发送请求，target通过SCSI通道向initiator发送响应SCSI通道连接的是SCSI Port，SCSI initiator port和SCSI target portInitiator至少必须包括一个SCSI Port，和一个能发起请求的客户端Target也需要包括一个SCSI Port，以及任务分发器和逻辑单元，,SCSI通信,Initiator用一种叫做CDB 的数据结构封装请求(Command Descriptor Blocks)Initiator的应用层封装好SCSI CDB后，调用SCSI传输协议接口Target的应用层收到SCSI CDB后，根据CDB内容进行相应处理，封装好SCSI 响应后，调用SCSI传输协议接口iSCSI正是SCSI传输协议的一种,iSCSI概述,由IBM，CISIO，HP发起；2000-2为IETF草案，2004-4作为正式的IETF标准现在的iSCSI协议对应SAM2，而最新的SAM是SAM4，SAM5主要由RFC3720描述涉及的RFC还有：3721（iSNS），3722（命令规范），3723（安全），3347（设计），3783（IP上的有序命令传送），3385（错误估计）用TCP/IP作为SAN的基础设施iSCSI构建在TCP之上，不是IP；是面向连接的，不是无连接的。（一个iSCSI命令可能分在几个IP报文中）iSCSI命名规范iSCSI的主要功能是在TCP/IP上封装，并可靠的传输SCSI命令及数据,iSCSI协议栈,InitiatorSCSI层负责生成CDB，将CDB传给iSCSIiSCSI层负责生成iSCSI PDU（含CDB），并通过IP网络将PDU发给target。注意，iSCSI层并不知道CDB的内容，只是简单的将整个CDB封装在PDU中。TargetiSCSI层收到PDU，将CDB传给SCSI层SCSI层负责解释CDB的意义。必要时发送响应。,iSCSI报文封装,iSCSI报文格式,iSCSI会话,两种会话类型（一）Dicovery session用于发现target，只支持三种iSCSI报文Login Req/RspTextReq(Send Target)/RspLogout Req/Rsp建立TCP连接报文1，2，3；三路握手拆除TCP连接报文12，13，14，15；四次握手,iSCSI会话,两种会话类型（二）Normal session登录阶段初始化登录阶段安全认证阶段操作协商阶段完整功能阶段退出阶段,IP SAN基本组网介绍,iSCSI产品的两种主要形式：Native iSCSI DeviceiSCSI Gateway,IP Network,存储回放流,控制流,存储流,回放流,iSCSI存储流,iSCSI检索/回放流,RTSP URL查询/返回结果,RTSP URL查询/返回结果,RTSP请求/回复,TS回放流,按计划录像存储流程,VM,EC,DM,存储计划制定,资源分配请求,资源分配请求,资源分配响应,资源分配响应,SNMP Set存储资源和存储计划,iSCSI存储流,IP SAN,
