媒体存储技术网络存储技术现状和发展课件.pptx

网络存储技术现状与发展,数字媒体存储技术,手机：Email:,媒体存储技术网络存储技术现状和发展,网络存储技术现状与发展数字媒体存储技术媒体存储技术网络存,资源和课件下载,1.电子书 2013年硕士研究生.rar 提取码：Iimzvr3E2.课件网络存储技术现状与发展.pptx 提取码：u34R9dkI,媒体存储技术网络存储技术现状和发展,资源和课件下载1.电子书媒体存储技术网络存储技术现状和发展,内 容,网络存储的新技术方法,02,云存储服务,03,网络存储的发展方向,04,媒体存储技术网络存储技术现状和发展,内 容 网络存储的新技术方法02 云存储服务03网络存储的,存储面临的问题?,业务需求更多的数据!,烦恼的IT 经理人,数据量总在不断的增长,CEO/CFO“减少费用!,企业面临的挑战,存储面临的问题?业务需求烦恼的IT 经理人 数据量总在不断,数字宇宙,2010年全球信息突破了ZB大关。每两年翻一番。2011年世界将创建一个惊人的1.8 zettabytes。信息量继续以惊人的速度增长。这样的增长和“大数据”正在改变企业和社会的各个方面。,到2020年，数字宇宙将会膨胀到40000EB，或40万亿GB(也就是说每个人可以均摊到5200GB以上)。到2020年，数字宇宙中约三分之一的数据(超过13000EB)将具有大数据价值，但只有当其被标签、被分析时这种价值才会显现。,2010年报告,2012年报告,数字宇宙2010年全球信息突破了ZB大关。到2020年，数字,网络存储的发展,1986SCSI协议,1997FC协议,Direct-AttachedStorage (DAS),Network-AttachedStorage (NAS),IP Storage(IP SAN),FC Storage AreaNetwork (SAN),2003iSCSI协议,1989NFS协议,网络存储的发展1986SCSI协议1997FC协议Dir,光纤通道的优势,网络,通道/总线,扩展有限距离短管理有限,脆弱非块数据传输错误检测能力差,光纤通道的优势网络通道/总线扩展有限脆弱光纤通道高速度路由兼,网络存储的优势,存储大整合SAN ROI,主机大整合VIRTUALIZATION ROI,Cost per megabyte of user data, based on a 3-Year total cost of ownership,“Virtualization will save us $60M in OpEx and CapEx through 2010.”A large VMware enterprise customer,$ cost per megabyte of user data,90% run in production,43% are standardizing on VMware,66% are using VM management products,$0.84,$0.38,网络存储的优势存储大整合主机大整合Direct Attach,Channels,IP,File,Block,NASDistanceSharing,FC SANPerformance Control,MPFSPerformanceSharing,IP SANDistanceControl,MPFS = Multi-path,网络存储架构,Channels IPFileBlockNASFC,SAN的优劣势,SAN的优点 ,能接受任何数据容量(大型，中型，小型)IO带宽的不断提升(1G, 2G, 4G, 8G)稳定的存储解决方案广泛的应用,SAN的困扰 ,固态容量增大, 性能没有提升 (垂直扩展模式,有限扩展能力)带宽增加, 但IOPS没有相对的增加 (固态性能表现)容错和负载均要通过复杂管理一切仍然以硬性磁盘结构为中心 (主机绝对控制权, 存储为随从, 静态配置),10,典型的刚性系统当今SAN 技术,SAN的优劣势SAN的优点 能接受任何数据容量(大型，中,存储体系架构的融合,应 用,1.DAS直连2.SAN直连3.NAS头4.NAS服务器,01,存储体系架构的融合应 用文件/纪录数据块主机,存储体系架构的融合,NAS和SAN资源共用同一存储池,通过IP SAN供给SAN资源，通过CIFS和NFS共享NAS资源最大限度利用存储资源，在同一存储池中同时分配SAN 和 NAS 资源为SAN和NAS同时提供存储服务 镜像、快照、复制、时间标记及动态容量申请等存储功能统一的硬件和软件的管理,SAN网络,统一存储系统：SAN和NAS的融合,SAN 和 NAS的融合解决方案,存储体系架构的融合应用主机通过IP SAN访问存储资源应用主,存储体系架构的融合,Data Center,IP SAN,IP SAN 和 FC SAN 融合解决方案,FC SAN,IP SANExtension,存储体系架构的融合Data Center EthernetI,基础通用网络的发展,14,IBM Token RingInitially (1985) ran at 4 Mbit/s, in 1989 introduced 16 Mbit/s,FDDIThe primary ring offers up to 100 Mbit/s capacity,Ethernet,10 Mbits/s,100 Mbits/s,TCP/IP,Novells IPX/SPX,OSI,DHCP, HTTP, VPN, IPSec, IPv6,1,000 Mbits/s,02,基础通用网络的发展14IBM Token RingFDDIE,应用网络的发展,存储应用网络,基础通用网络,服务器联系网络,光纤通道 (1G, 2G, 4G, 8G),InfiniBand,Ethernet1G, 10G 未来的100G,FCoE,2010,Unified Fabric,以Ethernet为统一网络目标,应用网络的发展存储应用网络基础通用网络服务器联系网络光,网络存储的发展,T11的FCOE标准,FC与以太网 “混血”的FCoE 是答案吗?仍然依赖于FC协议构思(静态路径)仍然依赖于固定配置仍然是主从式结构技术,网络存储的发展T11的FCOE标准FC与以太网 “混血”的F,SCSI的架构,Initiator的应用层封装好SCSI CDB后，调用SCSI传输协议接口Target的应用层收到SCSI CDB后，根据CDB内容进行相应处理，封装好SCSI 响应后，调用SCSI传输协议接口,iSCSI正是SCSI传输协议的一种,主从式架构,SCSI的架构Initiator的应用层封装好SCSI CD,MPX网络存储平台,MPX网络存储平台,MPX作为视频存储,MPX可以打造功能强大的视频存储系列产品MPX视频优化视频存储MPX+视频管理软件(搜索)=存储设备视频服务器MPX+DVR=NVRMPX集群（SCALE OUT方式）=安防大数据综合处理平台MPX+视频分析处理安防大数据一体机,MPX作为视频存储MPX可以打造功能强大的视频存储系列产品,内 容,云存储服务,03,网络存储的技术现状,01,网络存储的发展方向,04,内 容 网络存储的新技术方法02 云存储服务03网络存储的,存储的价值观,贯彻到底的方便性和在线性高ROI/TCO业务持续性数据保护平台,超强的数据保护能力而不影响性能,容量,高性能,高带宽,1,2,容量虚拟化,（动态自动追加, 全掌控空间分配）,云存储,（动态横向扩展, , 多变一基制）,（存储大整合, 一变多基制）,（静态, 限制型追加/缩减空间分配）,3,4,存储的价值观贯彻到底的方便性和在线性超强的数据保护能力而不影,网络存储的新方法,网络存储的新方法技术层技术要求技术方法数据层从静态的以设备,存储虚拟化,存储虚拟化研究内容带外的体系结构存储虚拟化策略定制屏蔽存储设,自动精简配置,媒体存储技术网络存储技术现状和发展,自动精简配置系统架构研究研究内容媒体存储技术网络存储技术现状,动态分级存储,媒体存储技术网络存储技术现状和发展,动态分级存储研究内容分级存储技术数据迁移技术数据管理策略技术,重复数据删除,媒体存储技术网络存储技术现状和发展,重复数据删除研究内容相同数据检测算法相似数据检测算法删除技术,低能耗存储设备研制,2011年国家支撑计划项目（编号：2011BAH04B05）通过对数据存储和管理技术的研究，降低存储系统的能耗成本和运营成本。相关的技术包括SSD与传统存储混合使用，动态电源管理技术，智能数据管理技术等，通过在本课题研制的产品中应用这些技术，达到比传统存储系统节能30%的效果。 研究SSD固态硬盘与传统存储设备结合技术（自动数据迁移）研究智能数据管理技术和各种提供存储利用率的技术（重复数据删除、存储虚拟化、自动精简配置）,存储虚拟化、自动精简配置、自动数据迁移、重复数据删除是云存储的技术基础。IBM Smart Storage Cloud,低能耗存储设备研制2011年国家支撑计划项目（编号：2011,内 容,网络存储的新技术方法,02,网络存储的发展方向,04,媒体存储技术网络存储技术现状和发展,内 容 云存储服务03 网络存储的新技术方法02网络存储的,从传统存储到云存储,技术革新不断降低存储成本，最新的“云存储”更是如此传统存储方案使用昂贵的专业设备搭建基于光纤的存储网络基于IP的存储网络，通过以太网互联，既改善兼容性又降低初始成本，主导此技术的几家创新公司已成功上市最新的云储存技术使用普通服务器即可构建直连式存储，初始和运营存储成本都大大降低了,传统“巨头”专业存储方案价格昂贵，光纤解决方案为主（FC-SAN）,专业存储方案基于IP的解决方案（IP-SAN，NAS),“新”公司使用普通服务器用”云“达到NAS的效果,存储成本由高到低,媒体存储技术网络存储技术现状和发展,从传统存储到云存储技术革新不断降低存储成本，最新的“云存储”,三层结构和三种服务,数据库引擎,开发平台,在线应用,计算资源,存储资源,标准化Web服务,Web浏览器,SaaS,PaaS,IaaS / HaaS,后台系统（黑盒）,基础硬件设备,媒体存储技术网络存储技术现状和发展,三层结构和三种服务数据库引擎开发平台在线应用计算资源存储资源,云存储的层次结构,服务器、存储设备、网络设备,集群容错、负载均衡,认证、计费、租约、管理,存储空间等资源服务或虚拟主机服务,云数据库、超大表等引擎平台,API及在线订制开发工具,在线应用,Web浏览器,媒体存储技术网络存储技术现状和发展,云存储的层次结构服务器、存储设备、网络设备集群容错、负载均衡,云存储的基本单元,采用通用硬件,Typically in 2 level architecture Nodes are commodity PCs 30-40 nodes/rack Uplink from rack is 3-4 gigabit Rack-internal is 1 gigabit,媒体存储技术网络存储技术现状和发展,云存储的基本单元采用通用硬件Typically in 2 l,多层次动态结构,Windows,Linux,AIX,BSD,XEN,UnixWare,Solaris,HP-UX,VMware,Novell,各类系统平台,各类互联接口,处理能力扩展,存储容量扩展,多种介质整合,媒体存储技术网络存储技术现状和发展,多层次动态结构WindowsLinuxAIXBSDXENUn,云存储的特性优势,媒体存储技术网络存储技术现状和发展,云存储的特性优势极强扩展能力最大节点数百万级最大系统容量ZB,云存储服务,云存储的核心特征,通过网络获得：云特征的模式易获得：随时随地随方式永不丢失：一辈的资产,集体共享和下载影视作品 免费软件学习资料 歌曲 ,云存储服务个人资料的网络备份异地异时分享,网络存储服务,FTP,媒体存储技术网络存储技术现状和发展,云存储服务云存储的核心特征通过网络获得：云特征的模式集体共享,云存储服务平台,云存储的核心特征,通过网络获得：云特征的模式易获得：随时随地随方式永不丢失：一辈的资产安全：隐私保护,集体共享和下载影视作品 免费软件学习资料 歌曲 ,现有云存储个人资料的网络备份异地异时分享,现有网络存储服务,FTP,我们的云存储系统,媒体存储技术网络存储技术现状和发展,云存储服务平台云存储的核心特征通过网络获得：云特征的模式集体,云存储服务平台,实现文件数据的复制备份、在线存储和共享，提供本地和互联网的统一文件管理视图,为全部用户提供共享存储服务,为团队用户提供共享存储服务,为个人用户提供共享存储服务,统一视图,本地资源与互联网资源统一文件管理，多机、多设备文件同步复制,数据传输,多文件传输、大文件传输（断点续传）、分片加密传输,资源发布,资源发布、标签添加、图片预览、对整个在线存储空间的文件搜索,媒体存储技术网络存储技术现状和发展,云存储服务平台实现文件数据的复制备份、在线存储和共享，提供本,云存储服务平台,产品定位：企业私有云存储系统（如跨国公司和总部、分公司多地办公的情况）,媒体存储技术网络存储技术现状和发展,云存储服务平台产品定位：企业私有云存储系统媒体存储技术网络存,网络存储架构,NEW,块,文件,块,对象,IP,记录,FC、IB,多路径自动精简配置重复数据删除存储虚拟化自动数据迁移,数据库,OSD,SAN,NAS,网络类型,访问方式,云存储,融合网络,媒体存储技术网络存储技术现状和发展,网络存储架构NEW块文件块对象IP记录FC、IB多路径数据库,内 容,网络存储的新技术方法,02,媒体存储技术网络存储技术现状和发展,内 容 云存储服务03 网络存储的新技术方法02网络存储的,网络存储新的理论工具,大规模网络存储新的理论工具 网络存储实际是：存储（时）网络（空） 用时空二维理论将会获得新的结果 例1：数据迁移，存储纠错一遍，传输又来一遍，时空统一考虑，就可能只来一遍 例2：连续数据保护，恢复时空点,通讯：信息跨越空间的传递存储：信息跨越时间的传递,媒体存储技术网络存储技术现状和发展,网络存储新的理论工具大规模网络存储新的理论工具通讯：信息跨越,“数字宇宙”研究,“数字宇宙”研究,到2020年，数字宇宙将会膨胀到40万亿GB(人均5200GB)。数字宇宙中约三分之一的数据将具有大数据价值，但只有当其被标签、被分析时这种价值才会显现。,重要结论：1)信息量以惊人的速度增长和大数据对社会产生巨大影响 2)大数据价值只有当其被分析时才会显现,数字宇宙，IDC、 EMC 2012年12月,媒体存储技术网络存储技术现状和发展,“数字宇宙”研究“数字宇宙”研究到2020年，数字宇宙将会膨,大数据的产生,如果互联网仅有通讯，产生不了大数据（一过性的信息，产生后消逝了）；如果仅有存储，没有互联网，信息孤岛也产生不了大数据。大量的人，大量的信息终端，大量的摄像头，条形码，RFID, 产生大量的数据，经过互联网传输，然后保存下去，就形成大数据。,媒体存储技术网络存储技术现状和发展,大数据的产生媒体存储技术网络存储技术现状和发展,大数据的价值时空痕迹,大数据是巨量信息源时空传递的结果时空痕迹：以武汉破获银行爆炸案为例 典型的大数据（25万摄像头，12PB容量），罪犯留下了时空痕迹 在信息充分发达时代，商业活动、日常生活、几乎一切事件都会在大数据中留下时空痕迹，对这些时空痕迹的发掘，就会形成宝贵的财富（某孕妇的例子）,媒体存储技术网络存储技术现状和发展,大数据的价值时空痕迹大数据是巨量信息源时空传递的结果媒体存,存储科学的研究新方向,（一）大数据的信息挖掘与分析如何从海量的视频提取有价值的信息将是重要课题之一 “平安城市”应用是视频监控领域规模最大、业务最复杂的系统，其视频接入规模从几千甚至到几十万都有，它涉及到了治安监控、指挥通信、侦查破案、规范执法、社会服务等多个分区领域；“平安城市”视频监控采集到的海量数据只有进行了智能、高效处理才更具价值。（二）超长期存储信息的超长期保存（50年以上甚至1000年）有真实的需求不仅有载体问题，还有语义问题中华文化是少有的延续文化，2000年前的字现在还认识，原因是语义保持下来；埃及人不认识古埃及字，伊拉克人不认识古巴比伦的楔形文字，语义丢失，载体还在，信息却丢失了。,媒体存储技术网络存储技术现状和发展,存储科学的研究新方向（一）大数据的信息挖掘与分析媒体存储技术,存储理论突破香农框架,Weaver的通信的三个水平：语法、语义、语用 香农的理论只管信息的语法结构（只管信息的形式，不管信息的意义），只管高效可靠的将信息形式传递到接受端 *事物与表征的映射关系就是语义 利用语义就可以进一步提高信息传输的效率和可靠性： 例1、将汉字每隔一个字抽取擦除，根据上下文的意义，可以恢复数据 例2、一个眼神传递大量信息（一对多的映射） *信息对系统产生的作用，就是语用 一条微博，一小时产生了10万条转发，这个现象新浪可以自动检测，这是语用信息，有很广的应用：如舆情控制,媒体存储技术网络存储技术现状和发展,存储理论突破香农框架 Weaver的通信的三个水平：语法、语,数据恒久存储原理及其关键技术,在人类产生的数据中，有大量数据需要保存数十年，还有很多数据需要永续保存；随着大数据技术的兴起，数据的超长期和持久保存具有更重要的价值。但现有的数据存储方式没有考虑持久保存的问题，无法确保在长时间之后数据能够被存取和正确的理解。 数据的超长期保存需要解决两方面的科学问题：第一，研究适于超长期保存数据的物理介质。第二，要研究数据及其运行环境的演化规律和信息理论层次的问题，保证数据能够被不断更新的信息系统所理解。,2014年基础研究重大战略需求方向建议,媒体存储技术网络存储技术现状和发展,数据恒久存储原理及其关键技术 在人类产生的数据中，有大,