网络存储与云计算.ppt

存储服务、网络应用引擎与云计算-移动信息化的核心平台,付长冬博士北京邮电大学,8.3-网络存储与云计算,1,目 录,下一代互联网业务平台互联网存储服务存储系统体系结构FC-SAN虚拟化技术互联网网络磁盘网络应用EngineFacebookGoogleWebOS云计算云计算-新的计算模式云计算-新的运营模式运营商的云计算,8.3-网络存储与云计算,2,一、下一代互联网业务平台,互联网存储服务,网络应用Engine（WebOS）,SaaS软件模式-软件业务,Open API,Mashup技术,云计算平台,网络存储是基础，网络应用Engine是关键，云计算是最终目标,平台描述：,8.3-网络存储与云计算,3,一、下一代互联网业务平台,互联网时代微软掌控着个人电脑的软件系统和互联网浏览器雅虎把持着互联网的门户互联网业最具战略意义的制高点搜索和基于搜索的在线广告，牢牢地被谷歌盘踞着Facebook和Myspace掌握着下一个互联网业务：网络社区。互联网2.0时代互联网存储服务、网络应用Engine、云计算-将来谁是寡头？微软的云端计算 Vs Google的云计算互联网新的计算模式一切放到网络上，终端零计算模式。,8.3-网络存储与云计算,4,二、互联网存储服务,存储系统体系结构：（1）IDE/SCSI磁盘/RAID系统（2）DAS（SCSI并行串性等总线）（3）NAS（4）SAN（5）基于Infiniband I/O的存储系统（DAS和SAN混合体）,8.3-网络存储与云计算,5,二、互联网存储服务,NAS：（1）基于NFS/CIFS的NAS系统（2）基于DAFS的NAS系统。特点：文件级、速度较慢、网络共享、高可扩展性。SAN（1）FC-SAN（2）IP-SAN 特点：I/O级、速度快、网络共享、高可扩展性、高虚拟化。,8.3-网络存储与云计算,6,二、互联网存储服务,体系结构图,磁盘,DAS,网络存储,NAS,SAN,高级I/O总线,SAS,SATA,Infiniband,IP-SAN,FC-SAN,8.3-网络存储与云计算,7,二、互联网存储服务,8.3-网络存储与云计算,8,二、互联网存储服务,FC-SAN I/O路径,应用系统,文件系统,SCSI启动器驱动程序,FCP驱动程序,FC HBA,目标器模式SCSI中间层,FCP驱动程序,FC HBA,SCSI 子系统,RAID子系统,8.3-网络存储与云计算,9,二、互联网存储服务,存储虚拟化和SAN共享机制是SAN存储系统最基本、必要的I/O机制。虚拟化位置（1）主机客户端（最主要的方法）（2）交换机（容错、旁路等）（3）存储设备（存储集群方法）虚拟化FOCUS：（1）客户端设备虚拟化：软件RAID、LVM。（2）客户端设备集群：CLVM。（3）全球存储系统虚拟化：OceanStore/CFS（4）存储集群：Cluster,8.3-网络存储与云计算,10,二、互联网存储服务,CLVM方法：,应用系统,文件系统,全局LVM管理器,LOCK管理器,全局缓冲区,POOL管理器,DISK子系统,DISK子系统,8.3-网络存储与云计算,11,二、互联网存储服务,共享SAN文件系统（1）对称的方法，GFS/Vaxcluser.（2）非对称的方法，CXFS/IBM TANK基于对称共享方法的SAN文件系统，所有的用户共享数据和元数据，同步工作由多个用户通过全局锁机制实现。基于非对称方法的SAN文件系统，元数据由一个或几个集中的服务器进行管理，用户仅仅共享数据，数据的存取通过SAN网络，而元数据的存取通过专用的数据网络，该方法存在服务器单点故障以及性能瓶颈等问题。关键:锁机制。,8.3-网络存储与云计算,12,二、互联网存储服务,GFS结构,应用系统,VFS,GLOCK层软件 GFS文件系统,DLOCK,POOL驱动,CALLBACK(到其他USER端),DISK子系统,DISK子系统,8.3-网络存储与云计算,13,二、互联网存储服务,目前的互联网存储服务：微软公司的Live Drive Google的GDriver FreeDriver 亚马逊的S3存储服务 Apple公司的.Mac存储服务,8.3-网络存储与云计算,14,二、互联网存储服务,网络存储服务Windows Live SkyDrive面向所有用户 500MB网络存储空间几乎适用于微软所有服务，其中包括网络相册和电子邮件服务。用户界面整合到Windows之中，用户可以将文件直接拖放到存储空间，还可以浏览其它用户的公共目录。竞争因素微软的优势：PC桌面及众多用户微软的不足：互联网,Live SkyDrive就像是用户放在互联网上的个人硬盘,8.3-网络存储与云计算,15,二、互联网存储服务,Google计正在推出一项网络存储服务GDriver，为用户提供一种存储数据的新方式。互联网上的网络硬盘基于GDriver，允许用户将自己硬盘中的所有文件，例如文档、数字音乐、视频片段和图片，存储到该公司服务器上。当用户登录这项服务之后，就可以在不同计算机和移动设备上通过互联网访问自己的文件，或者与好友共享。谷歌宣布开放其内部数据库系统BigTable，并以网络服务形式供外部软件开发人员使用。BigTable是谷歌内部使用的大型数据库系统，为其60多种产品和项目提供后台支持。BigTable基于谷歌文件系统(GFS，Google File System)创建，用于发布和存储高容量数据。目前，BigTable为谷歌旗下的搜索、地图、财经、打印、以及社交网站Orkut、视频共享网站YouTube和博客网站Blogger等业务提供技术支持。,8.3-网络存储与云计算,16,二、互联网存储服务,互联网,IP-FC网关,FC-SAN,IP网络,ISCSI协议,FCP协议,互联网上的网络磁盘的最简单架构,客户端,8.3-网络存储与云计算,17,二、互联网存储服务,互联网,数据库服务器,FC-SAN,IP网络,ODBC/ISCSI协议,FCP协议,Bigtable网络数据库的示例,服务器/客户端,8.3-网络存储与云计算,18,三、网络应用Engine,网络应用Engine Google Facebook Myspace Yahoo S公司网络应用引擎核心技术 WebOS Open API Ajax Mashup Widgets,网络应用引擎，大开企业应用程序之门-企业信息化,8.3-网络存储与云计算,19,三、网络应用Engine,网络应用引擎的核心：,Web OS（网络应用引擎）,Open API,互联网应用,浏览器,移动终端、PC等 互联网设备,它要做基于web的OS，在它的开放发台上可以搭建集成任何应用。,8.3-网络存储与云计算,20,三、网络应用Engine,内容提供商,网络应用引擎,应用提供商,个人,网络应用引擎的商业模式：广告+分成,广告商,广告代理商,家庭,企业,软件开发者,浏览器,Open APIWebOS,Widget,8.3-网络存储与云计算,21,三、网络应用Engine,网络应用Engine的商业模式很简单，我出用户，你出内容。一起给用户服务。我不动你的内容，你别想动我的用户。有钱大家一起赚。网络应用Engine作为平台，就像赌场里坐庄的一样。是有先天优势的。而这个先天优势，当然也是基于它前期的庞大用户基础，以及用户已经对这个平台有足够的粘性而建立起来的。网络应用Engine的这个模式，一眼都看的出来，作为平台的 网络应用Engine牢牢的占据了产业的上游。而内容服务商/软件提供商，是处于产业的中下游，在各种方面，都受制于网络应用引擎厂商，如Facebook。就像中国移动一跺脚，SP就死一片一样。哪天Facebook打个喷嚏，这些 Facebook 的内容提供商/软件提供商也都得感冒不可。问题：谁想做平台？谁能做平台？谁想做内容？谁能做内容？-谁都想做网络应用引擎。,8.3-网络存储与云计算,22,三、网络应用Engine,Facebook开发平台2007年5月24日，Facebook推出应用编程接口（API）。通过这个API，第三方软件开发者可以开发在Facebook网站运行的应用程序。这被称为Facebook开放平台（Facebook Platform）。为什么开放API，“We want to make Facebook into something of an operating system so you can run full applications,”it would be analogous to the platform that Microsoft Windows provides for developers-Facebook创始人的想法 浏览器+Facebook，会成为以后人们的生活方式吗？,8.3-网络存储与云计算,23,三、网络应用Engine,平台开发环境 LAMP=Linux+Apache+Mysql+PHP 稳定而且实用-没有采用Java、ROR等更流行的技术应用集成方式基于web services和SOA的应用程序交互；平台运行在内部服务器上，而各种应用运行在外部服务器上-这正是Facebook的方式；平台和应用都运行在内部服务器上。Facebook的解决方法Web Service和SOA 提供基于REST的Web Service，Web服务层面的集成不能满足Facebook作为web OS的需要，Facebook需要让Application运行在它提供的平台上Facebook提供了完整的搜索、浏览、添加application的方式。Facebook提供了运行应用的简单入口。,8.3-网络存储与云计算,24,三、网络应用Engine,Facebook应用 外部应用：就是基于web services的集成，外部应用在经过Facebook的认证后可以调用Facebook提供的一些web services。Iframe：只是在Facebook平台的应用页面上放了个iframe，iframe里跑的是应用程序的应用。fbml，在fbml应用中，facebook平台主要起着中间人的作用。Facebook APIRESTful web services 有的API调用都是无状态的 认证、用户、相册、好友等多种功能 fql和fbmlFql就是facebook版的sql Fbml是facebook提供的一堆tag，它只能在fbml的应用程序中使用,8.3-网络存储与云计算,25,三、网络应用Engine,Google的Apps Engine,Google 解决方案市集,Widgets,Apps API,Library,Google Docs,Google Maps,Google Lang,Ajax+Mashup,Case：企业可以把订单管理系统以及客户资料库里的信息给混搭(mash up)起来，然后再用Google表格呈现出来，让顾客上网查阅。,8.3-网络存储与云计算,26,三、网络应用Engine,Google API介绍目前Google所提供的网络服务API，依其功能型态及使用时机大致上分成三大类：强化网站功能(Enhance Your Web Site)若您已经有自己的网站或部落格，可以透过这类功能来强化您网站的机制，以及提供完整的网站分析管理功能，让经营您的网站更省事，更简单。一般使用者功能(Reach Google Users)主要针对Google所提供的Client软件，适用于一般使用者，提供可以安装在个人计算机桌面中的小工具(Gadget)。这些以XML为主要撰写语言，让您的日常工作可以透过桌面与Google之间的密切结合更有效率。提供整合界面(Integrate with Google)这是针对进阶使用者，尤其是具有程序撰写能力的开发人员所提供的程序界面，您可以依您所擅长的程序语言(Java,Perl,Python,PHP,Ruby及.NET等)，透过标准的传输协议及开放标准来进行实作。,8.3-网络存储与云计算,27,三、网络应用Engine,Google API介绍Google AJAX Search APISearch APIAjaxGoogle Web API目前的Google Web API是透过Web Services的架构，所以只要依照WSDL描述档的定义，以SOAP的方式呼叫取得搜寻结果即可，所以只要程序语言本身可以撰写出SOAP Client就可以使用。Google Web Toolkit可以将GWT视为Java软 体框架，GWT具备了动态可重用的特性，开发者只需要引用GWT提供的链接库即可设出美美的AJAX UI画面 Google Web APIGoogle Toolbar APIGoogle Desktop SDK其他API参见后面的介绍,8.3-网络存储与云计算,28,三、网络应用Engine,8.3-网络存储与云计算,29,三、网络应用Engine,8.3-网络存储与云计算,30,三、网络应用Engine-WebOS,OS的功能调度IPC文件系统内存管理API网络应用引擎：WebOS存储（文件系统）Open API应用间调用Web Service,网络应用引擎可以看作是一个Webos。,8.3-网络存储与云计算,31,四、云计算,云计算的概念其实相当简单：即通过互联网提供软件与服务，并由网络浏览器界面来实现。用户加入云计算不需要安装服务器或任何客户端软件，可在任何时间、任何地点、任何设备(前提是接入互联网)上随时随意访问，业界称这种服务模式为“软件即服务(SaaS)”，而对大多数用户来说，它不过就是一个网络。云计算（Cloud computing）是一种基于互联网的超级计算模式，其原理非常类似于网格计算。它是把存储在大量分布式计算机产品中的大量数据和处理器资源整合在一起协同工作，作为一种新兴的共享基础架构的方法，可以将巨大的系统池连接在一起以提供各种IT服务。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。云计算的基础：SaaS模式、存储服务、网络平台、网络浏览器等。,8.3-网络存储与云计算,32,四、云计算,云计算有四个特点：第一，数据飞到云上去，不存在个人电脑里而是存到某一个服务器了，云的意思就是非指定服务器自来水时代的自来水；第二是指应用会飞到云上去，就是不需要一堆应用软件，打开浏览器就能上去；第三是说无论任何设备都能连到云端，不论PC还是手机电视都可以；第四是数据飞到云端就没限制了，容量无限大、计算更快。,8.3-网络存储与云计算,33,四、云计算-新型的运算模式,新型的运算模式-终端零计算模式云计算年代-所有的终端接入到云中，所有的数据存储到云中，基础的应用在云中计算。因此，运算已经不需要只局限于在终端里，预算可以放在网络里，只需要结果返回终端。终端和云 VS 终端和大型机云是网络计算。终端的零运算，新型的运算模式。移动互联网的零运算。零运算是最适合于移动互联网的，因为终端的处理能力有限，所以我们可以把很多运算放在网络里，让终端来完成最终对用户的展示。移动互联网的零运算 VS 终端的计算能力,8.3-网络存储与云计算,34,四、IBM+Google的云计算平台,云计算平台,LINUX服务器,LAN,互联网,用户,个人,家庭,企业用户,Apache hadoop,GFS文件系统,Xen虚拟化软件,IBM+Google解决方案：云计算,各种业务软件,虚拟网络存储空间,8.3-网络存储与云计算,35,四、云计算,云计算的计算基础Web平台计算平台存储平台计算平台Cluster Computing-集群计算Grid Computing-网格计算存储平台 Network Storage：SANVirtual Network Storage TechnologyGFS：Global File System-共享文件系统Web平台SaaS模式Mashup技术Open APIWebOS,8.3-网络存储与云计算,36,四、云计算抽象,无限大的计算能力,无限大的存储空间,容纳所有应用的WebOS,各式终端的浏览器,Doc应用,ERP应用,邮件应用,Open API,8.3-网络存储与云计算,37,四、云计算的商业模式,网络应用引擎,网络存储服务,SaaS软件模式-软件服务,Mashup技术,Open API,云计算,众多的业务、软件服务,用户免费模式,广告收入+流量收入,云计算的商业模式,免费的存储、开放的API，免费的运营平台-还有，一起分享收入,8.3-网络存储与云计算,38,四、客户的云计算方式,客户分类：个人、小企业、大企业个人：个人用户走入云计算的第一步很可能是云计算的提供的软件服务小企业用云计算主要是企业之间的协同工作的需要或者在云计算中租赁服务“区”作为自己企业的IT支撑平台，比如电子邮件、即时通讯、文档管理等等服务。SaaS模式/ADC模式 大企业：大企业最可能首先用到的云计算是数据归档的部分。企业在不停地产生新数据，不停地备份，所以就必须有归档，在线的和离线的。对于用户来说，数据管理、保护和多站点的可行性非常重要。MAS模式,8.3-网络存储与云计算,39,移动运营商的云计算策略,存储服务、网络应用引擎、云计算是什么？,互联网应用基础平台,存储服务、网络应用引擎、云计算能干什么？,支撑各种互联网应用,存储服务、网络应用引擎、云计算对运营商的威胁是什么？,提供端到端的解决方案-运营商Bit Pipe,运营商的问题：,以前只是一个一个应用，现在解决的是根本问题-共主,8.3-网络存储与云计算,40,移动运营商的云计算策略,运营商的策略：和云计算服务平台商合作，提供无处不在的网络系统。搭建自己的云计算服务平台-基础服务提供商，和其他云计算服务平台提供商竞争。运营商的优势：SMS、MMS、WAP、LBS、USSD等业务网关的能力 可运营可管理的网络平台 大量的IT基础设施 可扩展的业务平台,需要的是：云计算的战略、云计算的业务综合平台,8.3-网络存储与云计算,41,MAS、ADC与云计算,ADC、MAS业务与云计算 中小企业的特点，很难全面服务 中小企业的数量，数量众多 中国移动提出ADC、MAS业务针对集团客户业务。ADC、MAS平台是云计算平台吗？ADC、MAS平台-云计算平台还需要什么？中国移动的云计算平台：ADC、MAS,有围墙的，和没有围墙的，收费和Free的，这是它们之间的区别,8.3-网络存储与云计算,42,UAP API与Open API,UAP平台的API 提供各种通用服务 中国移动的SI提供商 Open API 利益分成 中国移动的客户Facebook的OpenAPI 面对所有互联网开发者 利益分成 Facebook的客户,8.3-网络存储与云计算,43,ADC平台的SaaS模式,ADC平台的SaaS模式 基础硬件资源 软件平台（UAP）SI业务商 使用费用+流量费用（？）数据中心S 租用 互联网 软件开发商 数据中心,去年纽约银行决定把3万多客户从CRM应用软件包迁移到S在线的CRM服务，因为S提供更好的安全架构。,8.3-网络存储与云计算,44,移动运营商的存储平台,统一的分布式虚拟存储平台是关键目前的问题各业务平台的存储平台之间不存在虚拟存储各省平台的存储平台之间不存储虚拟存储不存在持久虚拟存储的统一接口API没有抽象出存储能力层未来的设想：象自来水一样不用关心水从哪来？一个虚拟的全球性的持久存储系统统一的存储网络,8.3-网络存储与云计算,45,移动运营商的OpenAPI与移动OS,开放的面向所有的业务开发者，这是趋势目前的问题 没有API 带有围墙的API 能力层提供的能力太少 抽象的电信/通信能力太少 各省、集团的平台能力无法统一共享使用未来的设想：提供全方面的电信/通信能力 统一的能力API,8.3-网络存储与云计算,46,移动运营商的云计算,存储平台,存储平台,存储平台,统一的虚拟存储平台,移动OS,移动通信能力集,移动Open API,移动云计算,LBS,SMS,