云计算体系结构(1).ppt
《云计算体系结构(1).ppt》由会员分享,可在线阅读,更多相关《云计算体系结构(1).ppt(77页珍藏版)》请在三一办公上搜索。
1、,Cloud Computing郭权,总目录,云计算概述云计算体系及技术云计算应用云计算平台及趋势,-1-,目录,云计算体系概述云计算技术体系结构云计算背后采用的具体技术 云计算对未来动态IT架构的支撑,-2-,云计算体系概述,-3-,云计算的基本原理是通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上,根据需求访问计算机和存储系统。,云计算发展路线,-4-,云计算体系逻辑结构,-5-,云计算体系物理结构,-6-,云计算体系特点,-7-,通过Internet接入不需要自身具有IT技术来实施第三方提供资源
2、共享无多余功能开发无多余费用系统延续性好,Cloud Applications(“Software-as-a-Service”),Cloud Platforms(“Platform-as-a-Service”),Cloud Collaboration,Cloud Storage,Cloud Servers/Processing,Cloud MSP,目录,云计算体系概述云计算技术体系结构云计算背后采用的具体技术 云计算对未来动态IT架构的支撑,-8-,-9-,云计算技术体系结构,由于云计算分为IaaS、PaaS和SaaS三种类型,不同的厂家又提供了不同的解决方案,目前还没有一个统一的技术体系结构
3、;综合不同厂家的方案,给出一个供商榷的云计算体系结构。这个体系结构如下图所示,它概括了不同解决方案的主要特征,每一种方案或许只实现了其中部分功能,或许也还有部分相对次要功能尚未概括进来。,云计算技术体系结构,-11-,云计算技术体系结构,云计算技术体系结构分为4层:物理资源层、资源池层、管理中间件层和SOA构建层(如上图);物理资源层包括计算机、存储器、网络设施、数据库和软件等;资源池层是将大量相同类型的资源构成同构或接近同构的资源池,如计算资源池、数据资源池等。构建资源池更多是物理资源的集成和管理工作,例如研究在一个标准集装箱的空间如何装下2000个服务器、解决散热和故障节点替换的问题并降低
4、能耗。,-12-,云计算技术体系结构,管理中间件负责对云计算的资源进行管理,并对众多应用任务进行调度,使资源能够高效、安全地为应用提供服务;SOA构建层将云计算能力封装成标准的Web Services服务,并纳入到SOA体系进行管理和使用,包括服务注册、查找、访问和构建服务工作流等。管理中间件和资源池层是云计算技术的最关键部分,SOA构建层的功能更多依靠外部设施提供。,-13-,云计算技术体系结构,计算的管理中间件负责资源管理、任务管理、用户管理和安全管理等工作。资源管理负责均衡地使用云资源节点,检测节点的故障并试图恢复或屏蔽之,并对资源的使用情况进行监视统计;任务管理负责执行用户或应用提交的
5、任务,包括完成用户任务映象(Image)的部署和管理、任务调度、任务执行、任务生命期管理等等;,-14-,云计算技术体系结构,用户管理是实现云计算商业模式的一个必不可少的环节,包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等;安全管理保障云计算设施的整体安全,包括身份认证、访问授权、综合防护和安全审计等。基于上述体系结构,以IaaS云计算为例,简述云计算的实现机制,如下图。,云计算简化实现机制,-16-,云计算简化实现机制,用户交互接口向应用以Web Services方式提供访问接口,获取用户需求。服务目录是用户可以访问的服务清单。系统管理模块负责管理和
6、分配所有可用的资源,其核心是负载均衡。配置工具负责在分配的节点上准备任务运行环境。监视统计模块负责监视节点的运行状态,并完成用户使用节点情况的统计。执行过程并不复杂:用户交互接口允许用户从目录中选取并调用一个服务。该请求传递给系统管理模块后,它将为用户分配恰当的资源,然后调用配置工具来为用户准备运行环境。,目录,云计算体系概述云计算技术体系结构云计算背后采用的具体技术 云计算对未来动态IT架构的支撑,-17-,-18-,云计算背后采用的具体技术,云计算作为一种新型的计算模式,还处于早期发展阶段。众多大小不一、类型各异的提供商提供了各自基于云计算的应用服务。通过介绍亚马逊、Google、IBM这
7、三种典型的云计算实现,剖析在“云计算”背后所采用的具体技术,解析当前云计算的平台建设方法以及应用构建方式。,-19-,实例1:Google的云计算平台与应用,Google的云计算技术实际上是针对Google特定的网络应用程序而定制的。针对内部网络数据规模超大的特点,Google提出了一整套基于分布式并行集群方式的基础架构,利用软件的能力来处理集群中经常发生的节点失效问题。从2003年开始,Google连续几年在计算机系统研究领域的最顶级会议与杂志上发表论文,揭示其内部的分布式数据处理方法,向外界展示其使用的云计算核心技术。,-20-,实例1:Google的云计算平台与应用,从其近几年发表的论文
8、来看,Google使用的云计算基础架构模式包括四个相互独立又紧密结合在一起的系统。包括:一.Google建立在集群之上的文件系统Google File System二.针对Google应用程序的特点提出的Map/Reduce编程模式三.分布式的锁机制Chubby四.Google开发的模型简化的大规模分布式数据库BigTable。,-21-,一、Google File System 文件系统,为了满足Google迅速增长的数据处理需求,Google设计并实现了Google文件系统(GFS:Google File System)。GFS与过去的分布式文件系统拥有许多相同的目标,例如性能、可伸缩性、
9、可靠性以及可用性。然而,它的设计还受到Google应用负载和技术环境的影响,主要体现在以下四个方面:,-22-,一、Google File System 文件系统,1.集群中的节点失效是一种常态,而不是一种异常。由于参与运算与处理的节点数目非常庞大,通常会使用上千个节点进行共同计算,因此,每时每刻总会有节点处在失效状态。需要通过软件程序模块,监视系统的动态运行状况,侦测错误,并且将容错以及自动恢复系统集成在系统中。2.Google系统中的文件大小与通常文件系统中的文件大小概念不一样,文件大小通常以G字节计。另外文件系统中的文件含义与通常文件不同,一个大文件可能包含大量数目的通常意义上的小文件。
10、所以,设计预期和参数,例如I/O操作和块尺寸都要重新考虑。,-23-,一、Google File System 文件系统,3.Google文件系统中的文件读写模式和传统的文件系统不同。在Google应用(如搜索)中对大部分文件的修改,不是覆盖原有数据,而是在文件尾追加新数据。对于这类巨大文件的访问模式,客户端对数据块缓存失去了意义,追加操作成为性能优化和原子性(把一个事务看做是一个程序。它要么被完整地执行,要么完全不执行)保证的焦点。4.文件系统的某些具体操作不再透明,而且需要应用程序的协助完成,应用程序和文件系统API的协同设计提高了整个系统的灵活性。例如,放松了对GFS一致性模型的要求,这
11、样不用加重应用程序的负担,就大大简化了文件系统的设计。还引入了原子性的追加操作,这样多个客户端同时进行追加的时候,就不需要额外的同步操作了。,-24-,一、Google File System 文件系统,总之,GFS是为Google应用程序本身而设计的。据称,Google已经部署了许多GFS集群。有的集群拥有超过1000个存储节点,超过300T的硬盘空间,被不同机器上的数百个客户端连续不断地频繁访问着。下图给出了Google File System的系统架构,-25-,一、Google File System 文件系统,-26-,一、Google File System 文件系统,一个GFS集
12、群包含一个主服务器和多个块服务器,被多个客户端访问。文件被分割成固定尺寸的块。在每个块创建的时候,服务器分配给它一个不变的、全球惟一的64位块句柄对它进行标识。块服务器把块作为linux文件保存在本地硬盘上,并根据指定的块句柄和字节范围来读写块数据。为了保证可靠性,每个块都会复制到多个块服务器上,缺省保存三个备份。主服务器管理文件系统所有的元数据,包括名字空间、访问控制信息和文件到块的映射信息,以及块当前所在的位置。,-27-,一、Google File System 文件系统,GFS客户端代码被嵌入到每个程序里,它实现了Google文件系统 API,帮助应用程序与主服务器和块服务器通信,对数
13、据进行读写。客户端跟主服务器交互进行元数据操作,但是所有的数据操作的通信都是直接和块服务器进行的。客户端提供的访问接口类似于POSIX接口,但有一定的修改,并不完全兼容POSIX标准。通过服务器端和客户端的联合设计,Google File System能够针对它本身的应用获得最大的性能以及可用性效果。,-28-,二、MapReduce分布式编程环境,为了让内部非分布式系统方向背景的员工能够有机会将应用程序建立在大规模的集群基础之上,Google还设计并实现了一套大规模数据处理的编程规范Map/Reduce系统。这样,非分布式专业的程序编写人员也能够为大规模的集群编写应用程序而不用去顾虑集群的可
14、靠性、可扩展性等问题。应用程序编写人员只需要将精力放在应用程序本身,而关于集群的处理问题则交由平台来处理。,-29-,二、MapReduce分布式编程环境,Map/Reduce通过“Map(映射)”和“Reduce(化简)”这样两个简单的概念来参加运算,用户只需要提供自己的Map函数以及Reduce函数就可以在集群上进行大规模的分布式数据处理。据称,Google的文本索引方法,即搜索引擎的核心部分,已经通过Map Reduce的方法进行了改写,获得了更加清晰的程序架构。在Google内部,每天有上千个Map Reduce的应用程序在运行。,-30-,三、分布式的锁机制Chubby,在Googl
15、e File System(GFS)中,有很多的server,这些server需要选举其中的一台作为master server。这其实是一个很典型的consensus问题,Value就是master server的地址。GFS就是用Chubby来解决的这个问题,所有的server通过Chubby提供的通信协议到Chubby server上创建同一个文件,当然,最终只有一个server能够获准创建这个文件,这个server就成为了master,它会在这个文件中写入自己的地址,这样其它的server通过读取这个文件就能知道被选出的master的地址。,-31-,三、分布式的锁机制Chubby,Ch
16、ubby是一个分布式的文件系统。Chubby能够提供机制使得client可以在Chubby service上创建文件和执行一些文件的基本操作。从更高一点的语义层面上,Chubby是一个lock service,一个针对松耦合的分布式系统的lock service。所谓lock service,就是这个service能够提供开发人员经常用的“锁”,“解锁”功能。通过Chubby,一个分布式系统中的上千个client都能够对于某项资源进行“加锁”,“解锁”。那么,Chubby是怎样实现这样的“锁”功能的?就是通过文件。Chubby中的“锁”就是文件,创建文件其实就是进行“加锁”操作,创建文件成功的
17、那个server其实就是抢占到了“锁”。用户通过打开、关闭和读取文件,获取共享锁或者独占锁;并且通过通信机制,向用户发送更新信息。,-32-,四、分布式大规模数据库管理系统BigTable,构建于上述两项基础之上的第三个云计算平台就是Google关于将数据库系统扩展到分布式平台上的BigTable系统。很多应用程序对于数据的组织还是非常有规则的。一般来说,数据库对于处理格式化的数据还是非常方便的,但是由于关系数据库很强的一致性要求,很难将其扩展到很大的规模。为了处理 Google内部大量的格式化以及半格式化数据,Google构建了弱一致性要求的大规模数据库系统BigTable。据称,现在有很多
18、Google的应用程序建立在BigTable之上,例如Search History、Maps、Orkut和RSS阅读器等。,-33-,四、分布式大规模数据库管理系统BigTable,下图2给出了在BigTable模型中的数据模型。数据模型包括行列以及相应的时间戳,所有的数据都存放在表格中的单元里。BigTable的内容按照行来划分,将多个行组成一个小表,保存到某一个服务器节点中。这一个小表就被称为Tablet。以上是Google内部云计算基础平台的三个主要部分,除了这三个部分之外,Google还建立了分布式程序的调度器,分布式的锁服务等一系列相关的云计算服务平台。,-34-,四、分布式大规模数
19、据库管理系统BigTable,-35-,实例2:亚马逊的弹性计算云,亚马逊是互联网上最大的在线零售商,但是同时也为独立开发人员以及开发商提供云计算服务平台。亚马逊将他们的云计算平台称为弹性计算云(Elastic Compute Cloud,EC2),它是最早提供远程云计算平台服务的公司。,-36-,实例2:亚马逊的弹性计算云开放的服务,与 Google提供的云计算服务不同,Google仅为自己在互联网上的应用提供云计算平台,独立开发商或者开发人员无法在这个平台上工作,因此只能转而通过开源的Hadoop软件支持来开发云计算应用。亚马逊的弹性计算云服务也和IBM的云计算服务平台不一样,亚马逊不销售
20、物理的云计算服务平台,没有类似于“蓝云”一样的计算平台。亚马逊将自己的弹性计算云建立在公司内部的大规模集群计算的平台之上,而用户可以通过弹性计算云的网络界面去操作在云计算平台上运行的各个实例(Instance),而付费方式则由用户的使用状况决定,即用户仅需要为自己所使用的计算平台实例付费,运行结束后计费也随之结束。,-37-,实例2:亚马逊的弹性计算云开放的服务,弹性计算云从沿革上来看,并不是亚马逊公司推出的第一项这种服务,它由名为亚马逊网络服务的现有平台发展而来。早在2006年3月,亚马逊就发布了简单存储服务(Simple Storage Service,S3),这种存储服务按照每个月类似租
21、金的形式进行服务付费,同时用户还需要为相应的网络流量进行付费。亚马逊网络服务平台使用REST(Representational State Transfer)和简单对象访问协议(SOAP)等标准接口,用户可以通过这些接口访问到相应的存储服务。,-38-,实例2:亚马逊的弹性计算云开放的服务,2007 年7月,亚马逊公司推出了简单队列服务(Simple Queue Service,SQS),这项服务使托管主机可以存储计算机之间发送的消息。通过这一项服务,应用程序编写人员可以在分布式程序之间进行数据传递,而无须考虑消息丢失的问题。即使消息的接收方还没有模块启动也没有关系。服务内部会缓存相应的消息,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 计算 体系结构
链接地址:https://www.31ppt.com/p-2841799.html