云计算的探讨与运用.ppt

《云计算的探讨与运用.ppt》由会员分享，可在线阅读，更多相关《云计算的探讨与运用.ppt（45页珍藏版）》请在三一办公上搜索。

1、云计算的探讨和应用,广东亿迅科技有限公司2010.08,2,云计算概念云计算关键技术云计算与开源中国电信云计算云计算开源应用,目 录,什么云计算,Kevin Hartig：云是一个庞大的资源池，你按需购买；云是虚拟化的；云可以象自来水，电，煤气那样计费。Jan Pritzker：云计算是用户友好的网格计算。,3,农村,城市化,发展,云计算-网格计算的发展,4,云计算的使用方式,将计算和存储等资源以服务的方式提供，用户按需使用，按用量付费,5,云计算关键特征,云计算-关键特征,按需扩展和使用,快速获得服务,通过互联网提供自助式服务,按使用量付费,6,云计算-交付模型,PC,硬件资源（PowerP

2、C、x86、ARM）,操作系统Linux、Windows、UNIX,开发环境C、C+、Java、Python、Perl等,软件应用,运行库（.Net、JRE）,SaaS,PaaS,IaaS,基于互联网,Cloud共享资源,SaaS：通过互联网向最终用户提供软件应用服务。主要特征：多租户、数据分离、水平扩展、可个性配置、可伸缩。代表：Salesforce CRM、微软的Online服务、IBM Lotus Live。PaaS：通过互联网向开发者提供运行平台托管服务，提供开发SDK，开发者开发应用后可直接运行在PaaS上。主要特征：运行平台托管、提供增强的平台能力。代表：Google的AppEng

3、ine、微软的Azure Platform、Salesforce的FIaaS：应用虚拟化、自动化部署等技术，通过互联网向用户提供基础IT设施的技术方案与服务模式。主要特征是资源动态弹性供应、资源整合与共享、资源利用率高、节能降耗、管理成本下降。主要代表：Amazon的ec2、S3,7,云计算-部署模型,公有云：简单来说，公有云服务指的是用户通过互联网从第三方供应商获取的云计算服务。私有云：私有云具备公有云计算环境的许多优点，如灵活性强、以服务为基础等。社区云：社区云由一群共享利益（如特定安全需求或共同目标）的企业管理和使用。混合云：混合云是公有云和私有云的融合，且两者可互操作。,8,云计算-架

4、构,这套架构主要可分为四层，其中有三层是横向的，分别是显示层、中间件层和基础设施层，通过这三层技术能够提供非常丰富的云计算能力和友好的用户界面，还有一层是纵向的，称为管理层，是为了更好地管理和维护横向的三层而存在的。接下来将一个个地给大家介绍每个层次的作用和属于这个层次的主要技术。,9,10,云计算概念云计算关键技术云计算与开源中国电信云计算云计算开源应用,目 录,云计算关键技术-虚拟化技术,11,虚拟化领域,服务器虚拟化,网络虚拟化,应用虚拟化,客户端虚拟化,降低系统复杂度，提高资源利用率，动态划分服务资源，动态部署,资源池，统一管理，数据更加安全,存储虚拟化,网络容量的优化，网络各节点优化

5、,交付模式的改变，应用能力的按需提供,降低终端成本，满足客户动态需求,虚拟化是将底层物理设备与上层操作系统、软件分离的一种去耦合技术，它通过软件或固件管理程序（Hypervisor）构建虚拟层并对其进行管理，把物理资源映射成逻辑的虚拟资源，对逻辑资源的使用与物理资源相差很少或者没有区别。虚拟化的目标是实现IT 资源利用效率和灵活性的最大化。,云计算关键技术-分布式存储技术,概念：分布式存储系统是分布式计算环境的基础架构之一，它把分散在网络中的存储资源以统一的视点呈现给用户，简化了用户访问的复杂性，加强了分布系统的可管理性，也为进一步开发分布式应用准备了条件。基于云数据中心的分布式存储系统构建在

6、大规模服务器群上，面临以下几个挑战：1）服务器等组件的失效将是正常现象，需解决系统的容错问题；2）提供海量数据的存储和快速读取；3）多用户同时访问文件系统，需解决并发控制和访问效率问题；4）服务器增减频繁，需解决动态扩展问题；5）需提供类似传统文件系统的接口以兼容上层应用开发，支持创建、删除、打开、关闭、读写文件等常用操作。,12,云计算关键技术-分布式存储技术（GFS）,GFS的设计理念服务器DOWN机作为常态文件用块存储每个块固定为64MB通过冗余解决可靠性问题每个块同时拷贝在3个块服务器上主服务器负责协调访问和保存元数据简单化的集中管理定制化的API无数据缓存较大文件块和流式读取使得缓存

7、效果不佳,13,云计算关键技术-分布式存储技术(GFS),GFS体系结构,14,云计算关键技术-并行编程模式,对于并行编程而言，核心的问题是如何把一个大的应用程序分解成若干可以并行处理的子程序。有两种可能处理的方法，一种是分割计算，即把应用程序的功能分割成若干个模块，由网络上多台机器协同完成；另一种是分割数据，即把数据集分割成小块，由网络上的多台计算机分别计算。目的是实现分布式计算，让几个物理上独立的组件作为一个单独的系统协同工作，这些组件可能指多个CPU，或者网络中的多台计算机。,15,复杂，很难入门,如何简单化,云计算关键技术-并行编程模式（Google）,Map/Reduce用于大规模数

8、据并行处理数据量大（超过1TB）在成百上千个CPU上并行处理用户只需实现下面接口map(in_key,in_value)-(out_key,intermediate_value)listreduce(out_key,intermediate_value list)-out_value list,16,云计算关键技术-并行编程模式(流程),Cat input|grep xxx|sort|uniq c|cat output,架构,17,云计算关键技术-并行编程模式（原理）,实现原理,18,云计算关键技术-数据管理技术,19,分布式数据库是对海量数据进行存储和管理。分布式数据库是一组结构化的数据集，

9、逻辑上属于同一系统，而物理上分散在用计算机网络连接的多个场地上，并统一由一个分布式数据库管理系统管理。与集中式或分散数据库相比，分布式数据库具有可靠性高、模块扩展容易、响应延迟小、负载均衡、容错能力强等优点。,云计算关键技术-数据管理技术1,BigTable的设计理念面向网页数据的发布、搜索和浏览等特定处理的需要，简化数据管理系统的设计，并提高性能不支持关联不支持SQL查询简化数据的一致性管理网页数据的管理对一致性要求不高简化事务管理网页数据的处理（搜索、发布）对事务管理要求不高面向海量数据管理要求设计分割和合并管理机制（基于元数据）设计自动伸缩功能（根据数据量调整资源用量）,20,云计算关键

10、技术-数据管理技术2,Bigtable基本架构,21,云计算关键技术-分布式锁服务,在分布式系统中，对共享资源的并行操作可能会引起丢失修改、读脏数据、不可重复读等数据不一致问题，这时需要引入同步机制，控制进程的并发操作。,22,云计算关键技术-分布式锁服务（Chubby）,23,基本架构,组成：客户端+5个服务器（Chubby单元）；主服务器机制：5个服务器（Chubby单元），只有一个主服务器，租续期内所有的客户请求都是由主服务器来处理的；客户端定位主服务器：DNS请求。,Chubby的设计目标主要有以下几点。1）高可用性和高可靠性。这是系统设计的首要目标，在保证这一目标的基础上再考虑系统的

11、吞吐量和存储能力。2）高扩展性。将数据存储在价格较为低廉的RAM，支持大规模用户访问文件。3）支持粗粒度的建议性锁服务。提供这种服务的根本目的是提高系统的性能。4）服务信息的直接存储。可以直接存储包括元数据、系统参数在内的有关服务信息，而不需要再维护另一个服务。5）支持通报机制。客户可以及时地了解到事件的发生。6）支持缓存机制。通过一致性缓存将常用信息保存在客户端，避免了频繁地访问主服务器。,云计算关键技术-分布式锁服务,24,Chubby客户端与服务器端的通信过程,25,云计算概念云计算关键技术云计算与开源中国电信云计算云计算开源应用,目 录,云计算商用-开源对比,26,云计算开源-Hado

12、op,Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。Google的开源实现HDFS是Google File System（GFS）的开源实现;MapReduce是Google MapReduce的开源实现;HBase是Google BigTable的开源实现。,27,云计算开源-Eucalyptus,Eucalyptus 项目（Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems）是 Amaz

13、on EC2 的一个开源实现，它与商业服务接口兼容。和 EC2 一样，Eucalyptus 依赖于 Linux 和 Xen 进行操作系统虚拟化。Eucalyptus 是加利福尼亚大学（Santa Barbara）为进行云计算研究而开发的,28,OpenNebula,云计算开源-10genMongoDB,10gen 既是一个云平台，又是一个可下载的开放源代码包，可用于创建您自己的私有云。10gen 是类似于 App Engine的一个软件栈，它提供与 App Engine 类似的功能 但有一些不同之处。通过 10gen，可以使用 Python 以及JavaScript 和 Ruby编程语言开发应

14、用程序。该平台还使用沙盒概念隔离应用程序，并且使用它们自己的应用服务器的许多计算机(当然，是在Linux上构建)提供一个可靠的环境。MongoDB是一个高性能的面向文件的开源数据存储项目。十分容易部署，管理和使用。可以通过网络访问，并且由C+语言编写。主要包含的功能特性有易存储对象类型的数据，完全索引支持，查询支持，复制和故障恢复支持，高效的二进制数据存储，自动处理碎片提高云层次上的扩展性。高性能，可扩展，适当的功能使这个项目的主要设计目标。,29,30,云计算概念云计算关键技术云计算与开源中国电信云计算云计算开源应用,目 录,电信云计算总体发展规划,初步构建包含IaaS、PaaS和AaaS的

15、完整服务体系。,IDC,信息化应用云服务,PaaS开放平台,战略合作,商务领航,号百,弹性存储服务,弹性计算服务,切入点,产品平台发展规划,合作厂家,IBM微软,微软IBMHadoop,IBMVMWareXen,2,SaaS软件服务,天翼软件广场/OneApp,移动互联网云服务,内部试验平台,SCE及开放API,灾备与恢复,弹性大容量数据库,先试点后推广，初步形成价值链；内部应用：以提升性能为目的,IaaS先试点再规模发展；内部应用：以提升资源效益为主,IT系统整合,移动互联网基础设施整合,外部开放平台,号百整合,内部海量数据处理平台,内部应用,31,32,云计算概念云计算关键技术云计算与开源

16、中国电信云计算云计算开源应用,目 录,亚马逊云计算AWS-商业应用,33,弹性计算云EC2一部具有无限采集能力的虚拟计算机，用户能够用来执行一些处理任务。简单存储服务S3一个很大的磁盘驱动或一个SAN。简单数据库服务Simple DB为复杂的，结构化数据建立的，支持数据的查找、删除、插入等操作。,微软Azure,虚拟化平台-Xen与KVM,34,Xen:是一个开放源代码虚拟机监视器，由剑桥大学开发。半虚拟化技术，可能需要修改操作系统内核才能支持，不过只要硬件支持就不用做修改，亚马逊使用了Xen提供的虚拟化解决方案.KVM:KVM 是指基于 Linux 内核的虚拟机（Kernel-based V

17、irtual Machine）。2006 年 10 月，由以色列的 Qumranet 组织开发的一种新的“虚拟机”实现方案。2007 年 2 月发布的 Linux 2.6.20 内核第一次包含了 KVM。增加 KVM 到 Linux 内核是 Linux 发展的一个重要里程碑，这也是第一个整合到 Linux 主线内核的虚拟化技术。,Hadoop HDFS-GFS分布式文件系统,35,Hadoop HDFS-GFS分布式文件系统(read),36,Hadoop HDFS-GFS分布式文件系统(write),37,Hadoop HDFS 操作命令,38,Hadoop MapReduce-google

18、 MapReduce 工作流,39,SHELL:cat input|grep xxx|sort|uniq-c|cat outputmapReduce：Input|Map|Shuffle&Sort|Reduce|Output,Input：一个Hadoop MapReduce应用通常需要提供一对通过实现合适的接口或抽象类提供的Map和Reduce函数，还应该指明输入/输出的位置（路径）和其他一些运行参数。此外，此阶段还会把输入目录下的大数据文件切分为若干独立的数据块。Map：MapReduce框架把应用作业的输入看为是一组 键值对，在Map这个阶段，框架会调用用户自定义的Map函数处理每一个 键值

19、对，生成一批新的中间 键值对，这两组键值对的类型可能不同。Shuffle&Sort：为了保证Reduce的输入是Map排好序的输出。在Shuffle阶段，框架通过HTTP为每个Reduce获得所有Map输出中与之相关的 键值对；而在Sort阶段，框架将按照key的值对Reduce的输入进行分组（因为不同map的输出中可能会有相同的key）。通常Shuffle和Sort两个阶段是同时进行的，Reduce的输入也是一边被取回，一边被合并的。Reduce：此阶段会遍历中间数据，对每一个唯一key，执行用户自定义的Reduce函数（输入参数是），输出是新的 键值对。Output：此阶段会把Reduce

20、输出的结果写入输出目录的文件中。这样，一个典型的MapReduce过程就结束了。,Hadoop MapReduce-google MapReduce 执行过程,40,Hadoop MapReduce-google MapReduce 并行执行,41,Hadoop MapReduce 执行例子监控,42,http:/192.168.107.93:50030/jobtracker.jsp,Hadoop ZooKeeper-google chubby 全局锁系统,43,所有服务器在内存保存数据启动时选择一个节点(server)作为集群Leader集群其它节点为客户端提供服务，所有的更新需经由Leader更新响应消息被发送给保存这些数据的服务器,Hbase-google BigTable 数据存储,44,基于HDFS的主备Master,多个RegionSvr通过ZK构成集群数据按照三级索引组织，三次访问可以定位数据数据写操作在内存完成，但是需要对文件实施合并操作,应用-Chukwa,45,收集器转换器结果集,