虚拟化技术与云计算第一讲.ppt

《虚拟化技术与云计算第一讲.ppt》由会员分享，可在线阅读，更多相关《虚拟化技术与云计算第一讲.ppt（103页珍藏版）》请在三一办公上搜索。

1、虚拟化技术与云计算第一讲,管海兵 教授08-09-2011,基本情况,任课老师管海兵 梁阿磊 助教马汝辉（博士生）ruhuimasjtu 常郅博（硕士生）辅导教材James E Smith Virtual Machines:Versatile Platforms for Systems and Processes王庆波、陈滢等（IBM）虚拟化与云计算成绩Homework 40%，final project（proposal+report）60%,Gartner Report,Top 10 Strategic Technology Areasfor 2009 VirtualizationClou

2、d ComputingServers:Beyond BladesWeb-Oriented ArchitecturesEnterprise MashupsSpecialized SystemsSocial Software and Social NetworkingUnified CommunicationsBusiness IntelligenceGreen Information Technology,Top 10 Strategic Technology Areas for 2010Cloud Computing AdvancedAnalyticsClient Computing IT f

3、or GreenReshaping the Data CenterSocial ComputingSecurity Activity Monitoring Flash MemoryVirtualization for AvailabilityMobileApplications,Top 10 Strategic Technology Areas for 2011Cloud Computing Mobile Applications and Media TabletsSocial Communications and CollaborationVideoNext Generation Analy

4、tics Social AnalyticsContext-Aware Computing Storage Class MemoryUbiquitous ComputingFabric-Based Infrastructure and Computers,课程的目的,了解虚拟化与云计算的概念了解虚拟化与云计算的出现背景了解虚拟化与云计算的主要应用了解虚拟化与云计算的典型产品了解虚拟化与云计算的发展趋势,课程的相关性,虚拟化技术与云计算,编译技术,体系结构,数据库,系统芯片设计与测试,人机交互,网格计算,算法与复杂性,网络安全,虚拟化技术,目录1.虚拟化的发展历程2.虚拟化的概念3.虚拟化的分类4

5、.经典虚拟机5.虚拟化的一些误区6.虚拟化的发展前景,目录1.虚拟化的发展历程2.虚拟化的概念3.虚拟化的分类4.经典虚拟机5.虚拟化的一些误区6.虚拟化的发展前景,虚拟化的发展历程,历史上第一个虚拟机是1965年左右IBM公司开发的System/360 Model 40VM。计算资源昂贵，为了充分利用计算资源,最早使用虚拟化技术的IBM 7044 计算机,虚拟化的发展历程,虚拟化技术真正成熟是在15年后的IBM VM/370系统中，以VM/370为代表的虚拟机和系统虚拟化技术完整的实现了虚拟机的思想。表现：用户能够运行当时流行的任何一种操作系统在 20 世纪 80 年代和 90 年代，由于个

6、人计算机计算能力低下，虚拟化技术陷入低谷,虚拟化的发展历程,20世纪90年代后期开始，由于硬件水平的提高，RISC 服务器与小型机成为了虚拟化技术第二波受益者。1997年，斯坦福大学开发的Disco系统，探索了在共享内存的大规模多处理器系统上运行普通的桌面操作系统。1998年，基于Disco系统的研究经验，著名的VMware公司诞生。通过运行在Windows NT上的VMware来启动Windows 95的做法让人们惊叹不已。1999年，IBM 公司利用逻辑分区(LPAR)”技术，令单台服务器工作起来如同 12 个独立的服务器。2002 年，IBM 还更进一步，利用动态逻辑分区(DLPAR)技

7、术，允许在无需重启系统的情况下，将包括处理器、内存和其它组件在内的系统资源分配给独立的分区。,虚拟化的发展历程,X86体系结构的先天设计，存在对虚拟化的支持缺陷。,X86的四个特权级,Kernel工作在最高优先级，即level 0问题：Guest OS不能运行于Ring 0，因为 OS 需要运行的某些 Ring 0 特权指令将互相干扰,虚拟化的发展历程,在经典的CPU虚拟化模型中，CPU的虚拟化通常采用的是“特权解除”（Privilege Deprivileging）和“陷入-模拟”（trap-and-emulation）技术,虚拟化的发展历程,从体系结构本身入手，加入硬件支持2005年，In

8、tel公布VT技术，接着AMD公布SVM技术至今，各个层次逐渐加入虚拟化的硬件支持，如针对I/O的VT-d技术，针对网卡的VMDq技术，SR-IOV技术等等,目录1.虚拟化的发展历程2.虚拟化的概念3.虚拟化的分类4.经典虚拟机5.虚拟化的一些误区6.虚拟化的发展前景,虚拟化的概念,虚拟化技术是一个广义的术语，是指计算元件在虚拟的基础上而不是真实的基础上运行，是一个为了简化管理，优化资源的解决方案。本质：物理硬件与操作系统分开，提供更高的资源利用率和灵活性。,虚拟机和虚拟机监控器,传统IT架构,传统架构示意图,传统IT架构的问题,传统架构面临的问题,服务器性能没有得到充分利用;,更换硬件或迁移

9、应用，都要先停机,物理硬件故障，应用随之崩溃,操作系统崩溃，应用随之停止,虚拟架构,添加一个虚拟层,单一物理硬件，可以对应多个操作系统,一个操作系统崩溃，不会影响到另一个,虚拟架构的特点,虚拟架构的优点应用和物理硬件都能够方便的添加或移除,目录1.虚拟化的发展历程2.虚拟化的概念3.虚拟化的分类4.经典虚拟机5.虚拟化的一些误区6.虚拟化的发展前景,虚拟化的分类,由解决x86体系缺陷的不同方法，分为以下三类：虚拟化技术,全虚拟化（不修改GuestOS内核）,半虚拟化（修改GuestOS内核）,硬件虚拟化（硬件支持）,虚拟化的分类,全虚拟化VMM向虚拟机模拟出和真实硬件完全相同的硬件环境。优点：

10、不用修改GuestOS内核缺点：hypervisor给处理器带来开销。代表产品：VMware；Virtual PC,虚拟化的分类,半虚拟化VMM需要操作系统的协助才能够完成对x86敏感特权指令的虚拟化。优点：性能高。能达到与原始系统相近的性能.缺点：必须修改GuestOS代表产品：Xen；Denali,虚拟化的分类,硬件虚拟化VMM需要硬件的协助才能完成对硬件资源的虚拟。优点：也不用修改GuestOS内核缺点：需要硬件支持。代表技术：Intel-VT；AMD-V,CPU虚拟化,半虚拟化技术中的CPU虚拟化,全虚拟化技术中的CPU虚拟化,内存虚拟化,问题：内存地址的层次由两层向三层的转变使得原来

11、的内存管理单元（MMU）失去了作用，因为普通的MMU只能完成一次虚拟地址到物理地址的映射,内存虚拟化,MMU半虚拟化修改guest os，让其页表为虚拟地址到机器地址影子页表 VMM中产生一个新的页表（影子页表），内容为虚拟地址到机器地址缺点：开销太大方法：1.只为当前进程的页表维护影子页表（切换开销大）2.影子页表缓存技术 3.硬件支持：intel的虚拟处理器标识（VPIDs）和扩展页 技术（EPT）,I/O虚拟化,全虚拟化软件精确模拟与物理设备完全一样的接口，Guest OS 驱动无须修改就能驱动这个虚拟设备半虚拟化修改GuestOS，前后端相互协作，提供更加高效的IO虚拟化硬件虚拟化直接

12、将物理设备分配给某个 Guest OS，由 Guest OS 直接访问I/O 设备（不经过 VMM）,典型虚拟化技术的比较,3种虚拟化技术对比,目录1.虚拟化的概念2.虚拟化的发展历程3.虚拟化的分类4.经典虚拟机5.虚拟化的一些误区6.虚拟化的发展前景,经典虚拟机,VMwareVMware ESX Server 3VMware ServerVMware Workstation产品特点功能丰富配置和使用方便稳定,适合企业使用,经典虚拟机,MicrosoftVirtual PCVirtual ServerWindows Server 2008产品特点与Windows操作系统结合的非常好,经典虚拟

13、机,XenXen是英国剑桥大学的一个研究项目，现在已经成为最著名的开源虚拟机监控器之一，有自己独立的社区产品特点可移植性非常强提供了接近于物理机性能,经典虚拟机,KVM KVM（Kernel-Based Virtual Machine）是与Xen齐名的一个开源虚拟机监控器。后来被集成到了内核中，成为内核的一部分产品特点与linux内核结合的非常好和xen一样，KVM的移植性也很好,目录1.虚拟化的概念2.虚拟化的发展历程3.虚拟化的分类4.经典虚拟机5.虚拟化的一些误区6.虚拟化的发展前景,虚拟化的误区,误区1：服务器虚拟化会陷入多个鸡蛋放到一个篮子的尴尬误区2：动态在线虚拟机迁移可以跨越任何

14、硬件平台误区3：Intel和AMD都开始在CPU级支持虚拟化，已不需要再购买虚拟化软件了误区4：虚拟化技术仍然不成熟，数据中心虚拟化还不能提上议事议程误区5：虚拟化由于引入了新的层次，会增加数据中心的管理难度,虚拟化的误区,误区1：服务器虚拟化会陷入多个鸡蛋放到一个篮子的尴尬误区2：动态在线虚拟机迁移可以跨越任何硬件平台误区3：Intel和AMD都开始在CPU级支持虚拟化，已不需要再购买虚拟化软件了误区4：虚拟化技术仍然不成熟，数据中心虚拟化还不能提上议事议程误区5：虚拟化由于引入了新的层次，会增加数据中心的管理难度,虚拟化的误区,误区1：服务器虚拟化会陷入多个鸡蛋放到一个篮子的尴尬误区2：动

15、态在线虚拟机迁移可以跨越任何硬件平台误区3：Intel和AMD都开始在CPU级支持虚拟化，已不需要再购买虚拟化软件了误区4：虚拟化技术仍然不成熟，数据中心虚拟化还不能提上议事议程误区5：虚拟化由于引入了新的层次，会增加数据中心的管理难度,虚拟化的误区,误区1：服务器虚拟化会陷入多个鸡蛋放到一个篮子的尴尬误区2：动态在线虚拟机迁移可以跨越任何硬件平台误区3：Intel和AMD都开始在CPU级支持虚拟化，已不需要再购买虚拟化软件了误区4：虚拟化技术仍然不成熟，数据中心虚拟化还不能提上议事议程误区5：虚拟化由于引入了新的层次，会增加数据中心的管理难度,虚拟化的误区,误区1：服务器虚拟化会陷入多个鸡蛋

16、放到一个篮子的尴尬误区2：动态在线虚拟机迁移可以跨越任何硬件平台误区3：Intel和AMD都开始在CPU级支持虚拟化，已不需要再购买虚拟化软件了误区4：虚拟化技术仍然不成熟，数据中心虚拟化还不能提上议事议程误区5：虚拟化由于引入了新的层次，会增加数据中心的管理难度,目录1.虚拟化的概念2.虚拟化的发展历程3.虚拟化的分类4.经典虚拟机5.虚拟化的一些误区6.虚拟化的发展前景,虚拟化的发展前景,快速部署以虚拟机为粒度的封装使得虚拟机运行环境的保存非常快捷。虚拟机快照虚拟机克隆虚拟机挂起,虚拟化的发展前景,未使用虚拟化,使用虚拟化,3-10天硬件采购,20-40小时，为一台服务器安装操作系统和应用

17、程序,硬件上架及安装安装操作系统及补丁配置安全设施，域和用户权限配置网络配置存储必要的系统软件安装和配置应用软件测试,15-30分钟，用模板和自部署向导或拷贝虚拟机，启动即可,拷贝虚拟机，然后重新启动工具已经安装应用已经安装，配置完成正常运行,虚拟化的发展前景,兼容遗留软件在新硬件平台基础上实现一个遗留硬件环境,遗留软件兼容上的应用,虚拟化的发展前景,系统整合多个物理服务器合并到少数几个计算机上，降低成本应用到嵌入式领域，使原本不支持多核平台的实时操作系统通过与通用操作系统整合，来充分的利用多核资源,系统整合上的应用,虚拟化的发展前景,客户示例：北美公共设施公司,硬件成本：数据中心空间、电力和

18、制冷成本节省70-80%；2年节省800 万美元运营效率：服务器重建和应用程序载入时间从20-40小时缩短到15-30 分钟；每年节省10000工时。,虚拟化的发展前景,系统隔离将不安全任务和安全任务分离，独自运行在不同的虚拟机中,安全隔离上的应用,灾难恢复,虚拟化的发展前景,云计算的基石一方面是通过虚拟化可以解决数据中心资源的整合问题，在整合过程中对计算，存储等各种资源进行标准化；另一方面是通过虚拟化将资源切割为更小的可以更好调度的资源单位，以达到调度过程中充分利用硬件资源的能力。,云计算,目录1.云计算的概念2.云计算的发展历程与现状3.云计算的特征4.云计算的主要应用形式5.云计算的核心

19、技术6.典型的云计算平台与云应用7.云计算的发展前景,目录1.云计算的概念2.云计算的发展历程与现状3.云计算的特征4.云计算的主要应用形式5.云计算的核心技术6.典型的云计算平台与云应用7.云计算的发展前景,云计算的概念,云计算是一种能够将动态伸缩的虚拟化资源通过互联网以服务的方式提供给用户的计算模式，用户不需要知道如何管理那些支持云计算的基础设施（维基百科）云计算是一种通过网络连接来获取软件和服务的计算模式，云计算使得用户可以获得使用超级计算机的体验，用户通过笔记本电脑与手机上的瘦客户端接入云中获取需要的资源（W）云计算既指在互联网上以服务形式提供的应用，也指在数据中心中提供这些服务的硬件

20、和软件（加州大学伯克利分校）云计算是一种共享的网络交付信息服务的模式，云服务的使用者看到的只有服务本身，而不用关心相关基础设施的具体实现（IBM）,云计算的概念,观念的转变：从“购买产品”到“购买服务”,传统模式,云计算,购买硬件基础设施购买软件的许可证专门的人员维护企业规模扩大，升级软硬件设施不常用的收费软件也需购买,租用租用不需维护人员租用租用,部署一套IT系统,云计算的演进,网格计算 利用并行计算 解决大问题 Globus alliance 使其成为主流,公共计算 将计算资源作 为可计量的服 务提供 于上世纪90年 代末推出,将软件作为服务 基于网络预订应 用程序 于2001年推出,云计

21、算 下一代的因特 网计算 下一代的数据 中心,云计算的演进,云计算的演进,云计算正是这些传统计算机和网络技术发展融合的产物。,目录1.云计算的概念2.云计算的发展历程与现状3.云计算的特征4.云计算的主要应用形式5.云计算的核心技术6.典型的云计算平台与云应用7.云计算的发展前景,云计算的发展历程,2006年8月9日，Google首席执行官埃里克施密特（Eric Schmidt）在搜索引擎大会（SES San Jose 2006）首次提出“云计算”（Cloud Computing）的概念。2007年10月，Google与IBM开始在美国大学校园，包括卡内基美隆大学、麻省理工学院、斯坦福大学、加

22、州大学柏克莱分校及马里兰大学等，推广云计算的计划。2008年7月29日，雅虎、惠普和英特尔宣布一项涵盖美国、德国和新加坡的联合研究计划，推出云计算研究测试床，推进云计算。2010年3月5日，Novell与云安全联盟（CSA）共同宣布一项供应商中立计划，名为“可信任云计算计划（Trusted Cloud Initiative）”,云计算的现状,目录1.云计算的概念2.云计算的发展历程与现状3.云计算的特征4.云计算的主要应用形式5.云计算的核心技术6.典型的云计算平台与云应用7.云计算的发展前景,云计算服务的外部特征,按需服务弹性网络依存性可计量,云计算服务的内部特征,人员管理岗位结构人员技能,

23、服务层运维管理层采集控制层,资源池化多租户技术计量技术监控技术调度技术安全保障技术,计算资源存储资源网络资源支撑环境,人员要素,流程要素,技术要素,资源要素,云计算的特征,硬件和软件都是资源，通过互联网以服务的方式提供给用户Amazon EC2将计算处理能力打包为资源提供给用户Google App Engine将从设计开发到部署实施Web应用所需的软件、硬件平台一起打包提供给用户,云计算的特征,这些资源都可以根据需要进行动态扩展和配置Amazon EC2可以在极短的时间内为华盛顿邮报社初始化200台虚拟服务器的资源，并在9小时的任务完成后快速地回收这些资源,云计算的特征,这些资源在物理上以分布

24、式的共享方式存在，但最终在逻辑上以单一整体的形式呈现最终用户并不知道也不关心某一次科学运算运行在哪台服务器上云计算中分布式的资源向用户隐藏了实现细节，并最终以单一整体的形式呈现给用户,云计算的特征,用户按需使用云中的资源，按实际使用量付费，而不需要管理它们例子：华盛顿邮报社为尽快完成档案的转换任务，使用了200台虚拟服务器，并为其所获得的1407小时机时支付了144.62美元,目录1.云计算的概念2.云计算的发展历程与现状3.云计算的特征4.云计算服务的主要模式5.云计算的核心技术6.典型的云计算平台与云应用7.云计算的发展前景,内部特征、服务形态、外部特征,人员,技术,资源,流程,Iaas,

25、Saas,Paas,按需,网络,计量,弹性,云计算的主要应用形式,云计算,SaaS,PaaS,IaaS,网络营销与后端 管理软件的整合 管理软件的工具化 B2B，B2C的应用,SNS平台 网游运营平台 云计算运营平台,基于云计算的第三方数据中心,云计算的主要应用形式,软件即服务（SaaS）SaaS服务提供商将应用软件统一部署在自己的服务器上，用户根据需求通过互联网向厂商订购应用软件服务，服务提供商根据客户所定软件的数量、时间的长短等因素进行收费，并且通过浏览器向客户提供软件的模式。优势：较低的前期成本，便于维护，快速展开使用例子：Google Docs；Google Apps；Zoho Off

26、ice；GmailJust run it for me!,云计算的主要应用形式,平台即服务（PaaS）这是一种分布式平台服务，厂商提供开发环境、服务器平台、硬件资源等服务给客户，用户在其平台基础上定制开发自己的应用程序并通过服务器和互联网传递给其它客户。优势：能够给企业或个人提供研发的中间件平台等服务例子：Google App Engine；Salesforce的平台；八百客的800APPGive me nice API and take care of the implementation,云计算的主要应用形式,基础设施即服务（IaaS）把厂商的由多台服务器组成的“云端”基础设施，作为计量服

27、务提供给客户。优势：用户按需租用相应计算能力和存储能力，大大降低了硬件开销例子：Amazon Web服务（AWS）；IBM的BlueCloud等Why buy machines when you can rent cycles?,三种模式的层次关系,目录1.云计算的概念2.云计算的发展历程与现状3.云计算的特征4.云计算的主要应用形式5.云计算的核心技术6.典型的云计算平台与云应用7.云计算的发展前景,云计算的核心技术,编程模型 MapReduce海量数据分布存储技术Google File System（GFS）海量数据管理技术 Big Table(BT)虚拟化技术 云计算平台管理技术安全管理

28、云计算标准,云计算的核心技术,编程模型 MapReduce海量数据分布存储技术Google File System（GFS）海量数据管理技术 Big Table(BT)虚拟化技术 云计算平台管理技术安全管理云计算标准,云计算的核心技术,MapReduce出现的必要性 海量数据的并行计算、分发执行、错误处理使得计算复杂化MapReduce的优势简单可模型化扩展性,云计算的核心技术,编程模型 MapReduce海量数据分布存储技术Google File System（GFS）海量数据管理技术 Big Table(BT)虚拟化技术 云计算平台管理技术安全管理云计算标准,How much data?,

29、Google processes 20 PB a day(2008)“all words ever spoken by human beings”5 EBWeb sites 2.5*109Information created in every two days=all information from civilization up to the year of 2003CERNs LHC will generate 10-15 PB a year,640K ought to be enough for anybody.,云计算的核心技术,Google File System（GFS）为了满

30、足Google迅速增长的数据处理需求与传统文件系统的区别组件失效不再被认为是意外，而是被看做正常的现象设计预期和参数，例如I/O操作和块尺寸都要重新考虑。在Google大部分文件的修改，不是覆盖原有数据，而是在文件尾追加新数据。应用程序和文件系统API的协同设计提高了整个系统的灵活性。,云计算的核心技术,编程模型 MapReduce海量数据分布存储技术Google File System（GFS）海量数据管理技术 Big Table(BT)虚拟化技术 云计算平台管理技术安全管理云计算标准,云计算的核心技术,Big Table（BT）BT是建立在GFS,Scheduler,Lock Servic

31、e和MapReduce之上的一个大型的分布式数据库，与传统的关系数据库不同，它把所有数据都作为对象来处理，形成一个巨大的表格特点：提供了灵活高效的服务数据大小不同（从URL到网页到卫星图象）反应速度不同（从后端的大批处理到实时数据服务）,云计算的核心技术,编程模型 MapReduce海量数据分布存储技术Google File System（GFS）海量数据管理技术 Big Table(BT)虚拟化技术 云计算平台管理技术安全管理云计算标准,云计算的核心技术,编程模型 MapReduce海量数据分布存储技术Google File System（GFS）海量数据管理技术 Big Table(BT)

32、虚拟化技术 云计算平台管理技术安全管理云计算标准,安全管理,物理安全网络安全主机安全应用安全数据安全,云计算的核心技术,编程模型 MapReduce海量数据分布存储技术Google File System（GFS）海量数据管理技术 Big Table(BT)虚拟化技术 云计算平台管理技术安全管理云计算标准,云安全包括云计算可信体系架构（保证资源的安全共享）云计算环境下监管与企业信息风险管理虚拟化跨边界数据流的安全策略研究数据生命周期管理云用户的身份认证体系结构适应云计算环境的访问控制策略,云计算的核心技术,编程模型 MapReduce海量数据分布存储技术Google File System（G

33、FS）海量数据管理技术 Big Table(BT)虚拟化技术 云计算平台管理技术安全管理云计算标准,云计算标准的目标实现云的可移植性(Portability)、可互操作性(Interoperability)和安全性(Security)云计算标准包括基础标准关键技术及产品标准测评标准运营标准安全标准,目录1.云计算的概念2.云计算的发展历程与现状3.云计算的特征4.云计算的主要应用形式5.云计算的核心技术6.典型的云计算平台与云应用7.云计算的发展前景,典型的云计算平台,Google Cloud Infrastructure,Scheduler,Chubby,GFS master,Node,No

34、de,Node,User,Application,Schedulerslave,GFSchunkserver,Linux,Node,MapReduceJob,BigTableServer,典型的云计算平台Blue Cloud,Developer,Monitoring,ApplicationServer,ProvisioningManager,User,Open Source Linux with Xen,Tivoli Monitoring Agent,典型的云计算平台 EC2,典型的云计算平台Azure,典型的云应用,云游戏采用云计算技术，大部分的应用放在服务器端执行，用户只需要一个账户，就可

35、以随时随地的连入云计算集群，享受服务。游戏的容量，机器的配置，这些困扰玩家们的问题均烟消云散。,云游戏,典型的云应用,Google Docs。类似于微软的Office的一套在线办公软件Google App Engine。使用户可以使用Python和Java在Google的基础架构上开发和部署运行自己的应用程序,目录1.云计算的概念2.云计算的发展历程与现状3.云计算的特征4.云计算的主要应用形式5.云计算的核心技术6.典型的云计算平台与云应用7.云计算的发展前景,云计算的发展前景,白云在望 政策环境持续利好美国：Apps.gov；DISA；Nebula日本：Kasumigaseki Cloud,云计算的发展前景,云筹未来 IT巨头逐鹿云计算,云计算的发展前景,化云为雨 用户初体验云计算,中国的云计算应用,中国的云计算支出计划,