网格体系结构-五层沙漏模型.ppt

网格体系结构五层沙漏模型,郝卫东,网格的基本概念,网格建立在高性能通信网基础上实现虚拟组织之间资源共享的基础设施和计算平台网格的物理基础是高性能通信网网格应用面向的是动态多机构虚拟组织网格的关键是解决资源共享的问题网格本身是网络基础设施，也是计算平台网络就是计算机（SUN）,网格的基本概念,虚拟组织实例新建工厂工厂建设位置所涉及的复杂金融预测模型.由应用服务提供商ASP提供存放企业历史数据和信息的企业数据库存放在一个存储服务提供商(SSP)管理的存储系统参加决策的部门首脑们处于不同的城市,需要交互协作地对厂址进行讨论ASP可以根据需要从按需计算周期(Cycles)提供商获得额外的计算能力,网格的基本概念,虚拟组织实例飞机联合设计目标：完成下一代超音速飞机可行性研究方法：整个飞机的多学科高精度仿真整合由不同参与者开发的所有软件组件软件组件运行在各参与者的机器上访问适当的设计数据库，以及分布的其它数据,网格的基本概念,虚拟组织实例大规模在线游戏由许多虚拟世界组成的大规模Internet游戏每个虚拟世界有自己的自然法则和因果关系，每个虚拟世界还有大量的居民，居民之间可以交互，可以从一个虚拟世界迁移到另一个虚拟世界，虚拟世界可能会按照需求扩张以容纳增长的居民。仿真：增加模拟虚拟世界自然法则的新仿真技术，仿真过程之间需要合作以模拟当虚拟世界发生冲突时发生的情景,网格的基本概念,虚拟组织实例分析探测器结果数据CERN的主要探测器LHC的探测结果来自世界上几百所大学和科研单位的上千位物理学家聚到一起来设计、创建、操作和分析探测结果集中了相关的计算资源、存储资源和网络资源，组建了可以分析PB数据量级的数据网格,LHC Experiments,World Wide Collaboration distributed computing&storage capacity,LHC:5000physicists 270 institutes 60 countries,网格的基本概念,虚拟组织概念上述实例的不同点不同数量和类型的参与者;不同的行为类型;互操作的持续时间和规模不同;访问的资源不同相同点拥有不同优先级的彼此不信任的参与者为了共同完成任务都需要共享资源被共享的资源不仅是简单的文件资源,还包括软件资源,计算资源,数据资源,传感器资源,网络资源,通信资源等.,网格的基本概念,虚拟组织概念共享规则资源提供者和资源消费者需明确仔细的定义共享什么,谁可以共享,以及共享时所要满足的条件.由这些共享规则定义的一组个体和/或机构形成”虚拟组织”(virtual organizations,VO),网格的基本概念,Grid的定义Coordinated resource sharing and problem solving in dynamic,multi-institutional virtual organizations.动态多机构虚拟组织中的协同资源共享与问题解决,Ian Foster,Senior Scientist,Mathematics&Computer Science Division,Argonne National LaboratoryProfessor,Department of Computer Science,The University of Chicagohttp:/foster,网格的基本概念,共享关系带来的技术挑战计算模式C/S模式P2P模式资源的异构性和多样性程序,文件,数据,计算机,传感器,网络等对资源的高级精确的控制功能包括细粒度的多所有者的访问控制、授权、本地和全局策略的应用,网格的基本概念,共享关系带来的技术挑战资源虚拟化为服务资源能以标准的方式透明访问，而不需要考虑其物理位置和实现方法应用模式的挑战单用户 vs 多用户性能敏感 vs 成本敏感服务质量记帐,网格的基本概念,虚拟组织中的共享关系实例物理组织AirCar，Boeing，CyclesRU虚拟组织VO-Space：作用：使用不同位置(AirCar，Boeing)的程序和数据设计先进的航天工具性质：国际性虚拟组织VO-Cycles:作用:把未使用的计算周期聚集到一个本地服务提供者(CyclesRU，Boeing)以便完成计算密集型任务,虚拟组织中的共享关系,Boeing,AirCar,CyclesRU,VO-Cycles中的参与者可以使用空闲CPU周期,VO-space中的参与者可以运行程序B和D,VO-space中的参与者可以运行程序A,What is the Grid?A Three Point Checklist July 20,2002,Ian Foster,Grid的三要素,A Grid is a system that:(1)coordinates resources that are not subject to centralized control 对非集中控制的资源进行协调(2)using standard,open,general-purpose protocols and interfaces 使用标准的、开放的、通用的协议和接口(3)to deliver nontrivial qualities of service(QoS)提供非平凡的服务质量,网络计算体系结构的发展,五层沙漏结构开放网格服务体系结构OGSAOpen Grid Service ArchitectureWeb Service 资源框架WSRFWeb Service Resource FrameWork,网络计算体系结构的发展（续）,网格计算体系结构层次体系结构开放网格服务体系结构OGSAOGSIWSRF（WSResource Framework）,20世纪60年代，提出了网格计算的基本思想。因特网的先驱：提出银河间计算机网络的概念，相信世界上每个人能随处使用计算机和获取数据。20世纪80年代末，提出了“元计算”（meta-computing）概念。通过联网环境透明地获得和使用的强大的计算资源。90年代末，提出了网格（Grid）概念。一个无缝集成的计算和协同环境。,网格的起源,网格的发展,萌芽阶段：在90年代早期，主要是千兆网的测试床，以及一些元计算的实验；如FAFNER(Factoring via Network-Enabled Recursion),如I-WAY;早期实验阶段：在90年代中期到后期，包括一些学术性的软件项目，比如，Globus，Legion，还有一些应用实验；迅速发展阶段：2002年以来，出现了大量的应用社团和项目，主要基础设施的开发的使用，工业对网格计算的兴趣在增长等，比如IBM，Platform，Microsoft，Sun，等重要的公司；,网格特点,作为一种新出现的重要基础设施，了解这个设施的特点，可以帮助了解认识和把握网格。网格的特点如下：（1）分布性,网格特点（2）,（2）自相似性 分形模型最重要特征就是自相似性，即整体和局部之间存在一定的相似性。整体和局部互相体现特征。,网格特点（3）,（3）动态性和多样性 动态性包括动态增加和动态减少两个方面（4）自治性与管理的多重性 网络中的资源首先是归自身所有者拥有的，网格资源也必须接受网格的统一管理。网格的自治性是指网格允许资源拥有者对他的资源有自主的管理能力。网格管理多重性是指一方面它允许网格资源的拥有者对资源具有自主性管理，另一方面又要求网格资源必须接受网格的统一管理。,网格体系结构,体系结构本身就是一个系统的整体框架结构，通过它从整体上了解一个系统的构架布局等。网格体系结构也是如此，我们给出一个通用意义上的定义：网格体系结构就是关于如何建造网格的技术。它给出了网格的基本组成与功能，描述了网格各组成部分的关系以及它们集成的方式或方法，刻画了支持网格有效运转的机制。,网格体系结构的精髓,网格体系结构体现了一个分合思想，贯穿两条主线，一个是“分”，另一个就是“合”网格体系结构的作用是在一定程度上对网格的解剖。GA必须要能够标识出网格的基本组成成分，要能够清楚地说明网格整体是由那些关键部分结合在一起形成的。GA还必须能够对各个部分地功能、目的、特点等进行清晰地描述，使人们能够了解各个组成部分的作用。这是“分”的作用。“分”的基础之上，GA还需要进一步描述“合”的功能，即充分了解网格的各个部分的作用机理、作用方式等的基础上，将分的部分按照一定的方式进行组织和集成，形成一个特定功能的整体对外提供服务。,网格体系结构-网格的同轴模型,高性能网络通信资源管理网格服务网格应用,网格体系结构-网格系统的组件模型,网格体系结构-网格系统的组件模型,网格资源：包括网络上所有分布的，可访问的计算资源。实现了计算资源在物理上的连通。网格中间件：一系列工具和协议软件。屏蔽网格资源的分布、异构特性，提供透明、一致的接口。网格开发环境和工具：让开发人员开发不同的应用以及用户代理在全局资源中调度计算。网格应用层：是用户需求的具体体现。提供网格入口(grid portals)技术。,从网格开发角度体现出来的网格层次结构,网格体系结构的演变,五层沙漏结构 由Foster等最早提出的，是一个最先出现的应用和影响广泛的结构。OGSA体系结构 开放网格服务结构OGSA(Open Grid Services Architecture)是Global Grid Forum 4的重要标准建议，是继五层沙漏结构之后最重要的一种网格体系结构。是由Foster等结合Web Service等技术，在IBM合作下提出的新的网格结构。,五层沙漏结构,五层沙漏结构是一种以协议为中心的结构，也十分强调服务与API（Application Programming Interfaces）和SDK（Software Development Kits）的重要性。五层沙漏的基本思想：共享互操作协议API/SDK五层划分,沙漏结构设计原则,保持参与的开销最小核心协议较少的，要普遍支持提供一些核心服务为基础类似OS内核，移植方便管辖多种资源，允许局部控制用来构建高层的、特定领域 的应用服务支持适应性“IP hourglass”model,高层功能向瓶颈部分的映射,瓶颈部分功能向底层的映射,瓶颈部分,Hourglass,Grid Architecture比较Internet Architecture,每一层存在的协议、服务和接口,Languages/Frameworks,Fabric Layer,Applications,Local Access APIs and Protocols,Collective Service APIs and SDKs,Collective Services,Collective Service Protocols,Resource APIs and SDKs,Resource Services,Resource Service Protocols,User Service Protocols,User Service APIs and SDKs,User Services,Connectivity APIs,Connectivity Protocols,五层沙漏结构,构造层(Fabric),构造层本地控制的接口提供资源如计算资源，存储资源，目录，网络资源，传感器等资源可以是逻辑实体，如一个分布式文件系统、计算集群或分布式计算机池。实现了本地的，具体于资源的操作具有内省机制，该机制支持发现资源的结构、状态和能力实现资源本地管理机制。如集群资源具有内部协议如集群管理协议和软件，网格可以利用该协议提供对服务质量的某种控制,构造层(Fabric),构造层计算资源需要启动程序并监视和控制结果进程执行的机制；需要内省功能来确定硬件和软件的特征，以及相关的状态信息存储资源需要发送和获取文件的机制；需要对文件的部分子集进行读和写，以及执行远程数据选择和数据裁剪的机制；对分配给数据传输的资源（磁盘空间、磁盘带宽、网络带宽、CPU等）进行控制和管理的机制；需要内省功能来确定可用的空间和带宽利用率等信息网络资源需要对分配给网络传输的资源（例如，优先级队列、预留的资源）进行管理的机制；需要内省功能来确定网络的特征和负载。,Grid体系结构各层说明,构造层(Fabric)：提供一套对局部资源控制的工具和接口；计算、存储、网络、数据和目录等对所控制的共享资源进行局部管辖和调度实现各种资源本身的一些控制管理机制不同类型资源不同的控制管理机制,YH资源和作业管理系统,SGI资源和作业管理系统,IBM资源和作业管理系统,特定构造层资源及其功能特性,连接层,连接层安全便利的通信定义了通信和认证核心协议通信协议通信协议实现传输（IP/TCP/UDP,IPX/SPX）、路由（OSPF/RIP/EIGRP）和命名(DNS/Netbios)不局限于TCP/IP协议栈，还包括ATM，高性能光纤网，无线网络等通信协议,连接层,连接层安全便利的通信保证通信安全的认证核心协议单一登录网格用户需要启动访问多个远程资源的计算任务，但是用户应该只认证一次，而不必为访问每个资源或管理域都“登录”委托和限制性委托一个用户必须能够赋予一个程序代表他运行的能力，以便该程序能够访问授权该用户访问的资源被委托的程序能够有选择的把它的权限的一部分委托给另外一个程序，即限制性委托与本地安全方案的集成在异构网络中，每个资源提供者通常都有本地安全方案，不能要求对本地安全方案进行大规模替换。网格安全方案必须能和不同的本地方案互操作，实现对本地环境的映射。基于用户的信任关系如果用户拥有地点A和地点B的权力，那么该用户应该能够一起使用地点A和地点B，而不需要地点A和地点B的安全管理者之间进行交互,Grid体系结构各层说明,连通层(connectivity):定义了Grid网络事务处理的通信和验证协议，基于Internet协议；基于Internet协议，完成通信；认证和安全通信,连接层安全认证特性,资源层,资源层实现经过身份认证的网格用户与远端资源和服务进行交互的功能定义单一资源上的共享操作协议如安全协商、初始化、监控、控制、记帐、付费等资源层协议调用Fabric层的功能来访问和控制本地资源两种主要协议类型信息协议：用来获得资源的结构和状态信息，如配置负载代价等管理协议：用来协商对共享资源的访问，指定资源请求策略（如资源预留，或资源Qos），以及资源操作（如进程创建数据访问等）的实例化,Grid体系结构各层说明（续）,资源层（Resource)：定义了一些对单个的资源共享操作协议定义了某类资源的管理和操作等的标准协议和接口可以远程统一的访问和共享操作资源如交换、启动、监视、控制、记帐和支付等，以及应用程序接口和软件包；,例如：标准的作业管理系统接口和标准,资源层的协议类型与描述,汇聚层,汇聚层所定义的协议和服务不是同某一特定资源相关的,而是用来定义资源集之间的交互汇聚层能够实现多种不同的共享行为而不需要对共享资源施加新的限制,如网格目录服务:MDS-2协同分配调度代理服务:AppLeS,Condor-G,Nimrod-G等监控和诊断服务数据复制服务汇聚层提供编程工具和编程模型编程模型(chap24)工作流系统软件发现服务（NetSolve,Ninf）虚拟社区内协同信息交换（如Access Grid,B,群件系统等）汇聚层同样涉及安全策略和记帐问题,Grid体系结构各层说明（续）,聚合(Collective)：提供多个资源协同工作联合资源调度和预约，信息服务，数据复制服务、资源发现服务、团体授权服务、协作服务和分布记帐服务等；,例如：标准的作业管理系统接口和标准,联合分配,汇聚层服务和协议,Grid体系结构各层说明（续）,应用层：提供Grid的系统开发和应用开发工具、环境程序设计语言和应用开发方法、环境可视化工具资源发布和预定工具工作流管理工具Web Portals应用代码构件应用,五层结构各部分与globus功能对应关系,Globus 2.0,Globus采用模块化设计，包括四个模块：1.数据管理模块：GASS（Global Access to Secondary Storage）,二级存储全局访问，为远程文件的访问提供统一接口 GridFTP,网格文件传输协议，提供网格环境下比FTP更丰富的功能2.资源管理模块：GRAM（Globus Resource Allocation&Management）,负责分配和管理本地资源 DUROC（Dynamically-Updated Request Online Coallocator）,实现跨节点的资源协同分配,Globus,3.信息管理模块：GIIS（Grid Index Information Service）:网格资源的信息注册处,实现服务和信息的发现 GRIS（Grid Resource Information Service）:网格资源的信息收集者和信息提供者4.安全管理模块：GSI（Grid Security Infrastructure）:网格安全体系结构,云架构（Ian Foster）,云架构,Fabric层包含原始硬件层资源，比如计算资源、存储资源、网络资源。统一资源层包含抽象或封装（用虚拟化方法）的资源，以便它们作为集成的资源可以被暴露给上层或终端用户，比如，虚拟的计算机或集群，逻辑文件系统，数据库系统等,云架构,平台层在统一资源的上面增加规范的工具、中间件和服务的集合，以提供开发或部署的平台。比如，Web宿主环境，调度服务等。应用层包含运行在云上的应用。,