网格信息服务的应用需求.ppt

《网格信息服务的应用需求.ppt》由会员分享，可在线阅读，更多相关《网格信息服务的应用需求.ppt（51页珍藏版）》请在三一办公上搜索。

1、Grid Computing 11-2 GRID INFORMATION SERICE,提纲,Part I 网格信息服务概述Part II Globus MDS 2,网格信息服务的应用需求,计算资源：地理分布，繁多异构，动态变化计算能力：随处可得，灵活可靠，标准廉价用户：以单一映像的形式展现给用户要求：信息请求者和资源提供者之间架起桥梁信息服务：网格服务运行环境中，向用户提供信息服务管理的共性服务,信息服务 必不可少,网格信息服务的功能,网格运行支持平台重要的组成部分有助于解决以下问题:哪些资源可用资源发现什么是网格的状态资源选择怎样优化资源的利用应用的配置和适应性,信息服务具备的功能提供对系

2、统组件静态和动态信息的访问是异构和动态环境进行适应性配置的基础应提供信息的灵活的，统一的访问动态信息的有效管理多个信息源的访问非集中式的维护,简单信息服务的工作模型,信息服务的工作模型 contd,参与实体服务提供者为服务请求者提供服务服务请求者消费这些服务前提服务请求者与服务提供者之间建立一种类似于合同的服务等级协定双方需要在该服务等级协定的约束下履行各自的义务与职责服务提供者必须提供协定中所规定质量与价格的服务服务请求者必须在这一协定约束下进行权限内的操作。服务提供者与服务请求者间的关系通过服务等级协定来体现。,网格信息服务系统分类,按照其采取的描述网格对象的数据模型的不同，可分为：基于层

3、次模型的网格信息服务系统基于网状模型的网格信息服务系统基于“关系”模型的网格信息服务系统基于面向对象模型的网格信息服务系统这四种系统在对网格实体属性的表示上均采用（属性，值）对的方式，但是它们在表示网格对象的关系（即实体之间的关系）上有不同由于层次模型和网状模型有许多共同之处，“关系”模型和面向对象模型也很相似，所以集中讨论层次模型和“关系”模型，这两种模型也是目前网格信息服务系统中采用的最多的,层次数据模型,用一棵“树”来表示网格对象的名空间。一个对象类型作为树根，其他所有网格对象都与树根关联。传统上，层次模型只支持“父子”关系，因此很难对网格对象的关系进行抽象和命名，而且在名空间上的查找只

4、能通过指定网格对象名称来实现。例如，LDAP和XML是层次模型的，但二者都对传统层次模型使用“别名”或者“指针”加以扩展，实现对象之间的“引用”关系“引用”关系增强了模型的表达能力，当然这种在查询过程中的路径转移也会适当增加系统的开销。层次数据模型的弱点是表达对象之间关系的能力不够，但其“树”型结构非常适合对网格信息的分布式管理，很容易映射到网格的虚拟组织上。,“关系”数据模型,用二维表或“关系”来表示网格信息一个“关系”就是一个对象类型，对象本身由一系列（属性，值）对定义，“关系”则既代表着对象，又代表着对象之间的关系优点：能够表达对象之间的任何关系，不仅仅是“父子”关系，使得基于“关系”数

5、据模型的网格信息服务系统的表达能力比基于层次模型的网格信息服务系统要强得多.缺点：不利于在网格内跨多个管理域的分布式管理（这方面的问题正在研究之中）,网格信息服务系统的基本功能,信息登记,网格信息服务系统必须为网格内的资源贡献者提供将其资源的描述信息发布出去的接口，即信息登记的功能。信息登记实际上是一个从信息源到某个专用集合目录的信息传输和存储的过程涉及到的问题包括网格资源原始信息的表示原始信息格式到集合信息目录存储格式的转换数据传输的安全加密措施能够根据资源生存期而调整的动态登记机制信息冗余检测机制网格资源失效检测机制,信息查询,信息查询接口定义了网格资源消费者或其他网格实体从网格信息服务系

6、统检索相关信息的方式查询信息的网格实体包括：某种网格服务组件如任务调度器网格应用如需要分配计算资源信息和指定数据集分布位置的大规模工程计算问题终端用户他们需要了解网格内的最新资源动态查询接口的复杂性决定了用户查询操作的难易程度，查询操作的效率和查询的频率,信息更新,根据网格内资源的动态性，网格信息服务系统不能只存储长期不变的静态信息，还必须支持信息的动态更新机制网格信息的更新包括对网格对象的更新包括对网格对象的（属性，值）对的修改、增加和删除对网格对象类的更新，主要是对对象关系的更新对象类的更新频率要远远低于对象的更新频率当网格规模较小时，网格信息服务系统可以采用对象类固定不变的相对静态的数据

7、模型,信息更新 cont.,根据网格信息的更新频度，网格信息服务可以分为三类：只读型信息集合目录不提供标准的信息更新接口，只允许查询操作对极少数信息更新操作通过其它途径实现，如通过改写配置文件此类的网格信息服务系统类似于当前Internet的DNS系统读优先型信息集合目录允许对其索引信息进行更新，但是它只遵循一个相对较慢的更新一致性协议，而对读操却做了专门的优化，使读操作的效率远远高于写操作的效率采用LDAP的系统属于这一类 读写型允许读操作和写操作，而且二者具有相同的敛率采用“关系”数据模型的网格信息服务系统就是这类系统,信息的分布式管理,由于网格的分布性，网格信息服务系统必须支持高可扩展的

8、网格信息的分布式管理分布式信息管理系统的设计思路在不同的虚拟组织内建立各自的网格信息集合目录在统一的逻辑视图上把所有的网格信息集合目录集成起来涉及的研究问题对网格信息全局视图的研究对网格信息集合目录之间关系的研究局部信息到全局信息的映射,信息的自适应复制,在一个虚拟组织内，为了保证对信息消费者的请求能够及时有效地做出响应，网格信息服务系统需要进行信息的自适应复制根据网格信息的访问频率来维护相同网格信息集合的多个备份选择距离信息消费者最近的一个备份作为信息查找的集合目录要保持多个信息集合的数据一致性,安全访问控制,限制哪些用户或者网格应用有什么样的权限去访问哪些网格信息涉及的安全机制包括对用户的

9、安全认证机制访问信息的委托授权机制数据安全传输机制,网格信息服务的特征,分布性网格强调资源环境的广域分布特性，作为服务信息管理者的信息服务也就相应的具有了分布的特征自治性由于构成网格的节点隶属于不同的组织域，跨组织域的资源共享与协同必须服从各个自治域的安全和管理策略网格应用对可信计算的需求与跨组织节点的“不信任通信基础”之间的矛盾导致了服务信息不能完全的被整个系统所共享，而是受到所属虚拟组织的安全要求的影响动态性网格本身是一个不断变化的环境，其动态性包括两个层面网格节点（资源节点）进入网格系统的动态性各节点自身状态的动态性封装性由于网格系统的节点种类繁多，且同类节点结构差异大，存在着严重的异构

10、性问题，在进行服务信息管理的时候，需要研究一些新的方法和机制来屏蔽这种资源异构性，定义符合网格合作特征的服务信息,Part II Globus MDS 2,Resource Discovery/Monitoring,Distributed users and resourcesVariable resource statusVariable grouping and connectivity,Basic Grid Question Phases,Resource Discovery“What resources are relevant?”Bootstraps planner stateRes

11、ource Status Query“How do resources compare(now)?”Refines planner knowledgeResource Control“Did I acquire the resources?”Not an information service task!,The Globus Toolkit Solution:MDS,Meta Directory Service(MDS)Globus Toolkit implementation of a Grid Info ServiceSystem information is critical to o

12、peration of the grid and construction of applicationsA basis for configuration and adaptation in heterogeneous,dynamic environmentsRequirements and characteristicsUniform,flexible access to informationScalable,efficient access to dynamic dataAccess to multiple information sourcesDecentralized mainte

13、nance,“Classic”MDS Architecture(MDS-1),Resources push information into a central organization server via regular updates(globus-gram-reporter),where it can be retrieved by clients.Regular updates dont scale as the number of resources grow rapidly.Commercial LDAP servers are optimized for“read”reques

14、ts,and cant handle frequent“write”requests.If organization server is unavailable,no information is available.,“Standard”MDS Architecture(MDS-2),Resources run a standard information service(GRIS)which speaks LDAP and provides information about the resource(no searching).GIIS provides a“caching”servic

15、e much like a web search engine.Resources register with GIIS and GIIS pulls information from them when requested by a client and the cache as expired.GIIS provides the collective-level indexing/searching function.,GIISCache contains info from A and B,GIIS requests information fromGRIS services as ne

16、eded.,Client 1,Client 2,Client 3,Clients 1 and 2 request infodirectly from resources.,Client 3 uses GIIS for searchingcollective information.,MDS-2 Service Architecture,Dynamic Registration via Reg.Protocol(GRRP)Resource Inquiry via Info.Protocol(GRIP)Co-located with resource on networkResource Disc

17、overy(via GRIP or other)Using GRIP allows resource/directory hierarchy,discovery(GRIP?),lookup(GRIP),registration(GRRP),VO-specific Aggregate Directories,standard Resource Description services,R,R,R,R,A,A,?,Distributed Services,Service scales with Grid growthLoose consistency model tolerates failure

18、sInteroperability by GRIP/GRRP protocols,D,D,D,D,Soft-state Registration,Periodic notificationService/resource is availableGranularity metadataAutomatic extensionAdd new resources to directoriesInvite resource to join new directorySelf-cleaningReduce occurrence of“dead”references,Globus MDS2.1 Overv

19、iew,Metacomputing Directory Service,MDSMDS是Globus项目中的信息服务主要工作：对网格计算环境中信息的发现，注册，查询，修改等。提供对网格计算环境的一个真实，实时的动态反映处理的信息：网格计算环境中的各种资源（包括数据资源，计算资源等），服务和其它主体entity的描述作为信息基础设施的一部分，MDS采用动态可扩展的框架来管理网格计算环境中各种资源（计算，网络，存储，仪器等）的静态和动态信息MDS的基本特征：数据生成，数据分布，数据存储，数据搜索，数据查询和数据显示等目前MDS可提供如下服务信息网格环境中存在的资源网格计算环境的状态信息基于当前的网格

20、计算环境的网格应用的优化信息,MDS的实现,MDS使用LDAP（Lightweight Directory Access Protocol）作为网格信息访问与存储的统一界面MDS提供了一个可配置的信息提供者组件，称为GRIS（Grid Resource Information Service）和一个可配置的集合目录组件，称为GIIS（Grid Index Information Service）,GRIS,提供了一个统一的手段来查询网格中资源的配置，能力和状态是一个分布的信息服务，通过在网格计算环境中对GRIS进行部署deploy，可满足相关的查询请求，如主机名称，节点操作系统版本号等静态信息

21、和可用CPU数和内存大小等动态信息,GIIS,提供了一种把各种GRIS服务结合起来的手段，并提供一个连贯的系统映像以方便网格应用程序进行搜索和查询可鉴别特定类型的资源，如GIIS可列出属于某个虚拟组织的所有实验室中的计算资源，或者某个结构的所有分布的存储系统等。GIIS可把属于某个虚拟组织的所有网格资源进行汇总，并提供一个连贯的网格资源系统映像,Grid Resource Information Service(GRIS)Provides resource descriptionModular content gatewayGrid Index Information Service(GIIS

22、)Provides aggregate directoryHierarchical groups of resourcesLightweight Directory Access Protocol(LDAP)Standard with many client implementationsUsed for GRIP(and GRRP currently),用户访问GRIS和GIIS的情况,MDS Architecture,简要逻辑结构图,信息提供者,包括：核心信息提供者（必须的，各种关键信息）；通用信息提供者（一些不是必须的信息）；自定义信息提供者（某些特定应用的特殊信息）在MDS中有一系列的

23、信息提供者程序，这些程序可用来向MDS发布各种类型的网格信息。用户也可创建自己特定的信息提供者，并分布特定的网格信息。GRIS基于信息类型和它缓存情况对信息提供者进行调用，并对信息提供者的信息进行过滤，再把结果返回给信息查询者在MDS中，高层服务或用户与信息提供者之间通过两个基本协议进行交互，一个软状态注册协议；另一是查询协议两种协议进行间接交互的考虑：把信息查询与信息提供分开处理可以不用修改组成网格计算环境的各种资源和服务，在实现上改动很小，并层次分明，开销不大，有利于将来不同的高层服务和信息提供者的实现,MDS实现的信息源,（1）静态主机信息(操作系统及其版本号，CPU类型，CPU数目，内

24、存大小等)（2）动态直接信息(平均负载，运行的进程数等)（3）存储系统信息(可用磁盘空间，总磁盘空间等)（4）基于Network Weather Service得到网络信息(当前测量的和预测的网络带宽，当前测量的和预测的网络延迟等),MDS的信息模型-1,三种类型的信息结构信息(Structural Information)通过映射到对象的层次结构来表示，而对象是通过DIT中的有名位置来表示合并信息(Merged Information)通过把携带子节点数据的父节点联合(join)起来表示，通常用于简化查询模式辅助信息(Auxiliary Information)采用LDAP辅助对象类来统一表

25、示leaf/parent数据，可用于表示相关属性信息的集合一个对象必须有一个结构类型，但可有零个或多个辅助类型,MDS的信息模型-2,在GRIS主机对象层次中使用的信息模型为,结构类型,辅助类型,MDS的信息模型-3,反映主机特性的DIT视图,OS,OS,使用MDS-1,通过MDS可查询信息包括计算资源的信息：IP地址、可用软件、系统管理者、连接的网络、OS及版本号、存储系统、系统负载、进程信息、内存信息、任务队列等网络资源信息：网络带宽、网络协议、网络延迟、网络的逻辑拓扑结构等Globus基础设施信息：主机信息、资源管理者等Globus用户和高层服务可通过MDS-API或命令对MDS进行访问

26、为了与MDS进行交互，用户首先需要合法的安全证书，并且创建用户代理进行授权访问，同时在服务方启动MDS,使用MDS-2,可通过grid-info-search和grid-info-host-search命令对信息进行查询，命令的接收方由节点名、信息服务方和端口号确定grid-info-search:General purpose clientgrid-info-search h-p-b-T-x:Anonymous accessgrid-info-host-search:Same as grid-info-search,but defaults to GRIS standard portE.g.

27、grid-info-host-search h localhost,MDS存在的主要问题,应该提供更丰富、更全面的GRIS及Information Providers，这样能完成对网格资源的完整描述和状态搜集以及新的、特殊的信息源描述 基于LDAP目录的方法不能有效支持数据目标数目的增长，尤其是数据对象之间的复杂关系的描述，同时不能有效支持数据修改和复杂查询(Relational Database)Schema需要进一步完善。,LDAP,MDS目录结构遵从LDAP模型，主要由目录信息树DIT(Directory Information Tree)层次和对象类定义组成。有关LDAP的详细信息可参

28、考RFC2251,RFC2252,RFC2254,RFC2256文档是一个独立于厂家和平台的开发网络协议标准。LDAP是用来访问存储在信息目录（也就是LDAP目录）中的信息的协议。更为确切和正式的说法应该是：“通过使用LDAP，可以在信息目录的正确位置读取或存储数据”它在对X.500标准进行简化的基础上，基于TCP/IP定义了一个目录服务标准，主要包括：LDAP信息模型：定义了目录中数据的类型 LDAP命名模型：定义了目录的组织方式 LDAP函数模型：定义了如何访问和更新目录 LDAP安全模型：定义了如何防止未授权用户对目录信息的访问和修改,LDAP的重要结构,在LDAP目录中，信息是存储在一

29、个树形结构中的，一般称为DIT（Directory Information Tree），由很多主体组成主体表示LDAP中的资源信息，每个主体具有唯一的标识每个主体包含零个或多个“属性-值(Attribute-Value）”对，表示资源的属性主体的类型，称为对象类，确定了主体和属性的必选项和可选项。,DIT,包含一个对其所有数据的层次视图，而且提供一个基于树形的搜索系统这个树形结构本身称为DIT。DIT子树可在一个LDAP服务器中，也可分布在多个LDAP服务器中,DIT cont.,信息树中的每一个节点是一数据项，或是一个目录服务项DSE（Directory Service Entry）。这些项

30、包含描述计算环境中真实或抽象对象的实际记录，如用户，计算机，网络，参数等。记录的内容作为一个属性、值对来存储信息树中的根节点称为root DSE，它包含对这个信息树的布局和内容的描述。而某个数据项包含一系列的属性、值对。可以简单的把每一项看成是变量的数据结构DIT的每个节点都有一个唯一的路径连接到根节点。这个路径可作为与此节点相关联的项的名称。在LDAP的概念中这个名称就是节点的DN Distinguished NameDIT的容器是在DIT中的一个分支节点关联的数据项。一个容器可存储其他项或其他容器。,在LDAP协议中存在两种通信模式 客户-服务器通信 通信允许用户程序连接LDAP服务器进行

31、创建，检索，修改，删除数据等操作 服务器-服务器通信 定义多个服务器如何共享一个LDAP目录信息树DIT，以及如何更新和复制服务器之间的信息,LDAP优点,LDAP是跨平台的协议，可以在任何平台的计算机上，用LDAP客户端软件去访问LDAP服务器对LDAP的读操作的完成速度比普通的数据库要快很多，LDAP专门为读操作进行了优化，适合用于那种需要频繁读取场合LDAP服务器可以是分布的，用户访问到的信息可以是本地的LDAP服务器，也可以是全局的。各地服务器之间可以通过LDAP内部的机制很容易的实现内容的同步（不过同步更新的速度不一定很快）LDAP的存储是以一条条记录entry存储的，各entry可以存储的属性可变,总结,叙述了关于网格信息服务的基本知识介绍了MDS的相关情况（GRIS,GIIS）简略描述了LDAP,Thanks!,Questions and comments?,