数据库网格计算.ppt

《数据库网格计算.ppt》由会员分享，可在线阅读，更多相关《数据库网格计算.ppt（65页珍藏版）》请在三一办公上搜索。

1、2023/6/21,1,第5章 网格监控,第II部分 基本服务,本章内容的安排5.1 引言5.2网格监控体系结构 5.3评价准则 5.4网格监控系统概览 5.5其他监控系统5.6 小结5.7 本章小结,2023/6/21,2,5.1 引言,网格环境是一个复杂的、全球分布式系统，它可能涉及到数量巨大的、千差万别的、地域上分布的应用所使用的部件。这里所指的部件包括了应用所需要的所有软、硬件服务和资源。这些部件的差异性以及大量的用户数极易导致故障、失败和超载的发生。因此，需要采用一些合理的机制对这些部件和它们的使用情况进行监控，希望能检测到导致瓶颈、故障或失败的原因。网格监控最关键的是提供健壮的、可

2、靠的、有效的环境。,2023/6/21,3,5.2 网格监控体系结构,网格监控体系结构GMA2由三种类型的部件组成:目录服务（Directory Service）：用于生产者、消费者以及监控数据（事件）的发布和发现；生产者（Producer）：由产生性能数据的传感器组成；消费者（Consumer）：对性能数据访问和使用。,2023/6/21,4,消费者 消费者可能是接收来自生产者的监控数据（事件）的任何程序。消费者经历的步骤：定位事件：消费者根据新的事件类型来检索一种摘要知识库。这种摘要知识库可能是GMA目录服务的一个组成成分。定位生产者：消费者检索目录服务去寻找一个合适的生产者。查询初始化：

3、消费者向生产者请求事件，并作为响应的一部分被传递。订阅初始化：消费者能为它们感兴趣的某些确定类型的事件向生产者订阅。终止订阅:消费者向一个生产者终止订阅。注册：消费者能增加/移除/更新一个或多个在目录服务中的条目，这些条目描述了消费者可接受生产者事件。接受查询：消费者也能接受来自某一生产者的查询请求。当然这里的“查询”也包含了响应。接受订阅：消费者接受来自一个生产者的订阅请求。一旦有来自消费者的请求，生产者将被自动通知。取消订阅：消费者接受来自生产者的取消订阅请求。一旦成功，对应于此订阅的任何事件不再被接受。,2023/6/21,5,目录服务 GMA目录服务提供关于生产者或接受请求的消费者的信

4、息。目录服务提供的功能概括如下：查询授权：对想要进行查询的消费者建立标识（通过授权）。修改授权：对想要修改条目的消费者建立标识。添加：在目录中添加一条记录。更新：更改目录中记录的状态。移除：移除目录中的一条记录。查询：执行来自生产者或特定类型的消费者的查询，可能附带一些事件元素的确定值。消费者可指出是否仅有一种结果返回还是多个结果返回。一种可选的扩展允许消费者获得多个结果，每次在子查询中使用“获取下一个”来获得一个元素。,2023/6/21,6,2023/6/21,7,生产者 一个生产者是向消费者发送监控数据（事件）的软件组件。生产者经历的步骤：定位事件：检索事件目录服务以获得一个事件的描述。

5、定位消费者：检索事件目录服务以获得一个消费者。注册：在事件目录服务中增加、移除、更新一个或多个事件描述条目，这些事件是生产者将要接受的来自消费者的事件。接受查询：接受来自消费者的查询请求。在回复中返回一个或多个事件。接受订阅：接受来自消费者的订阅请求。在回复中返回事件流信息的进一步细节。取消订阅：接受来自消费者的取消订阅请求。一旦成功，与此订阅相关的事件不再发送。查询初始化：向消费者发送事件的单一的集合，作为“请求”查询的一部分。订阅初始化：请求向消费者发送事件，它们以流的形式传递。在回复中返回事件流信息的进一步细节。取消订阅初始化：中断消费者订阅。一旦成功，与此订阅相关的数据不再发送。,20

6、23/6/21,8,监控数据1.时间相关的数据带时间戳的动态数据来源于伴随有几个规则消息和间隔信息（由与采样频率相关的计数器提供）的流。这种数据包含了性能事件和状态监控。带时间戳的异步数据通常指示一个事件何时发生。这种数据用来表示警报和检查点通知。时间无关数据包括静态信息，例如操作系统类型和版本号、硬件特性或监控信息的更新时间。这里的所说的“静态”是指数据几乎是不变的，并且通常是由操作员更新的。而“动态”指的是类似状态或性能的信息，它们随着时间的变化而改变。2.信息流数据生产者消费者之间的直接流，在数据的传递中不涉及中间部件。监控是主动的还是被动的，取决于通信是由生产者还是消费者发起的。GMA

7、文档描述了三种类型的交互：发布/订阅；查询/响应通知间接数据分布在中央仓库中。这也许对静态信息是有用的，因为数据量相对较少并且很少更新，而信息发布或发现的成本和信息归集的成本相当。在这种情形下，交互是通过将生产者的发起通知交给目录服务，然后消费者再从目录服务获得数据。沿着一个工作流路径，产生监控信息并在本地存储。这些数据被添加了标记使得能与工作流的特定部分相对应。在作业结束时，监控信息、标记以及工作流的输出也许会返回给消费者或丢弃。通过跟踪作业路径，消费者可以收集标记和监控数据，这些数据混合起来可提供概括性的视图或独立地发送给消费者。3.监控种类静态监控，以使用的时间和带宽来计算，信息归集的成

8、本小于或等于资源发现的成本，例如向中央目录服务发出查询以寻找信息生产者。这些信息几乎不变并且中央仓库能直接提供所需要的信息。这类信息包括系统配置和描述信息。动态监控，一般信息归集的成本较高并且通常涉及到时间序列，如提供连续数据流或需要大量的数据。这类的典型例子是网络和系统的性能监控。工作流监控，随着作业或任务的处理过程产生了大量的可变数据，并且消费者对这些数据的全部或部分感兴趣。例如作业或任务处理的静态信息、错误报告以及作业或任务的追踪。,2023/6/21,9,5.3 评价准则,可扩展的广域监控资源监控交叉API监控同类数据表示信息检索运行可延长性数据的筛选和融合开放和标准协议安全性 软件可

9、用性和独立性项目的活动性和支持性；许可,2023/6/21,10,5.4 网格监控系统概览,Autopilot1.概述Autopilot5,6是一种对并行和分布式计算资源进行实时适应控制的基础结构。Autopilot的目标是创建一种提供带有实时适应控制的分布式应用环境，这样能基于请求模式和观测到的系统性能来自动选择和配置资源管理特性。2.一般体系结构 Autopilot监控部件包括：传感器（Sensor）：对应于GMA中的生产者；在监控的主机上安装传感器来捕获应用和系统性能信息。传感器经配置可完成数据缓存、本地数据简化（传递之前）、频率改变（与远程用户之间信息通信的频率）。在启动之前，传感器通

10、过Autopilot管理器AM（Autopilot Manager）进行注册。激励器（Actuators）：对应于GMA的生产者并提供指导远程应用行为和控制传感器操作的机制。在启动之前，激励器通过Autopilot管理器AM进行注册。Autopilot管理器AM：履行GMA的注册义务；它对远程传感器和激励器的注册请求提供支持，并且为用户提供了定位资源信息的机制。,2023/6/21,11,2023/6/21,12,3.体系结构：可扩展性和故障容错4.监控和可延长性5.数据请求和表示6.检索和标准化7.安全性8.软件实现,2023/6/21,13,分布式环境的控制和观测（CODE）1概述 COD

11、E13,14是一种类GMA体系结构的系统，它试图提供一种可扩展的方法来监控和管理网格。CODE允许管理员监控分布式资源、服务和应用，并对远程主机远程执行预先定义好的系统任务而引起的状态变化做出反应。CODE是由国家航空和宇宙航行局NASA（National Aeronautics and Space Administration）的Ames研究中心15开发的，并在NASA信息能源网格IPG（Information Power Grid）16中加以使用来保证资源的正常运作。2一般体系结构它的核心结构由观测器、控制器、管理器以及注册器组成：在监控的主机上安装传感器来收集监控数据。每个传感器产生一种

12、或多种监控事件，这些事件包含了由传感器命名计划所描述的监控信息。可通过查询传感器来判断它们产生的信息类型。传感器仅对来自传感器管理器SM（Sensors Manager）的直接请求作出响应并收集资源信息。传感器管理器SM对本地的传感器进行管理并决定执行哪个传感器以满足用户的请求。传感器管理器接受来自观测器（Observer）的查询请求和订阅。为了对特定的查询做出响应，传感器管理器向适当的传感器发送请求并通过观测器的生产者接口向请求的客户返回结果。观测器将传感器管理器和传感器机制嵌入到监控的主机上，并提供生产者接口PI（Producer Interface），消费者可通过此接口对收到的监控信息进

13、行查询。PI支持查询响应和基于订阅的请求这两种方式。观测器根据用户的标识、客户位置以及信息类型来实施访问控制机制。控制器（Controller）位于监控的主机上并提供一些机制允许消费者在此台主机上执行一些动作。控制器由一个激励器（AM）组成，它与安装在本地的许多执行特定功能的激励器部件相互作用。例如，启动操作系统daemon。类似传感器，激励器是被动部件，仅当它们的管理者请求时才执行动作。管理器（Manager或消费者）与观测器相连接来查询它所提供的监控数据、事件订阅或修改事件订阅。管理器与控制器相连接来修改远程主机上的Daemons或应用的执行。用户可在管理器内实现管理逻辑，这样，通过控制远

14、程主机自动对监控环境的变化做出响应。例如，当管理器检测到某一个远程作业管理器不响应时，其自动命令远程控制器杀死所有的与此作业有关的进程并启动一个新的实例。管理逻辑能用Java代码来实现或通过采用适当管理规则的专家系统来实现。注册器（Registry）存储观测器和控制器的位置信息，并对它们提供的传感器和激励器进行描述。管理器使用注册器定位远程部件。,2023/6/21,14,2023/6/21,15,3体系结构：可扩展性和故障容错4监控和可扩展性5数据请求和表示 6检索和标准化7安全性8软件实现,2023/6/21,16,GridICE1.概述GridICE18-20以监控网格资源为目标，目的是

15、为了分析资源的使用、行为和性能。该项目是为了为用户提供故障检测报告、服务级协议违规以及用户定义事件的机制。GridICE倾向于把网格信息服务GIS（Grid Information Services）和目前的使用的Globus MDS221,22集成起来发现新的资源。2.一般体系结构GridICE的分层结构在图5.5中给出，它由下列层次构成：度量服务MS（Measurement Service）：使用EDG Lemon 监控基础结构23对资源查询并在内部的中央仓库中缓存信息。要在每一个监控的资源上安装Lemon代理，从而对个性化的传感器部件的操作进行控制。传感器执行本地脚本或应用找回资源信息，

16、这些信息是要在GLUE的扩展版本中输出的。GLUE的扩展版本使用角色来对计算机提供的服务进行描述，例如作业提交或代理服务。必须对传感器进行个性化的配置，从而对主机产生的资源信息进行广告、收集和格式化。基于资源的角色，发布服务Pub（Publisher Services）为用户分类资源。发布服务Pub（Publisher Services）通过在网格信息服务（GIS）中插入最新的资源值把捕获到的资源信息提供给客户。附带地要求GIS向用户发布GLUE命名计划的定义。GIS的使用倾向于给用户提供一个获取GridICE监控信息的公共接口。目前，GridICE使用Globus MDS2。数据收集服务DC

17、S（Data Collector Services）收集并永久保存历史监控数据。资源检测部件周期地扫描本地MDS2，从而自动检测到适于监控的新的资源。新资源的联系信息传递给调度部件，调度部件周期地查询资源去发现它们提供的信息。收集到的资源信息永久存储在GridICE服务器上。检测和通知服务DNS（Detection and Notification Services）提供了事件检测和通知等配置机制（采用Nagios28服务提供的事件机制和主机监控程序）。DNS允许对预先定义的事件集进行检查并发送通知给用户。数据分析器DA（Data Analyser）提供性能和效用分析并产生统计输出。表现服务P

18、S（Presentation Service）：为了满足不同级别用户的需要，提供了一种基于角色的Web接口的资源视图。例如，对一个虚拟结构的管理者来说，它呈现所有可用的资源以及正在执行的作业的视图。对一个网格站点管理者来说，该视图指出了本地资源的状态，而这种用户视图也许包含了如可访问的处理机级别等细节信息。,2023/6/21,17,2023/6/21,18,3体系结构：可扩展性和故障容错4监控和可延长性5数据请求和表示 6检索和标准化7安全性8软件实现,2023/6/21,19,网格门户信息仓库 1.概述 网格门户信息仓库GPIR（Grid Portals Information Repos

19、itory）的目标是对来自网格资源的信息进行事先获取、归集并缓存到一个中心场所，从而提供对网格门户的开发支持。2.一般体系结构GPIR信息提供器GIP（GPIR Information Provider）在监控的资源上运行，获取本地信息并输出XML文档（采用某一种命名计划）。用户把XML文档提交给GPIR摄取器（GPIRIngester）；如果这些XML文档采用一种注册过的命名计划，那么存储到GPIR数据库中。提供了示例的客户端来自动完成这些步骤。GPIR查询（GPIRQuery）服务为用户提供了一种接口来查询缓存在数据库中的信息。可通过资源或虚拟结构名来查询资源。查询请求用事先定义好的一种命

20、名计划的名字进行公式化，例如“load”表示机器装载，“services”表示在系统上执行的可用服务。GPIR查询服务从数据库中找回信息并把这些信息以XML文档的形式返回给用户。GPIR管理用户GAC（GPIR Admin Client）是基于Web的管理级用户，它定义虚拟结构并管理资源信息。GAC能以手工方式提供资源相关的附加信息，例如一种资源的物理位置以及系统管理员的联系方式等细节信息。目前，GPIR定义了9种命名计划，描述如下：静态主机细节，包括主机名、它的结构、位置以及管理员的联系细节。主机装载细节，包括CPU和内存的平均数。主机状态：上线、下线以及不可达。资源的停工期。作业信息，包括

21、队列、作业状态以及约束条件。主机MOTD报文。一簇计算节点的节点状态信息。一系列预先定义的网格服务的状态（通过、失败、超时）：Globus Gatekeeper、GRAM、GIIS、GRIS、GridFTP、NWS以及批作业提交。网络气象服务NWS（Net Weather Service）的带宽和延迟的度量。,2023/6/21,20,2023/6/21,21,3体系结构：可扩展性和故障容错4监控和可延长性5数据请求和表示 6检索和标准化7安全性8软件实现,2023/6/21,22,GridRM1.概述 GridRM36,37是一种通用的开放源代码网格资源监控框架，设计用来获取各种网络设备和服

22、务的资源数据，并向各种用户以他们需要的形式提供信息。2.一般体系结构GridRM采用层次的体系架构，拥有一个全局层和多个的本地层，每一个本地层拥有一个网关来访问本地站点的资源信息（见图5.7）：命名方案NS（Naming Schema）定义资源的语义。默认情况下，GridRM采用GLUE来定义基于计算的资源的属性和数值。驱动程序采用命名方案把来自异类资源的原始数据转换成一种标准形式。驱动程序（Driver）是模块化的插件程序，用来从本地监控代理找回所选择的信息。本地层（Local Layer）提供对本地资源的实时信息和历史信息的访问。管理员与本地层交互来配置驱动程序、命名方案以及资源接口。全局

23、层（Global Layer）提供网格站点或VO与GridRM网关之间的交互，采用GMA著名的轻量级实现jGMA40,41。GridRM网关就是GMA生产者，通过GMA目录注册并对消费者的资源信息请求做出响应。接受SQL格式的请求并将请求转交给本地层加以处理。来自本地层的结果被加工成XML格式并返回给消费者。全局层给消费者提供了访问控制机制并负责控制信息发布。大的网格站点或VO也许拥有多个网关，在这种情形下，构造网关的分层结构来提供资源信息。消费者与网关在全局层交互。使用GMA注册器定位网关，采用SQL语法查询它们的资源。消费者可使用注册器发现当前网格站点上可用的资源，然后直接查询这些资源。,

24、2023/6/21,23,2023/6/21,24,3体系结构：可扩展性和故障容错4监控和可延长性5数据请求和表示 6检索和标准化7安全性8软件实现,2023/6/21,25,Hawkeye1 概述Hawkeye43是一种监控工具，由威斯康星大学开发，提供了监控分布式计算机集合的机制来获取基于计算机的资源信息。Hawkeye的设计目标包括：以一种统一的、可扩展的方式找回主机资源信息以及在监控的主机上自动执行与观测条件相应的任务的能力。尽管Hawkeye基于Condor项目44的技术以及采用分类广告技术ClassADS（Classified Advertisement）45来收集和发布资源信息，

25、但是它打包成了一个独立的系统。Hawkeye收集到的数据对应用以及管理监控资源的用户来说是可用的。配置Hawkeye主要用来监控威斯康星大学的Condor池。,2023/6/21,26,2 一般体系结构,2023/6/21,27,3体系结构：可扩展性和故障容错4监控和可延长性5数据请求和表示 6检索和标准化7安全性8软件实现,2023/6/21,28,监控和管理的Java代理（JAMM）1 概述JAMM46,47是广域的GMA类系统，使用传感器收集和发布计算机主机监控数据。用户可控制远程传感器的执行并以带时间戳的事件形式接收监控数据。,2023/6/21,29,2 一般体系结构传感器（生产者）

26、在主机系统上执行并收集来自本地执行进程的监控数据。数据收集来源于一旦执行就一直存在的进程或连续执行的进程。启动时，传感器通过目录服务进行注册。传感器是产生带时间戳监控事件的任何应用，在整个系统中这些事件用作传播数据的手段。传感器管理器SM（Sensor Manager）控制传感器的执行以及传感器目录的注册。SM提供一种GUI，用户通过它可配置传感器的执行。能指令传感器连续或动态地执行，来响应SM GUI或端口管理器代理PMA（Port Manager Agent）的用户请求。基于目前在主机上执行的应用，PMA判定执行哪一个传感器。PMA假定应用是由位于一个已知端口上的SM GUI远程启动的。例

27、如，当远程用户请求启动了处理器加强应用时，PMA能启动CPU监控传感器。事件网关EG（Event Gateway）为用户提供了控制和订阅传感器的机制。单一的网关可用作与多台主机之间的接触点并提供请求处理和事件筛选责任。一个EG对监控资源的事件进行缓存并为用户提供一些API来查询特殊的监控数据。EG支持源自消费者的查询-响应和流请求。消费者可请求所有的事件数据或仅请求某种确定类型的事件。传感器目录SD（Sensor Directory）用于发布本地传感器的位置以及它们对应的网关信息。消费者使用这个目录来判断哪个传感器是可用的以及它们必须订阅的EG，从而接收一个传感器的输出。事件消费者EC（Eve

28、nt Consumer）使用SD对传感器定位并订阅来自适当EG的事件。消费者处理事件数据并把它转换成定制的资源信息，这些信息能被可视化或进一步加工处理。,2023/6/21,30,2023/6/21,31,3体系结构：可扩展性和故障容错4监控和可延长性5数据请求和表示 6检索和标准化7安全性8软件实现,2023/6/21,32,MapCenter1 概述MapCenter5356通过在用户Web浏览器中使用图形地图、逻辑视窗和计算资源树来监控和显示整个网格中可用的服务。MapCenter使用一种可扩展的模型来可视化不同级别的资源（基于部门、组织和虚拟结构视图）。,2023/6/21,33,2一

29、般体系结构MapCenter体系结构（见图5.10）是由一个中央监控服务器组成，该服务器由数据存储、监控层和表示层组成。,2023/6/21,34,3体系结构：可扩展性和故障容错4监控和可延长性5数据请求和表示 6检索和标准化7安全性8软件实现,2023/6/21,35,监控和发现服务 1 概述 监控和发现服务MDS3（Monitoring and Discovery Service）是为Globus联盟63开发的Globus工具箱3.x(GT3)提供的信息服务。GT3基于开放网格服务体系结构OGSA64，部件的实现遵循开放网格服务基础结构OGSI（Open Grid Services Inf

30、rastructure）65。,2023/6/21,36,2一般体系结构MDS3是一个分布式信息系统，由网格服务的资源层和聚集层组成.,2023/6/21,37,3体系结构：可扩展性和故障容错4监控和可延长性5交叉API监控6数据请求和表示7检索和标准化8安全性9软件实现,2023/6/21,38,Mercury 1 概述Mercury67-69是一种监控系统，其目的是提供应用导航和自我调整，性能分析以及预测。Mercury对 GMA体系结构进行了扩展，提供了一种通用网格监控基础结构，使用激励器和激励器控制器来影响监控系统的操作。,2023/6/21,39,2 一般体系结构Mercury由本地

31、监控器、主监控器以及监控服务组成。,2023/6/21,40,3体系结构：可扩展性和故障容错4监控和可延长性5数据请求和表示 6检索和标准化7安全性8软件实现,2023/6/21,41,网络气象服务 1概述网络气象服务NWS38,73（Network Weather Service）的目标是在分布式系统内提供最近的历史信息以及计算机和网络性能的短期预报。,2023/6/21,42,2一般体系结构NWS的结构由许多分布式部件组成，包括名字服务器、内存、预报器和传感器。,2023/6/21,43,名字服务器NS（Name Server）是一个中央注册机构，包含了NWS部件的地址绑定。NS是系统的惟

32、一的要求部件拥有其地址预先知识的成分。所有的其他NWS部件通过NS来定位并向NS周期性注册。传感器安装在监控主机上并周期地把带有时间戳的本地主机信息和网络性能传递给内存部件。内存，也称为持久状态，提供对度量信息的存储并为传感器和用户提供找回服务。内存存储来自个体传感器的带时间戳的资源观测数据。这些信息保存到本地磁盘，采用了循环缓存技术，因此只能获得最新的资源信息。如果内存部件失败，当内存重启后，最近信息的历史数据对用户来说是可用的。为用户提供了一种简单的请求机制来读取信息。预报器对来自内存的资源观测数据进行处理并根据给定的事件帧执行预报。,2023/6/21,44,3体系结构：可扩展性和故障容

33、错4监控和可延长性5数据请求和表示 6检索和标准化7安全性8软件实现,2023/6/21,45,关系型网格监控体系结构1概述关系型网格监控体系结构R-GMA76-79(Relational Grid Monitoring Architecture)是在欧洲数据网格项目57中开发的，是一种网格信息和监控系统。,2023/6/21,46,2一般体系结构R-GMA拥有一个分布式体系结构，由代理、生产者、消费者、生产-消费器，注册器（仲裁器）以及命名方案组成。,2023/6/21,47,3体系结构：可扩展性和故障容错4监控和可延伸性5数据请求和表示 6检索和标准化7安全性8软件实现,2023/6/21

34、,48,visPerf1概述visPerf81是一种可视化网格监控系统，它采用远程传感器从日志文件中提取信息，也可与已存在的网格中间件交互以达到远程观测性能的目的。,2023/6/21,49,2一般体系结构visPerf NetSolve 监控系统（体系结构见图5.15）是一种由Java applet监控器和远程传感器组成的分布式应用。,2023/6/21,50,3体系结构：可扩展性和故障容错4监控和可延长性5数据请求和表示 6检索和标准化7安全性8软件实现,2023/6/21,51,5.5其他监控系统,Ganglia Ganglia29是一种分布式监控系统，用于高性能计算系统的监控，例如簇和

35、网格。Ganglia监控Daemon（gmond）是一个多线程daemon，它在每一个被监控的簇节点上运行；它有4个主要的职责：监控主机状态变化；多播相关变化；通过一个多播频道侦听所有其他的Ganglia节点状态信息；并且以XML格式描述簇的状态以答复请求。,2023/6/21,52,2023/6/21,53,GridMonGridMon86是网络性能监控工具箱，用来定位故障和无效性。该工具箱由一系列的工具集合而成，这些工具提供了关于网络性能不同方面的度量：连接性、包内抖动、包丢失、封包来回时间RTP（Round Trip Time）、TCP和UDP吞吐量。,2023/6/21,54,GRM/

36、PROVE GRM88是一种在线监控工具，用来监控网格上运行的并行应用报文的传递性能。,2023/6/21,55,Nagios Nagios28是一种系统和网络监控应用，它通过外部的“插件”来操作，这些“插件”向Nagios发布状态信息。Nagios的一些特性如下：监控网络服务（SMTP、POP3、HTTP、NNTP以及ICMP）。监控主机资源（处理器负载、磁盘使用情况等）。当服务或主机出现问题或问题得以解决时给出联系通知（通过电子邮件、页面或用户定义的方法）。可选Web接口用来浏览当前网络状态、通知、历史问题和日志文件。,2023/6/21,56,NetLogger NetLogger（Ne

37、tworked Application Logger）48是一个工具集，用来监控应用对应用通信路径、应用、操作系统、主机和网络的所有元素的行为。NetLogger由四部分组成：一个API和用于简化应用级事件日志产生的函数库；收集和存储日志文件的工具集；主机和网络监控工具集；日志文件可视化和分析工具。,2023/6/21,57,SCALEA-G SCALEA-G90是一个网格监控和性能分析系统。SCALEA-G基于GMA体系结构，它作为OGSA19服务的子集来实现，这些服务在线管理各种各样的计算和网络资源以及应用的监控和性能分析。已经开发了一些源代码和动态指令来执行应用的profiling和跟踪

38、。,2023/6/21,58,SCALEA-G由以下部分组成：目录服务用于发布和检索生产者和消费者的相关信息以及它们所产生的数据的类型和特性的信息。归档服务是一个数据仓库，用来存放监控数据以及其他部件收集的和分析的性能结论。传感器管理服务控制和管理传感器仓库中的传感器活动，注册给它发送目录服务数据的传感器信息，接收并缓存传感器产生的数据，支持数据订阅和查询并向指令服务发送指令请求。指令服务用于指令应用，在源代码级采用源代码指令服务或在运行时通过增变器服务动态地指令。用户服务提供了管理其他SCALEA-G服务和在这些服务中访问数据的接口。此外，它提供了方便性能数据分析的功能。系统传感器监控计算服

39、务和网络服务，如网络连接、硬盘、内存使用以及CPU的可用率。应用传感器用于测量代码区的执行行为并监控应用中的事件。传感器实例向传感器管理服务递交它们收集到的数据。所有的传感器拥有一些共同的特性，如传感器定位符、数据方案和参数。消费者服务控制传感器管理服务的活动，例如传感器何时订阅、取消订阅或查询目录服务。指令中介器用作用户间或使用源代码指令服务的工具间通信的一种中介代理（基于SCALEA指令服务）。性能分析器用来分析消费者服务收集到的数据并把这些结果返回给用户。注册器服务用来注册关于服务实例的信息。,2023/6/21,59,5.6 小结,资源类别 所评价的项目（CODE、GPIR、GridR

40、M、JAMM、MDS、Mercury、R-GMA以及visPerf）中的大多数都提供对主机、服务以及网络资源信息访问的功能。余下的项目，象GridICE和MapCenter提供计算机和服务监控功能，Hawkeye和NWS提供了计算机和网络监控功能，而Autopilot关注计算机主机监控。本地代理 除了GridRM、MapCenter、MDS3和R-GMA外，所有的系统要求在监控发生之前安装它们自己的代理。GridRM和MapCenter采用一系列本地协议与资源之间进行交互。例如，GridRM驱动程序提供与SNMP、Ganglia和NWS代理之间交互。MapCenter采用安装在其服务器上的传感

41、器来探知远程MDS2、Tomcat和ICMP主机的可用性。MDS3一般与安装在监控资源上的网格服务交互；如，MDS3索引服务包含了一些机制，允许本地执行代码插入GLUE格式的信息，这些信息可用来与Ganglia交互。R-GMA提供一种通用传输机制来发布、定位和使用监控信息；开发人员自由实现生产者，因此潜在地需要与监控资源上的本地代理连接以找回信息，例如，从远程资源找回Ganglia数据的规范生产者。,2023/6/21,60,体系结构 从体系结构的角度来看，所评价的这些项目可分为GMA类系统和非GMA类系统。有9个项目（Autopilot、CODE、GridRM、JAMM、MDS3、Mercu

42、ry、NWS、R-GMA和visPerf）提供GMA类体系结构，故它们应当是可扩展的和故障容错的，并且理想上是可互操作的。尽管是这种情形，但事实上这些系统的所有实现并未达到这些目标。非GMA类系统包括GPIR、GridICE、Hawkeye以及MapCenter。互操作性 尽管大多数系统具有GMA类体系结构，但不经过相当大的努力互操作性是不可能的得到的。GMA没有提供标准的无线协议或注册API的足够细节。因此，项目仅以一种粗糙的方式来遵循GMA，它们各自定义自己的特殊协议格式和注册功能。相似数据表示 系统也许直接支持把原始资源数据转换成标准格式，或简单地要求系统中使用的数据必须由资源生产者首次

43、明确地加以转换。所评价的项目分为直接提供规范化手段获得标准信息的系统、要求输入标准信息的系统、对原始数据操作的系统（无需考虑资源的异类性）。CODE、CridRM、Mercury和R-GMA提供规范异类数据的机制。MapCenter服务器通过插件提供了部分转换功能。GPIR、GridICE和MDS3要求使用用户定义的代码或传感器来收集数据并在提交资源信息给系统之前根据事先约定的方案格式化这些数据。GridICE和MDS3采用GLUE。GLUE是MDS3的默认格式，定制的生产者可自由使用其他的命名方案。GPIR使用一种XML方案的约束集来确定信息的格式和布局。Hawkeye、JAMM、NWS和v

44、isPerf没有提供任何机制来规范它们监控到的来自异类资源的数据。,2023/6/21,61,监控的插入1周期监控2基于请求的监控3基于事件的监控4远程监控控制信息检索和检索,2023/6/21,62,5.7 本章小结,一个基本的监控系统由下列部件组成：生产者（传感器）产生监控数据（调用事件）；消费者消费事件；一个或多个目录服务用于注册和发现传感器/事件/消费者；由于网格的复杂性和动态性，一个监控系统应当具有下列特性：兼容GMA，可扩展性，监控的资源，包括网络资源、主机资源以及作业，资源性能预报，资源性能分析，各种各样的监控资源的表示视图，对事件订阅和通知的目录服务。,2023/6/21,63

45、,2023/6/21,64,表5.3网格监控系统特征一览表,种类 Autopilot CODE GPIR GrdiCE GridRM Hawkeye JAMM MapCenter MDS3 Mercury NWS R-GMA Visperf扩展性 1 1 1 1 Y N,1 Y Unclear Y Y Y Y Y广域性监控器(C,S,N)C All all C,S All C,N All S All All C,N All All交叉API?Y Y Y 监控相似数据 N Y Y N N Partly Y N Y N 资源类别信息检索 Y Y Y Y Y Y Y N Y Y N Y N实时延长性

46、 N Y Y Y Y Y Y Y Y Y Y Y N数据筛选/融合 Y Filter Y N Y Y Y N Y Y N Y Y开放标准 N Y Y N Y N N N Y N N N N安全性 N Y N N Y N N N Y Y N Y N软件可用性 Y Y Y Y Y Y Y Y Y Y Y Y Y软件独立性 Y Y Y Y Y N Y Y Y N N Y Y活跃性和支持性 Y Y Y Y Y Y N Y Y Y Y Y Y开发源代码许可 Y Y Y Y Y Y Y Y Y Y Y Y Y注：C,S,N-计算，服务，网络；在监控资源上必须安装客户代理或传感器；要求监控资源上的定制传感器在数据提交给监控系统之前将数据格式化为GLUE格式。,2023/6/21,65,要 点,监控是一个健壮、高效的网格监控环境的关键所在。监控数据可用来对环境的性能调整、故障检测和作业调度。在一个监控系统中最基本的三个部件是传感器（生产者）、用户（消费者）和目录服务。一个好的监控系统应当具有一个可扩展的类GMA体系结构、支持各种各样的传感器，并具有对监控资源的各种各样视图提供分析的能力。随着OGMA的引进，一个监控系统可实现为一种网格服务，其中的监控数据以可查询的SDE的形式进行揭示。,