高效分配网格资源设计方案.doc
《高效分配网格资源设计方案.doc》由会员分享,可在线阅读,更多相关《高效分配网格资源设计方案.doc(25页珍藏版)》请在三一办公上搜索。
1、-范文最新推荐- 高效分配网格资源设计方案 摘要:介绍了基于集群技术的作业管理系统PBS,重点研究了PBS系统的体系结构、工作原理。着重从系统各进程的运行机制、安全策略、调度策略和通信策略等方面进行阐述。并分析讨论了PBS与网格计算环境的融合,最后给出实现方案。关键词:网格资源,安全策略1引言网格是一个集成的计算与资源环境,充分吸收各种计算资源,并将它们转化成一种随处可得的、可靠的、标准的同时还是经济的计算能力。与传统的网络资源不同,网格资源具有异构性、动态性和自治性的特点。网格资源的这些特性给网格资源自身的管理带来了实现上的困难和不可控性。同时为了满足高性能计算的目的,必须提供高效的资源管理
2、服务。网格系统的资源管理负责决定作业请求CPU服务等待时间、作业的内存分配、以及怎样平衡计算负载等多方面的问题。资源管理同时负责在所有提交给系统的作业之间分配资源(作业间资源管理)以及把资源绑定给由一个单一作业提出的多个请求(作业内资源管理)。如果没有作业间资源管理,资源将可能在用户间错误的分配,这对一些用户将失去公平性。糟糕的作业内资源管理将导致用户程序运行性能的下降,原因是程序请求到的资源可能早已超负荷或者根本就请求不到满足系统要求的资源。由于存在的以上问题,网格资源的管理在网格计算环境中处于一个很重要的地位,也是网格研究的主要研究课题之一。目前我们对于网格计算环境底层的资源,主要是通过采
3、用作业管理系统进行管理。2PBS作业管理系统分析PBS(PortableBatchSystem)作业管理系统最初由NASA的Ames研究中心开发,为了提供一个能满足异构计算网络需要的软件包,特别是满足高性能计算的需要。它力求提供对批处理的初始化和调度执行的控制,允许作业在不同主机间的路由。PBS的独立的调度模块允许系统管理员定义资源和每个作业可使用的数量。调度模块存有各个可用的排队作业、运行作业和系统资源使用状况信息。使用它提供的TCL、BACL、C三种过程语言,调度策略可以很容易被修改,以适应不同的计算需要和目标,即系统管理员可以方便地实现自己的调度策略。对于PBS作业管理系统来说,它主要有
4、以下特征:易用性:为所有的资源提供统一的接口,易于配置以满足不同系统的需求,灵活的作业调度器允许不同系统采用自己的调度策略。适配性:可以适配各种管理策略,并提供可扩展的认证和安全模型。支持广域网上的负载的动态分发和建立在多个物理位置不同的实体上的虚拟组织。灵活性:支持交互和批处理作业。一个PBS作业管理系统主要有4个部分组成:控制台、服务进程、调度进程、执行进程。PBS的工作过程实际上就是服务进程、调度进程、执行进程这三个进程之间,相互通信相互调用的过程。三个进程分别执行各自的职能,同时为其他进程提供服务,共同完成作业的运行。在PBS工作过程中,首先由用户产生事件(这里指作业的提交),事件通知
5、服务进程开始一个调度周期。然后服务器进程发送一个调度命令给作业调度进程,调度进程开始启动调度工作。在收到服务器进程的调度命令后,作业调度进程向执行进程请求可利用的资源信息。执行进程根据本地资源信息返回给作业调度器一个资源信息。其后,得到资源信息后,调度进程向服务器进程请求作业信息。服务器进程接收请求,并发送作业信息至作业调度进程,调度进程产生执行作业的策略。作业调度器发送执行作业请求至服务进程。最后,服务器进程接收请求后,发送作业至执行进程执行作业。3PBS与网格环境结合网格计算环境为用户提供了强大的计算资源,将PBS融入到网格的计算环境中可以使PBS访问到更多的计算资源,使PBS的资源提供能
6、力得到很大的增强,使用户可以调用不同的管理域的资源如同使用本地资源一样。同时PBS融入到网格计算环境也扩展了网格计算环境自身的计算资源。下面以PBS与目前全球重要的网格计算项目Globus之间的结合,介绍它们之间资源调度、数据传输、安全认证等方面的解决方案。Globus项目是美国Argonne国家实验室等科研单位的研发项目,发起于20世纪90年代中期。Globus项目是目前全球重要的网格计算项目之一,其最初的目的是希望把美国境内的各个高性能计算中心通过高性能网络连接起来,方便美国的大学和研究机构使用,提高高性能计算机的使用效率。PBS与Globus的结合,主要目的是可以达到彼此计算资源的相互调
7、用,PBS对Globus资源调用的实现,可以为用户提供访问网格计算资源建立一个门户。用户通过提交作业,可以像调用PBS资源一样调用远端的不同管理域下的资源。Globus则负责提供与底层不同资源管理者的接口,以及相应的数据传输、安全认证、资源调度等策略。Globus对PBS资源调用的实现,则扩展了网格计算环境下底层的计算资源。通过结合,目的是实现网格计算环境的基本模型。当PBS调用Globus资源时,首先需要解决的是资源的发现,PBS要对Globus资源进行调度使用,那么在提交的作业当中必须对作业的可用资源说明进行描述,使其可以寻找到Globus的资源,并加以利用。为了达到资源指定的目的,在作业
8、资源需求描述中我们加入特定的参数“-Lsite=globus:resourcename”。这个参数仅仅是标记了作业对资源需求的期望,并未分配Globus资源。其次需要提供一个资源请求信息的接收端口,申请得到Globus资源的作业会像正常的PBS提交作业一样,将自己的资源请求发送到PBS服务器上等待服务进程的处理,之后调度进程会根据作业的资源请求将作业传送到与它资源匹配的执行节点,并由各节点的执行进程运行。为了提供一个专门的接收Globus资源请求的端口,在启动服务进程的同时要启动一个pbs_mom_globus,进程。当调度器发现了作业特定的Globus资源请求,直接将作业发送到pbs_mom
9、_globus进程进行处理。为了可以利用Globus资源,PBS作业必须以Globus作业的形式进入到Globus进行资源的利用,通过pbs_mom_globus进程将作业中PBS的参数全部映射成GlobusRSL的形式。在整个资源调度的过程中,PBS实际充当了网格计算环境的入口点,通过提交PBS作业可以实现对网格计算资源的调用,用户可以像使用本地资源一样去使用远端不同资源管理者下的资源。而Globus作为一种中间件,由它来负责规划网络间通信的安全协议,并实现对不同的远端资源管理者的通信接口。此外,PBS通过文件stagein和stageout配合Globus的GASS服务来进行数据的传输,可
10、以解决PBS与Globus数据传输的问题。全局二级存储服务GASS(GlobalAccesstoSecondaryStorage)主要用来支持网格环境下的远程I/O问题,并针对网格计算环境中的文件访问模式进行了优化支持。当Globus调用PBS资源时,相对PBS对Globus资源的调用要简单一些。Gloubs在本地提交Globus作业时,通过在命令行参数中添加PBS服务器的名称及路径来指定需要调用的PBS资源,并在命令结尾添加jobmanager-PBS参数开启Gloubsy与PBS之间的端口。Globus提交作业的请求被送到GRAM,Gatekeeper判断作业需要调用的资源,并根据RSL描
11、述解析出的任务分配参数传递给新创建的任务管理者。任务管理者接到需要调用PBS资源的请求,则将作业资源信息的描述发送到jobmanager-PBS端口,jobmanager-PBS端口会产生一个新的用PBS脚本语言描述资源信息的作业脚本。任务管理者将这个脚本发往PBS服务器进行执行。4PBS系统测试与分析硬件环境的配置方面,首先要选择一组适合实验过程的主机搭建实验环境。出于对实验稳定性与兼容性的考虑,我们选取了8台硬件与软件配置完全一样的主机,硬件配置为:CPUP400MHZ内存128SDRAM;操作系统为:Linux9.0。这样便于对PBS系统整体性能测试。其次对于主机间的通信,为了提供一个快
12、速稳定的网络环境,我们采用以太网的技术用5类双绞线和一台百兆交换机将这8台机器组成一个小型局域网环境,并进行了相应的网络设置。软件环境的配置主要是对PBS系统的安装和配置,主要包括:系统安装、服务器配置、执行节点配置、进程启动、建立作业队列、实验的内容是提交一个矩阵相乘的并行作业,矩阵运算在科学与工程计算中是最基本的核心问题之一,用它来进行测试具有代表性。本作业要完成A、B两个1000*1000矩阵相乘目的是为了对搭建的PBS系统环境进行测试,检验PBS系统的正确运转及相关性能的测试,并对实验结果进行分析。首先采用并行行列划分算法,通过MPI编写实现矩阵相乘的并行程序pjob.c(程序代码见附
13、录)。并在linux下用mpiccpjob.c进行编译,生成a.out执行文件,将参与运算的矩阵文件A.dat、B.dat拷贝到本地。并在单机下直接运行命令./out,记录运行产生的结果。然后,编写作业提交脚件,在脚本中对作业进行资源需求的描述。之后,运行命令qsubparallel_job向PBS服务器提交作业,通过监控命令qstat可以看到作业已经分配到执行队列中处于执行状态,并且服务器分别将并行作业的子进程传输到各台执行节点上运行,8台执行节点都处于运行状态。各节点的并行程序的子进程运行结束后,在标准输出文件中产生运算结果,记录运行时间。再逐步减少执行节点的数目继续实验,直到只剩下单机运
14、行,记录单机运行产生的结果及运行时间。Fig.3connectionbetweonJobtimeandnode5结束语提出了一种适合集群环境下的高效资源分配与利用方案,并给出了详细的设计过程。深入分析了PBS系统的内部运行机制、安全机制、调度策略等方面问题,提出了改进方案。研究PBS系统与网格计算环境的融合问题,并将PBS集群计算环境融入到了网格计算环境,将PBS系统作为网格计算环境的低层资源,并通过globus对PBS系统进行了作业提交,测试了PBS在globus下的正常运转。【参考文献】1都志辉.网格计算M北京:清华大学出版社,2002:10.2郑纬民等译.高性能集群计算M结构与系统(第一
15、卷),北京:电子工业出版社,2001:6.3PBS用户手册:PBSAdministratorGuideS2000:4.4李,罗家融,王华忠.基于BEOWULF的PC集群系统设计及并行编程的研究J微机算计信息,2005,高效分配网格资源设计方案飞雪 巩固发展省卫生城市成果,是创建国家卫生城市的基础,也是全面建设小康社会、构建和谐*的内在要求。我市自20*年3月重新确认为省卫生城市已经4年,按照省级卫生城市每4年复审一次的要求,今年我市将迎接再次复审,并且是按照20*年新修订的省卫生城市(县城)标准的第一次复审。根据市委、市政府统一部署,特制定本工作方案。一、总体要求省卫生城市(县城)考核鉴定和监
16、督管理办法规定:省卫生城市(县城)每4年复审一次,由省爱卫会办公室组织,采取暗访、明查的方式进行。省爱卫会根据复审结果,对符合标准要求的城市(县城)予以重新确认;对未达到标准要求的城市,暂缓确认,并规定改进期限;再次复审仍不合格者,取消其命名。这次复审将根据20*年1月新修订省卫生城市(县城)标准进行,增加了城中村和城乡结合部卫生,且有许多指标作了新的调整和提高,难度显著提高。复审的重点是城市基础设施建设与日常卫生管理等方面的巩固与发展情况,特别是对旧城区、背街小巷、城中村及城乡结合部、河道保洁、农贸市场、“五小”行业、建筑工地卫生等长效管理情况。此外,还要全面检查近4年卫生城市各项指标的达标
17、及巩固情况,核查4年的档案资料。二、工作目标和基本原则工作目标:巩固和发展省卫生城市成果,动员全市社会各界和人民群众,以“迎接省卫复审,建设和谐城市”为主题,着眼于抓基础求发展、治难点求长效,集中力量解决主要问题,使我市的城市基础设施进一步完善,城市卫生管理水平进一步提高,群众生活环境进一步优化。通过全市上下努力,力争高标准通过省卫生城市复审,为明年通过国家卫生城市考核打下坚实的基础。迎接复审工作的基本原则:坚持“标本兼治、治本为主”的原则;坚持“条条包干,块块管理,条块结合,以块为主”的原则。各级各部门、各单位要服从属地管理,配合块块做好工作,把迎接复审工作作为本部门、本单位的大事来抓,把各
18、项工作落到实处。三、存在的主要问题和难点我市自20*年通过省卫生城市重新确认以来,不断寻找自身薄弱点,继续完善长效管理机制,市委、市政府立即提出了创建国家卫生城市等“多城同创”的目标,市爱卫会制订标准,开展创建国家卫生城市的责任分解和行动,发挥属地管理、块块管理作用,取得了比较好的效果。各区、街道加大了对背街小巷保洁、集贸市场卫生、“五小”行业卫生管理等几个薄弱部位的巩固工作力度,城市卫生管理能力进一步提高。但是对照20*年新颁布的省卫生城市(县城)标准,我市目前迎接创卫复审主要存在以下突出问题和难点:(一)城中村及城乡结合部卫生状况差。尽管旧城改造在不断进行,但是在城区范围,还有相当一部分城
19、中村。由于城中村的基础设施与密集的居住人口不匹配,加之管理上缺位,目前绝大多数城中村存在“脏、乱、差”现象。环卫设施不全,公厕不足,没有排污系统,乱搭乱建乱涂,生活垃圾得不到及时清运,“四害”孳生,违规饲养家畜家禽等现象比比皆是。4年前,我市创卫考核城中村卫生不作要求,没有暴露这个突出问题。20*年新修订的省卫生城市(县城)标准,增补了城中村及城乡结合部卫生共7条,对照新标准,这些城中村几乎无一能够达标。(二)社区出租屋带来严重卫生问题。在城市社区尤其是一些没有物业管理的老社区,业主把没有配套卫生间、没有厨房的车库、车棚、杂物间稍加改造,出租给外来务工人员居住,带来一系列社区管理问题。如治安问
20、题,乱倒垃圾、厨房污水、粪便问题。不仅破坏了社区卫生面貌我的(四)“五小”行业卫生隐患多,无许可证经营比例仍较高。“五小”行业餐具、茶具、理发毛巾工具等不消毒现象比较突出。目前城区背街小巷或城中村中未取得卫生许可证在经营的“五小”摊店仍较多。“五小”行业业主变更频繁,市民质疑消费是否卫生安全,势必影响复审对食品卫生安全项目的评价。(五)病媒生物控制需要动态管理措施。省卫生城市标准要求鼠、蚊、蝇、蟑螂有三项达到全国爱卫会规定的标准,另一项不超过国家标准的3倍。我市除四害4年前已经三项复查达标,这些年来每年在投入上不平衡,从密度监测结果显示波动较大。仅从去年组织的多次明查暗访来看,由于城中村、城乡
21、结合部等场所的蚊蝇孳生地没有根治,城区下水道没有及时投放灭蚊蚴药物。一些重点行业防控设施不到位,平时又不及时清除孳生物,导致一些区域鼠、蟑螂、蝇密度严重超标。小餐饮店有大量除四害“盲点”。(六)公众对全市卫生状况满意程度需要进一步提高。新修订的省卫生城市(县城)标准指标要求有关部门认真办理群众卫生投诉,群众对全市卫生状况满意率大于90,我市尚未建立正常的投诉渠道和投诉问题的有效解决途径,市统计局的调查结果也未达到90,这次复审专家组通过随机方式对市民调查询问或问卷的形式进行的,不确定因素较大。而且,这项标准作为10个基本条件之一。四、主要对策和工作措施为了如期高标准通过复审目标,在目前已达标和
22、基本达标指标的基础上,针对存在的问题,制定切实有效的对策措施,在计划时间内组织各项专项整治活动,并且研究切实可行的长效管理措施,全面达到省卫生城市复审标准要求。(一)加强领导,落实责任。1、各级政府、各有关部门都要切实加强对省卫生城市复审迎检工作的领导。由于卫生城市是环保模范城市、文明城市的前置必备条件之一,要实现“多城同创”目标,必须有卫生城市为最先达标。市委、市政府“多城同创”工作委员会把迎接省卫生城市复审作为今年的头等大事来抓,区也及时作重心转移,市区两级创建办全力以赴抓好迎接省卫生城市复审工作,负责省卫生城市复审迎检工作的规划、组织、协调、监督、检查等具体工作。各成员部门也要以此调整。
23、2、按照职责分工,将复审迎检工作的目标任务分解到各区、各部门,实行复审迎检工作责任制,一级抓一级,层层抓落实。3、加大经费投入。根据省卫生城市复审迎检的要求,市、区都要按照城市卫生基础设施建设总体规划,确保所需经费,分期分批予以安排落实。同时,要保证复审迎检期间各项专项经费的投入,为顺利通过复审创造条件。(二)加大宣传,发动群众。1、各区、各部门、各单位都要加强创卫复审迎检的宣传教育,广泛发动群众,使复审迎检工作全市动员、人人参与。市、区宣传部门、文明办、新闻单位要积极开展省卫生城市复审迎检的目的意义宣传教育,把迎接省卫生城市复审工作与宣传贯彻实施“三个*”战略相结合,动员广大市民珍惜省卫生城
24、市成果,依法履行爱国卫生工作职责,引导广大干部和群众自觉参与复审迎检活动。同时要充分发挥舆论监督作用,向社会公布省卫生城市标准,设立举报电话,接受社会公众的监督。对创卫复审迎检工作不作为和“脏、乱、差”现象长时间存在的单位、部门,新闻媒体要及时予以公开曝光。2、各级、各部门要把迎接省卫生城市复审与争创国家卫生城市等“多城同创”工作结合起来,定期进行督查,促进创卫复审迎检工作的落实;市、区创建办要开展明查暗访,解决复审迎检工作中的困难,推动各项活动的深入开展。各级共青团组织和大专院校要组织发动青年志愿者参与“迎接省卫复审,建设和谐*”活动。(三)突出重点,专项整治。抓好城市卫生环境突出问题的整治
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 高效 分配 网格 资源 设计方案
链接地址:https://www.31ppt.com/p-4621629.html