高性能计算系统设计方案.doc

《高性能计算系统设计方案.doc》由会员分享，可在线阅读，更多相关《高性能计算系统设计方案.doc（26页珍藏版）》请在三一办公上搜索。

1、高性能计算系统方案设计第1章 需求分析1.1 高性能计算的和大规模数据处理的应用高性能计算作为一种先进的科研手段，在国内的应用发展很快，得到了普遍的重视,近年来国家投入逐年加大。高性能计算的应用条件已经成熟,表现在：u 价格相对低廉的高性能机群系统为高性能计算应用提供了物质基础；u 高性能计算应用的技术门槛逐渐降低；u 国家鼓励相关单位做高性能计算的研究，相关投入不断加大;u 很多高校的科研人员使用高性能计算手段，取得了很好的成果。1.1.1 计算机架构由于各学科高性能计算应用软件种类繁多，各种软件的应用特点也各不相同,对计算资源的需求存在差别，方案的设计需要充分考虑到实际应用的特点。作为高性

2、能计算基础设施的核心，现代高性能计算机的发展从20世纪70年代的向量计算机开始，也已经有了30年的发展历程。先后出现了向量机、多处理器并行向量机、MPP大规模并行处理机、SMP对称多处理机、DSM分布式共享存储计算机、Constellation星群系统、Cluster集群系统、混和系统等多种主体的架构，并分别在不同的时期占据着应用的主流。开放的Cluster集群系统具有较多的优势，已经占据了目前高性能计算机的主流位置，在TOP500中占据了约80的份额，在中小规模的高性能计算系统中更是占据统治地位.1.1.2 软件的并行特点按照应用程序是否为并行程序,可以分为如下几类：u 串行程序程序运行中只

3、有一个进程或线程.串行程序不能利用高性能计算机多个处理器的并行特点,但可以同时运行程序的多个任务或算例。u 共享内存并行程序程序运行中可以有多个进程或多个线程，可以使用多个处理器进行并行计算。但这种并行程序不能在分布式内存的机群系统上运行。u 消息传递并行程序消息传递式并行程序可以在所有架构的计算机上运行，可以同时使用数目很多的处理器，以加速程序的运行。在高性能集群系统上，各种程序都可以运行,可以使用集群系统的一个CPU，一个节点或多个节点。1.1.3 互连网络高性能计算系统的互连网络包括计算网络，数据IO网络，管理监控网络等。对于并行程序来说，进程之间的通信量也有着显著差别。对于进程间通信量

4、较小的程序来说，使用高性价比的千兆以太网就可以满足需求.对于通信密集型的并行程序，多个进程之间数据交换频繁，对互连网络的性能要求很高，要求具有较高的带宽和很低的延迟，千兆以太网就不能很好满足要求，需要使用高速网络，如Infiniband，其单向带宽达到20Gb，延迟小于2微秒. 从2010 TOP500 排行榜中我们可以看到,千兆以太网和Infiniband网成为高性能计算机网络互联的主流，尤其从性能份额上来说，Infiniband网更是占据了绝大部分的份额，所以在国际主流的较大系统中，Infiniband计算网逐渐成为主流。高性能网络的基本性能如下我们可以看到，对于千兆以太网，带宽达到112

5、MB/s，延时非常高，达到47.57us。而使用万兆以太网，虽然带宽和延时均有显著提高，但是与Infiniband网相比，还是有较大差距。万兆以太网使用TCP/IP协议，带宽达到770MB,延时约为12us，使用Iwarp的RDMA协议，性能有一定提升,带宽达到1046MB/s，延时达到7.68us。对于Infiniband网，DDR和QDR的带宽有较大差距，但是延时比较接近，分别为1.6us 和1。3us。值得注意的是，QDR的IP over IB的性能有了大幅的提升。1.1.4 操作系统高性能计算的操作系统由最初的Unix操作系统为主,目前随着集群架构的逐渐广泛和Linux操作系统的逐渐成

6、熟,Linux操作系统逐渐成为高性能计算机的主流，占到80%以上的市场份额。为了使得集群系统有较好的兼容性，可以配置多种操作系统,如Linux（Redhat，Suse)，Windows HPC server等.第2章 系统方案设计2.1 方案总体设计2.1.1 系统配置表序号名称技术规格单位数量1硬件部分1。1计算子系统刀片平台TC4600标准19英寸5U机架式刀片机箱、可以支持14个计算刀片；1管理模块，集成远程KVM和远程虚拟媒体;2千兆网络交换模块,提供6个RJ45千兆接口；4冗余热插拔散热模块；42000W电源（3+1冗余热拔插）；台5计算刀片CB60G15带FDR计算刀片2Intel

7、XeonE5-2660 八核处器(2.2GHz)；88GBDDR31333MHz；1300G 2.5寸10000转SAS硬盘；1*56GbInfiniband接口；21000M以太网接口； 片63管理/登录节点曙光I620rG102U机架式；2IntelXeonE5-2660 八核处器(2。2GHz);84GBDDR31333MHz；1300G 2.5寸10000转SAS硬盘；156GbInfiniband接口;21000M以太网接口； 1冗余电源;1*超薄DVDRW；1*上架导轨；台21。2存储子系统存储系统曙光DS600-G10双控FC3U ，16盘位,双控制器，4个8Gb/s FC+8个

8、1Gb ISCSI主机通道,双锂电池，2*2GB Cache;冗余电源;含4个SFP(8Gb）;Cache容量可升级为2*16GB；600G 15000转 6Gb SAS硬盘*16块套11。3网络子系统计算网络IB 交换机FDR Infiniband交换机,36 端口台2Infiniband线缆MX MC2207310-005 56GB QSFP FDR 5M IB光缆根65管理网络千兆交换机 48端口交换机，10/100/1000baseT铜接口台2防火墙集群安全模块TLFW-1000T 龙芯防火墙标配6个千兆电口,1U机架.并发连接数120万，吞吐量1G,支持SSL VPN隧道数300配合

9、Nikey智能密钥*10:曙光精心打造的USB Key解决方案,内置8位国产安全芯片，自主开发COS.硬件实现数字签名，私钥永不出Key。台11。4机柜子系统机柜系统曙光天潮标准机柜标配2个PDU、双侧门，无电源箱，无监控液晶触摸一体机个3曙光天潮标准电源箱380V无监控电源箱个1监控系统曙光智能机柜监控系统支持四台机柜温湿度远程监控套1曙光集群监控中心监控液晶触摸一体机，含LCD、触摸屏、监控主机各1套，安装在机柜前面板门上套1控制台曙光集群控制台1U手动伸缩控制台（曙光17液晶显示器、鼠标、键盘、8口切换器等)套1视频切换系统SKVMSKVM IV Over IP（包含键盘鼠标)台1CIM

10、KVM节点控制模块个72软件部分操作系统LinuxSuSELinux企业版套1集群管理系统曙光GridView 2.5GridView HPC版，支持系统部署、系统监控、集群管理、数据报表、统一告警、作业调度。basic portal，包含serial 和 mpi，支持互动作业，作业故障自动切换重启，文件传输,查看修改文件操作.套65Gridview ClusQuota 集群配额系统，可支持用户机时配额管理，充值计费管理，用户信用管理等功能。（可选）套1应用门户系统曙光Gridview Clusportal 系统包含Fluent软件作业调度套1应用开发环境编译器GNU编译器,支持C/C+For

11、tran77/90Intel 编译器，支持C/C+ Fortran套1数学库MKL，BLAS、LAPACK、ScaLAPACK、FFTW套1MPI并行环境OpenMPI（支持Infiniband和以太网的MPI环境）套1MPICH2（支持千兆以太网的MPI环境)套12.1.2 系统拓扑图2.1.3 系统方案说明u 计算系统CPU整体峰值性能达到17.7万亿次，可以扩展到500万亿次;u 主要产品都采用了冗余设计（电源、风扇等），存储系统采用冗余设计,系统的可靠性有较高保证；u 系统功耗（不含空调制冷系统)不超过为,150千瓦,电费可按此核算；u 曙光公司将为用户提供完善的服务，包括安装调试、系

12、统优化、用户培训等，这些都不单独收费，用户不必考虑这些方面的费用；u 曙光公司提供5年免费上门服务，极大降低了用户的运行维护费用；u 曙光公司是领先的专业高性能机算机及方案提供商，拥有较多的成功案例，包括百万亿次超级机算机的成功案例，产品的可靠性和稳定性得到了充分验证.2.1.4 需求相应分析l 先进性本系统中，我们使用的刀片集群架构，为目前高性能发展的先进趋势。使用的最新一代Intel E52600处理器，为目前性能最高的X86处理器.使用的FDR网络，也为目前最为先进的网络技术。同时,系统中使用的并行文件系统、自动功耗管理系统和HPC应用WEB potal，均代表着HPC的先进的发展方向。

13、l 高可靠、高可用需求系统采用刀片服务器,冗余电源,双控制器存储系统、高级别RAID系统，以及关键节点的HA双机,同时，高效管理监控系统也是保证系统高可靠、高可用的保证。l 适合用户应用软件需求用户应用软件众多，用户众多，对计算需求大，系统共配置101TFLOPS的计算能力.针对部分应用对节点间网络需求高，配置了高带宽，低延时的FDR Infiniband网。带宽达到56Gbps，延时小于1us。同时,海量计算时的IO并发读写量巨大，对存储的容量和性能需求惊人，系统配置了并行存储系统，能够实现所有存储的统一地址和并发读写。l 易使用需求系统配置了HPC WEB Portal，可以有效降低用户使

14、用难度。同时,针对系统和应用的专业培训,也能提高使用人员的使用水平.针对应用软件的安装调试也大大降低了用户的使用难度。l 可扩展性需求集群的架构可以保证计算系统的良好扩展，同时，并行存储的架构也实现对存储系统的扩展。l 易管理维护需求配置高效管理系统，支持监控、告警、管理、报表等多项功能，解决管理员的后顾之忧，同时，对管理员的培训和对系统的运维支持，也能有效提高系统的管理水平。l 节能环保需求配置了刀片系统和高效节能系统，支持空载节点的自动待机，能够有效降低能耗,帮助用户节省运维成本。2.2 计算系统2.2.1 刀片集群系统共配置63个双路8核刀片服务器，主频2.2Ghz，双精度峰值接近17万

15、亿次。目前，开放的集群（Cluster)系统具有较多的优势，已经占据了目前高性能计算机的主流位置，在TOP500中占据了80以上的份额，在中小规模的高性能计算系统中更是占据统治地位。刀片式集群系统在计算密度、功耗散热、运营成本、维护成本、可靠性等方面，都明显优于其它系统，且为系统的扩容升级提供了良好的基础，刀片系统的优势主要体现在以下几个方面。n 计算密度更高提高计算密度是刀片服务器发展的主要动力之一.对于大规模并行计算机来说，提高计算密度尤其重要,刀片式集群系统有效提高了计算密度.n 机房要求降低大规模高性能计算机将对机房空间提出较高的要求，并且要为系统的扩容升级留下空间。刀片式集群系统实现

16、了较高的计算密度，并且有效降低了系统功耗,对系统空调等散热系统的要求也相对降低。n 功耗散热降低刀片服务器的功耗部件较少.刀片柜中的电源将由多个刀片共享，所以会使用高效率电源，减小了系统功耗,同时产生的热量减少,减少了冷却系统的耗电量。节能的设计体现在曙光刀片服务器的各个层面：1）根据实时功耗确定工作电源个数，使电源工作在最佳效率曲线上。2）修改计算刀片操作系统内核，实现节能3)多计算刀片任务调整调度n 布线简单在机架式服务器构成的集群系统中，系统布线是一个很大的问题。系统的线缆可能包括高性能计算网络（Infiniband,以太网等)、数据网络、管理网络、监控网络、电源网络、KVM网络等,这些

17、线缆需要连接到每一个计算单元.尤其是在高密度、计算单元数目又比较多的情况下，系统布线是令设计人员头疼的问题。刀片式集群系统可以大大减少系统布线的数量。多个刀片服务器可以共用冗余电源，内置的交换机将高速网络（Infiniband等)、数据网络、管理网络、KVM网络集成在一起，只需要对刀片柜进行布线,刀片柜内部的计算刀片通过背板连接，无需布线。根据计算，使用刀片式集群,可以节省85以上的系统布线。n 可靠性提高曙光刀片服务器采用无源背板进行系统互连，与传统的线缆连接方式相比，把可靠性提高到了一个数量级以上。刀片系统采取模块化、冗余、热插拔设计,进一步提高了系统的可靠性。n 管理方便曙光刀片服务器管

18、理监控高度集成：通过统一的监控界面,监控所有刀片资源，包括机箱电源、风扇、计算刀片、背板、交换机。管理系统整合目前两大监控技术，即IPMI以及KVM (Over IP），真正实现监视控制一体化。同时,为实现方便快捷的刀片服务器管理，通过优化的管理软硬件设计，改善可管理性，增强部署和可服务性,这些将降低总的所有权成本.2.2.2 Intel E52600处理器性能优势2012年3月，Intel Xeon 处理器E5-2600发布，E5-2600处理器相比上代双路服务器Xeon5600系列处理器在处理器架构上进行了重大调整，从而带来最高达到77的性能提升.E5-2600相比上代5600处理器，在处

19、理器核心数、流水线长度、内存带宽等多个方面都对做出了重大提升,所以导致了性能的巨大飞跃。对于最能衡量高性能计算处理能力的spec cpu2006 fp性能，相比上一代处理器，最多高达77的性能提升。对于众多高性能计算应用，相比上代处理器,基本都超过50%以上的性能提升.通过调整流水线的长度和增加CPU核心数，相比上代处理器，linpack性能最多超过100%的性能提升。2.2.3 GPGPU计算节点系统共配置4台GPGPU节点，该GPGPU节点配置4块NVDIA C2075 GPU卡，共提供单精度峰值16TFLOPS，双精度峰值8TFLOPS。GPGPU计算是指利用图形卡来进行一般意义上的计算

20、，而不是传统意义上的图形绘制。时至今日，GPU已发展成为一种高度并行化、多线程、多核的处理器，具有杰出的计算功率和极高的存储器带宽,如图所示。CPU 和GPU的每秒浮点运算次数和存储器带宽CPU 和GPU之间浮点功能之所以存在这样的差异,原因就在于GPU专为计算密集型、高度并行化的计算而设计,上图显示的正是这种情况,因而，GPU的设计能使更多晶体管用于数据处理,而非数据缓存和流控制，如图所示.GPU中的更多晶体管用于数据处理目前，已经有非常多的高性能应用完成了在GPU系统上的移植。2.3 网络系统本方案的网络系统的设计从性能和可靠两个原则出发，采用2套网络。网络配置都考虑了扩展余量,以便系统扩

21、充.网络方案设计充分考虑到了计算节点、存储节点、网络交换机的性能参数,在保证了系统稳定的前提下，使每台设备都能得到最大限度的利用。2.3.1 千兆管理网络配置1台高端千兆交换机,配合刀片机箱的管理模块，连成千兆管理网络.该交换机1U高，48个千兆端口，实现系统中所有节点的联通。千兆管理网络用于系统管理控制、系统监控、作业的递交、作业监控管理等方面的数据通讯。2.3.2 Infiniband高速网系统配置2台36端口 Infiniband FDR交换机，共同组成56GbpsFDR全线速网络.单向56Gb的FDR Infiniband 网络相比,相比上代单向40Gb的QDR Infiniband

22、网络,性能得到了非常大的提升.这得益于三方面:1 FDR 网络传输性能的提高，传输性能从QDR 的40Gb增加到FDR的56Gb。2 FDR 网络编码效率的提升，编码效率从QDR 的 8/10 提高到 FDR 的 64/66。3 PCI-E 3.0 编码效率的提升，编码效率从 PCIE 2.0的 8/10 提高到 PCI-E 3.0的 128/130。综合起来，QDR网络由于编码效率的影响,带宽仅能达到Bandwidth（QDR）=40Gbps0.80.8/8=3.2GBps而FDR的带宽可达到Bandwidth(QDR）=56Gbps*(64/66)（128/130）/8=6.6GBps实际

23、达到一倍以上的性能提升对于网络密集型的高性能应用,FDR网络带来的性能提升也是非常明显，如下图所示的分子动力学应用NAMD,网络设备升级成FDR后,性能和扩展性都得到大幅提升。2.4 存储系统2.4.1 高性能集群存储的需求特点高性能计算集群在多个节点进行大规模并行计算的同时，需要进行大量文件及数据访问,对于系统的存储性能也提出非常高的要求，系统对存储要求主要归结为以下几点。n 全局文件的统一印象；高性能集群相比其它应用而言，一个显著的特点为保证参与计算的所有节点具有统一的文件印象,也就是说,在任何一个节点、对某一个文件的读写、修改都会在其它节点生效，实现这一个功能,往往需要通过网络文件系统来

24、实现,较为传统的为nfs系统,当前,由于集群规模的增大和访问性能的要求逐渐提高,并行文件系统在中大规模的高性能集群中使用越来越广泛.n 全局文件的高速访问；对于某些规模较大集群,或者某些高IO应用集群,由于对存储的访问量很大，对共享存储的访问性能也提出了较高要求。通常,我们需要通过提高磁盘阵列的性能、存储介质的性能、磁盘阵列访问接口的性能和IO节点的网络性能来提高存储的访问性能。对于更高IO需求的系统，可以通过并行存储系统来实现海量文件的并发读写。n 存储系统的大容量；由于高性能集群的规模巨大、数据处理能力惊人,高性能集群集中存储的容量也往往非常惊人，动辄达到数十TB，在某些对海量存储需求的系

25、统中，存储往往达到上百TB，甚至PB量级。n 存储系统的高可靠性;高性能集群承担着重要的科研任务，用户的数据具有极高的价值，同时，存储为全局系统，一旦出现故障，将导致整个系统的不可用。所以在存储系统中，无论IO节点、存储交换机、还是存储磁盘阵列,存储介质,每个环节都要尽可能的保证高可靠性和高可用性。可以通过冗余电源、高级别raid、双机热备、数据备份等各种手段保证存储系统的高可靠性.2.4.2 Parastor200并行存储系统系统配置曙光Parastor200并行存储系统，裸容量达到192TB,可用容量96T。曙光parastor200并行存储系统采用多副本、全冗余技术，支持单一存储命名空间

26、、支持容量海量扩展，性能线性扩展，能够满足高性能计算中心海量文件并发读写需求。n Parastor200并行存储技术特点1. 集群化并行存储架构，数据分布存储，并发读写2. 容量、性能线性增长，资源配额和性能质量保证,统一调度分配存储空间3. 全局目录、单一系统映像，虚拟存储池，精简配置4. 资产生命周期管理、带宽分配管理、记账计费，存储空间租赁与管理5. 多企业、个人用户，多访问协议：CTDB、CIFS、FTP、RESP、SOAP6. 多副本、全冗余架构，保证系统的可靠性与可用性n Parastor200 系统组成1。 管理控制器 - 提供命令行和图形界面两种接口 内嵌并行存储管理系统，对软

27、硬件进行一体化监控管理 2。 索引控制器 管理存储系统中所有元数据和命名空间 支持多副本，ActiveActive运行方式3。 数据控制器 - 提供数据存储空间，48TB裸容量 - 支持多副本容错，自动处理磁盘失效4。 应用服务器 - 向上应用提供数据访问接口 - 支持多种Linux内核n Parastor 200体系架构n Parastor200 统一管理界面2.4.3 DBstor 备份系统系统配置DBstor 备份系统 20TB，保证系统关键数据的安全。DBstor 支持重复数据删除的SmartDisk技术，能有效备份数据的同时，大大节省存储空间。曙光DBstor 备份系统具有如下特点：

28、1) 为关键数据提供高速、基于备份时间点的恢复DBstor利用全线速的双千兆数据传输链路、高速磁盘控制器组并行接收/发送应用服务器的备份/恢复数据，保障数据备份/恢复的高效；在备份时，DBstor锁定应用服务器特定时间点的数据影像,并对影像做数据一致性对比校验，保证备份集的绝对可用性,从而最终保证DBstor基于时间点恢复的可靠性2) 高速、高效、大容量的虚拟磁带库(VTL）功能DBstor采用独特的磁盘介质管理方式，在文件系统之上创建虚拟磁带库(VTL)，保证备份数据在逻辑上保持连续，避免频繁磁盘寻道带来的时间损耗，最大限度的利用磁盘组的并行读写能力，从而提高备份与恢复速度；为充分利用DBs

29、tor的硬件性能，用户可以根据实际情况定义虚拟磁带库的控制器数据、槽位、容量等，为支持更多客户端并行的备份提供策略保障;DBstor支持10TB和20TB两种VTL备份容量、满足绝大部分关键数据备份场合的空间需求3) SmartDisk技术与重复数据删除技术的有机结合DBstor支持VTL的同时，提供另外一种性价比更高的介质管理技术SmartDisk，SmartDisk不等同于文件系统的磁盘管理技术，SmartDisk以网络服务的形式为DBstor提供磁盘存储空间，并带有高效的去重功能，可以实现高达数倍的存储空间压缩比;这样既发挥磁盘存储的高性能和高可用,又充分利用了存储空间，可以大大节省客户

30、的投资4) 备份策略的自动化管理备份自动化：用户可以根据自身的实际情况，定义自动执行的备份策略和日程表,备份策略一旦制定，就可以按照规定动作在无人职守的情况化，自动完成备份任务；5) 报表生成自动化每天的备份任务执行情况，DBstor会自动形成报表,详细描述所有备份任务的招待情况,系统管理员可以选择合适的方式进行通知，比如经由Windows信使， SNMP,自动发送至管理人员的邮箱等6) 全面的Vmware集成主机的虚拟化使用日益广泛，DBstor对典型的虚拟化环境Vmware提供了全方位的支持，用户既可以通过DBstor对应的client调用VCB来对虚拟机进行备份，也可以直接在虚拟机上对应

31、用数据进行备份，给虚拟机的备份提供灵活的选择7) 配置管理易用性统一用户图形管理界面; 数据库备份不需要编辑脚本，纯图形操作;在做设备检测时，会自动发现和配置存储设备，并集中管理所有业务服务器进行全自动备份8) 完善的介质控制功能当备份数据过期时，备份介质会自动回收以释放存储空间；对全备份及增量备份会自动合并,以产生新的全备份，并可以按照策略对数据格式转换和加密9) 独特的备份管理方式可以根据备份任务多少灵活配置驱动器数及磁带数,DBstor支持自动数据库数据导出并自动进行备份；对备份介质和其中内容进行自动分组管理；根据需要对所备份的数据进行自动恢复，且可以实现对不同时间的备份内容有选择的进行

32、恢复10) 多应用及异构操作系统支持DBstor支持多种操作系统客户端，对操作系统可以做到一键式的备份与恢复,支持Windows，linux,AIX等多平台客户端;对常见的数据库，如ORACLE，SYBASE,SQL SERVER等可实现在线的数据库备份，配合日志的备份，可以将数据库恢复到最新时间点11) 优异的硬件性能高性能的处理器和缓存以及RAID控制器,对于光纤SAN网络，单台服务器的备份效率可以达到200GB/小时；数据库RAC在线备份效率可以达到200GB/小时2.5 管理调度系统2.5.1 管理/登陆节点系统配置2台曙光天阔I620R-G双路服务器,作为管理/登陆节点，实现双机互备

33、。管理节点主要用于运行集群管理软件，Infiniband opensm服务,作业调度服务、时间同步服务器等系统级服务进程,管理节点对性能要求不高，但对可靠性要求很高。登录节点主要用于用户程序编译、算例准备，文件上传下载,作业提交控制等用户交互作业。登录节点的负载根据用户的数量和操作有较大变化。由于登录节点可能存在用户的非法操作而导致系统宕机，所以只要预算允许的前提下,登录节点和管理节点分开的方案能提高整个系统的可靠性。2.5.2 KVM系统KVM系统用于视频切换，可以通过一套视频输出设备（显示器,键盘，鼠标）实现对集群中所有的节点的视频切换和键盘鼠标输入操作。曙光SKVM over IP（Su

34、per Key Video Mouse）系统是大型机群管理、部署、维护和监控不可或缺的设备，与传统的集线器式的8口或16口的KVM切换器相比，基于CIM/USTS的曙光SKVM系统有着不可替代的优点。SKVM采用普通网线传输,采用菊花链式连接，由CIM和USTS组成,每个USTS可以扩展999个节点,由于采用了信号转换技术管理员可以在300m外进行KVM信号的切换，极大的方便了管理员的工作,并且在这距离上无需专门的传输线,采用普通的网线即可。为实现机群设备的监控管理，曙光SKVM系统, 可从单一控制台（键盘/屏幕/鼠标)操作管理多台服务器.单个USTS使用独创的通信技术, 控制多达999台服务

35、器, 不需传统的KVM切换器及难以管理的电缆线，支持所有服务器管理高挑战性的需求。2.5.3 GridView集群管理调度系统构建一套大规模高性能集群系统涉及到三个层面的内容：最底层的是硬件平台，它是完成任务的最基础设施；其次是OS平台,包括节点机的操作系统以及集群操作系统；最后是应用环境平台,包括并行开发环境以及编译环境.高效率的集群系统需要几个层面的紧密耦合、协调工作.曙光TC4000的注重效率的设计思路贯穿到每一个细节，在每个层面上都做到性能最优。尤其是OS平台以及应用环境平台.曙光GridView大型机监控管理系统继承曙光DCMM2、DCAS等监控管理产品的主要功能和技术特色,并增加多

36、项优秀功能开发而成的机群监控管理系统产品。GridView提供统一的集中式监控平台,具备可扩展性、集成性、可靠性和易用性，提供对各种商用、自己研发的管理工具的集成接口，从而满足同时对各不同厂家大型机的环境、硬件、软件等各方面进行监控的需求。集群监控功能列表状态监测n 对服务器、网络设备、存储设备等各种设备的运行状态进行实时监测;图 1。1 系统整体实时统计信息n 对各种应用程序的运行状态进行监测；n 对运行大型机的机房环境及设备运行环境进行实时监测；图 1.2实时状态监测拓扑显示n 支持机柜方式的物理拓扑方式，按设备实际位置和相应尺寸显示，使管理员对整个系统一目了然；图 1。3物理机柜视图告警

37、管理n 实时告警图形显示及列表查询；n 历史告警列表查询及统计分析；图 1。4告警查询n 通过多级告警分析，定位最终告警原因；图 1。5告警分析报表分析Gridview有丰富的报表功能，这在很多同类的监控产品中是不多见的.n 支持小时报、日报、月报、年报等多个时间段的报表生成；n 关联报表，可以把多个设备的指标在一个报表中生成并进行多设备对比分析；也可以把一个设备的多个指标在一个报表中生成，从而进行多指标之间的关联分析;n 报表可以导出成Pdf和Exel文件，方便用户查看.图 1.6报表接口规范n 采用标准接口,易于多套异构系统的整合和统一监控；集群管理功能列表n 管理授权 - 负责管理过程的

38、授权控制，只有将管理节点的公钥部署到被管理节点,才能执行各种集群管理操作。n 用户管理 负责管理集群系统中的用户与组群,允许集群系统管理员查看集群系统中用户与组的配置,并且可以完成对集群系统的用户和组的增加，删除，修改等功能。n 进程管理 显示集群中运行的进程信息,在选定的节点组上运行特定进程，以及杀死特定进程，保存当前运行的进程信息等。n 服务管理 显示集群中运行的服务信息，在选定的节点组上启动、停止、禁用指定的系统服务n 文件管理 集群由少到几个节点多到上百个节点组成，而管理集群中的文件则变成相当复杂的任务。DCMS的集群文件浏览器Spreader是用于集群文件管理的工具，界面风格犹如微机

39、Windows下Explorer，操作方便、直观.n 网络配置 支持集群网络管理中最常见的几种工作：维护系统hosts表，以及设置网络设备的IP地址.n 并行终端 可在多节点并发执行命令，并提供SSH终端对直接登陆至被管理节点执行各种操作。n 关机管理 快速的对选定节点或整个集群进行关机/重启/开进操作。集群用户和组管理集群用户组管理器（User and Group Manager）是管理集群系统中的用户与组群的一个工具，负责完成集群系统的用户和组的管理工作，集群系统管理员可以通过它查看集群系统中用户与组的配置,以及完成对集群系统中的用户和组的增加，删除，修改等操作.图2.1集群用户管理界面组

40、成进程管理n 显示所选服务节点上的进程信息，包括进程名，运行参数,进程依赖关系，CPU使用率，运行时间，虚拟内存大小等重要参数，并且支持中文信息的显示。n 终止若干个节点上(可以是运行Linux或Windows 2000 系列操作系统的节点)的某个进程。对于运行Linux操作系统的节点，还可以向进程发送特定的信号，包括Terminate, Hangup, Interrupt等常见的信号。 图 2.2进程列表集群系统hosts表hosts表最初的作用是提供从域名到IP地址的转换，其作用类似现在的DNS系统。它出现于internet发展的初期，当时连到internet上的机器并不多,每台机器都维护

41、一个hosts文件以提供域名到IP地址的转换。随着internet的发展，联网机器的数目增多，域名IP的变化也越来越频繁，每台联网机器都维护一个hosts数据表的做法越来越不实际，于是就出现了DNS系统.虽然在功能上DNS已经完全取代了hosts表，但hosts表仍然被广泛的使用,因为它提供一种方便的名称到IP的转换。如读者对hosts表的历史信息感兴趣可参考RFC952。Linux及Unix系统和Windows系统都提供hosts表功能，虽然在单机上手工直接修改系统的hosts表并不麻烦，但是在集群环境中，特别是大型集群或异构集群,逐一修改维护集群中所有节点的hosts表是一件很繁重的工作.

42、使用DCMS集群管理系统的hosts表管理模块可以很轻松的维护管理整个集群的hosts表.图 2。3 Hosts表管理IP管理IP管理模块提供设置修改节点网络设备IP地址及其它参数的功能， IP管理模块的大部分功能都同时支持Linux（Unix）系统及Windows系统。通过IP管理模块,系统管理员能够很方便的修改集群系统中各个Linux节点的IP地址信息。图 2。4 IP管理集群文件浏览器集群由少到几个节点多到上百个节点组成，而浏览集群中的文件则变成相当复杂的任务。集群文件浏览器是用于集群文件浏览的工具,它可在集群内完成文件目录的浏览，新建，修改文件目录名,删除以及编辑文本文件等功能。集群并

43、行命令集群并行命令终端可同时对多个被管理节点执行相同的命令，并整理各节点执行结果返回至客户端，方便管理员对多个节点的并发管理,另外本系统还整合了通过SSH来登录被管理节点的客户端工具，管理员可直接登录至被管理节点，执行各种操作。系统部署 集群系统的安装主要是指在各个结点上安装操作系统、文件系统、并行程序运行库、作业管理软件和系统管理软件等。它是集群系统投入应用的前提，所以集群系统的安装是一件非常重要的任务。系统主要功能特色：n 采用P2P技术对多节点同时快速部署,极大提高工作效率；n 支持样板机模式，针对不同的节点分发不同的系统镜像，在一个机群内支持部署多种不同的系统软件;n 采用B/S架构,

44、安装后节点信息直接存储在管理系统的数据库中，方便管理配置。n 安装过程中很少需要手动干预，唯一的干预是在部署的初始阶段根据提示为节点输入节点名称。n 安装完成的系统最终的ip地址和主机名为用户安装时指定，能自动适应更大硬盘，各节点的软硬件配置不必完全相同。n 支持多种Linux系统,如Redhat Linux, Turbo Linux, Debian GNU/Linux，SUSE等。n 同时支持64位和32位cpu和操作系统图3.1 集群部署2.5.4 Gridview Clusportal 应用门户模块 高性能集群用户的烦恼1 作业脚本很难写,Linux命令很难学。 大部分的使用计算机的用户

45、均习惯windows的封闭提问操作和图形界面的操作，对于基于Linux命令行操作和基于命令行操作的作业调度系统，往往难以习惯，导致用户常常感觉自己无法适应高性能计算作业的工作模式,需要长时间的培训和摸索才能逐渐掌握这一过程。2为什么我的作业等了3天了,还在排队，别人的作业都算了好几回了? 由于用户往往无法正确的了解现有系统资源,自己可访问的权限和资源;而基于命令行的作业调度系统开放式操作又常常让用户无法准确的去根据自己可访问的资源去申请资源，导致用户在申请资源时常常申请错误，这样用户的作业就长时间处于排队状态了.3为什么我的作业等了2天才开始算，可是只用10几秒就错误退出了？ 由于命令行操作的

46、开放式操作,导致用户往往在撰写作业脚本或者算例文件时，很容易出现一些细微的错误,导致很不容易排到开始计算，往往一开始就错误退出了. Clusportal 主要功能n 错误检查功能p 对所有的申请的资源会设置最大值，并检查配额，队列设置，用户设置等资源限制p 对应用的输入文件进行检查p 自动转化输入文件UNIX格式n 功能齐全，与其它产品无缝融合p 支持文件上传下载p 可视化作业p 文件格式转化p 自动checkpoint/restart。文件上传下载功能可视化互动作业 n 通用性高、操作简单p 一个portal页面开放接口众多，达到30个，可以满足用户的各种作业需求。p 默认值设置合理，90%的作业，用户只需修改5个以内的选项。p Portal种类多,超过30个,几乎包含所有高性能应用,同时可定制。p 具有2个基础版portal，可以适用于所有串行程序,多线程程序、MPI程序.p 根据用户输入记忆，提