大型机使用手册.ppt

大型机使用手册,快速使用指南,用户软件环境加载可加载的软件环境列表可以在命令行使用下面的命令获取或查看本手册后续部分module avail由用户根据自己使用的shell在下列文件中通过 module load/unload命令来加载/卸载自己所需要的运行环境.bash_profile/.bashrc（bash shell).cshrc/.tcshrc(csh/tcsh).kshrc(ksh)可以在命令行使用下面的命令，获取自己使用的的shell 信息echo$0示例shell为bash，希望登录后自动加载mvapich2,ncl,netcdf,grads等的软件环境信息，则把下列命令添加到/.bashrc中module load mvapich2 netcdf ncl GrADS,快速使用指南,加载注意事项编译器模块必须第一个加载如需要的环境与系统缺省设置不一致，先用下面命令清除，再加载需要的环境module purge加载编译器后，再加载其他的应用模块有依赖关系的模块，在加载时需要注意先后顺序，例如ncl/6.1.2依赖hdf5/1.8.11,netcdf/4.3.0netcdf/4.3.0依赖hdf5/1.8.11其加载顺序为module load hdf5/1.8.11 netcdf/4.3.0 ncl/6.1.2加载缺省版本模块时，可以不用指明版本号可通过env命令来查看模块加载后进行的相关设置，例如，模块的安装位置，有关的环境变量设置等,快速使用指南,PBS脚本设置以下PBS指令为必需指令#PBS P project_no(项目号)#PBS-q queue_name(队列名)#PBS-l walltime=hh:nn:mm(墙钟限制）PBS脚本中MPI程序运行方式mpirun-np nproc my_mpi_app.exe注意：1.不需要指定-hostfile 参数 2.现在启用了墙钟限制，脚本有可能需要根据相应的墙钟限制进行调整，避免由超时造成强制中断而的问题示例脚本在/nuist/p/public/app/scripts/pbs_example,快速使用指南,目录设置/nuist/u/home/$LOGNAME(用户主目录，个人配额10G)/nuist/p/work/$LOGNAME(用户工作目录,个人配额500G）/nuist/scratch/$LOGNAME(用户临时目录,个人配额5T）/nuist/p/public/app(常用软件包安装目录，例如：NetCDF,NCL等）/nuist/p/public/data(共用数据存放目录，例如：WRF地形数据等）系统预定义的目录环境变量$TEMPDIR/nuist/scratch$WORKDIR/nuist/p/work$APPDIR/nuist/p/public/app,一 系统简介,集群计算节点308台两路六核IBM HS22刀片服务器,共3696个核存储一个38TB高速SAS硬盘做成/nuist/u/home(8.4 T)/nuist/p/public(30 T)一个706TB近线SAS硬盘做成/nuist/p/work(214 T)/nuist/scratch(492 T),二 存储空间设置,磁盘空间配额使用查询mmlsquotau username,三 运行环境设置,编译器Intel 11.1.046/12.1.0.233PGI 11.7/13.3GNU 4.4.6/4.7.2/4.8.2并行环境OpenMPI 1.4.3/1.6.5MVAPICH2 2.0b软件环境管理Environment Modules 3.2.10,三 运行环境设置,软件包/库安装位置/nuist/p/public/app/nuist/p/public/data/usr/lib64/usr/include/usr/bin,三 运行环境设置,已安装的软件包/nuist/p/app,三 运行环境设置,已安装的软件包/usr/bin,三 运行环境设置,已安装的库/nuist/p/public/app,三 运行环境设置,已安装的库/nuist/p/public/app,三 运行环境设置,已安装的库/usr/lib64,三 运行环境设置,已安装的库/nuist/p/public/app/intel/Compiler/11.1/046/mkl/lib/em64t,三 运行环境设置,用户环境变量设置列出加载的模块 module list加载可用的模块 module avail加载指定的模块 module load卸载指定的模块 module unload切换不同的模块 module swap,三 运行环境设置,目录环境变量$TEMPDIR=/nuist/scratch$WORKDIR=/nuist/p/work$APPDIR=/nuist/p/public加载自己所需要的模块在下列文件中通过 module load/unload命令来加载/卸载自己所需要的运行环境.bash_profile/.bashrc.cshrc.kshrc例如：module load netcdf ncl ncview GrADS,三 运行环境设置,使用module命令时的注意事项如果只使用模块名而没有指定版本，则所有操作都是针对缺省版本当使用module swap反复切换编译器模块时，会引起segmentation fault问题。当需要对编译器进行反复切换时，建议使用module unload/module load来进行操作module 命令加载的是系统缺省设置的运行环境变量，用户自己的设置，仍然需要通过设置用户主目录下的.bashrc/.bash_profile/.cshrc等来实现,三 运行环境设置,Module 使用示例jliulog02$module listCurrently Loaded Modulefiles:1)intel/11.1.046 2)mvapich2/2.0bjliulog02$module swap mvapich2 openmpijliulog02$module listCurrently Loaded Modulefiles:1)intel/11.1.046 2)openmpi/1.6.5jliulog02$module load ncl netcdfjliulog02$module listCurrently Loaded Modulefiles:1)intel/11.1.046 3)ncl/6.1.2 2)openmpi/1.6.5 4)netcdf/4.3.0,三 运行环境设置,jliulog02$module listCurrently Loaded Modulefiles:1)intel/11.1.046 3)ncl/6.1.2 2)openmpi/1.6.5 4)netcdf/4.3.0jliulog02$module swap netcdf/4.3.0 netcdf/3.6.3jliulog02$module listCurrently Loaded Modulefiles:1)intel/11.1.046 3)ncl/6.1.2 2)openmpi/1.6.5 4)netcdf/3.6.3,三 运行环境设置,Fortran 编译命令Intel:ifortGNU:gfortranPGI:pgf90/pgf77/pgfortranC 编译命令Intel:iccGNU:gccPGI:pgccC+编译命令Intel:icpcGNU:g+PGI:pgCCMPI编译命令Fortran:mpif90,mpif77C:mpiccC+:mpic+,mpicxx,四 作业管理,1）队列设置,四 作业管理,2）墙钟限制,五账户管理规则,1）账号申请项目负责人填写“计算资源申请表”申请资源项目成员填写“高性能计算机账号申请表”开通其个人账号。项目负责人指定各成员可以使用的记账账号，开通/停止项目成员账号由项目负责人(或相关授权人员)提出每个人拥有独立的大型机用户账号只有有效的项目号和在该项目号下有效的成员才能提交作业,五账户管理规则,超级计算机计算资源申请表,申请人：填表人：日期：填表说明：个人的计算项目号格式为 P+工号+三位数字（第一个为001，第二个为002，.）。业务/部门项目的姓名为实际运行的业务或部门名称，计算项目号由超算中心统一安排，起止时间不用填写。项目描述要注明实际的科研项目及所用到的的模式或软件。年度配额仅为预申请配额，最终核准的配额要根据计算机的实际年度计算能力协调分配。,五账户管理规则,超级计算机账号申请表,申请人：日期：填表说明：校内教师和学生需填写学号/工号；合作、访问人员不用填写。预设账号为拟开通使用的超级计算机账号，如有冲突，由超算中心重新分配。记帐项目号从项目负责人处获取，并由项目负责人签字。教师有效期如无特别指定，可不用填写；合作、访问人员需要指定有效期；学生账号的有效期从申请日期起到规定毕业年份的6月底。,五账户管理规则,2）账户数目限制 每人只允许使用一个账户。假借他人身份多开账户，将对所有相关账户进行冻结3）账户清理以下情况将被视为非活动账户，自动进行清理账户到期后，给予30天的宽容期，在宽容期内，只能下载备份自己的数据，30天后账户将被自动清除，并删除所有相关目录6个月内登录次数少于10次的账户将冻结超过一年没有使用的账户，将提前30天通知账户将关闭，30天后自动关闭已离校或已结束合作关系，将提前30天通知账户将关闭，三个月后自动关闭,五账户管理规则,3）帐户密码规则密码长度至少8个字符长密码中至少需要有一个大写字母密码中至少需要有一个小写字母密码中至少需要有一个数字密码中至少需要一个其他符号(例如,!,#$%等),六计算资源管理,1）计算资源申请每年由项目负责人根据需求按项目进行计算配额申请，年度总配额分别除以12和4后，按30日配额和90日配额进行滑动管理。在任意连续30日/90日内如果超出配额限制，则该项目组的所有账号都需要暂停使用，直到30日/90日累计算量降到配额限制以下才能恢复使用。亦即，整个项目每日的最大可用计算量=30日/90日配额 前29日/89日的累计计算量每年10月中旬开始进行计算配额申报，截至日期为10月底，11月中旬将由大型机主管部门组织高性能资源分配协调会，讨论并协调高性能计算资源的最终分配方案,六计算资源管理,2）计算量统计方式计算量按核小时为单位来进行统计独占任务 墙钟小时 x 所用计算节点 x 核数/节点 x 权重系数共享任务核秒/3600 x 权重系数,七不允许行为,以下情况将不被允许在登录节点上运行较大需要大资源的程序，导致节点响应缓慢，影响到其他用户绕过作业管理，直接提交任务到计算节点通过使用更改文件时间等手段来干扰/绕过工作目录卷、临时文件目录卷的文件清理机制处理不进行通知，直接中止正在运行的程序第一次违反，将给以警告第二次违反，将立即禁用账号30天第三次违反，立即禁用账号，在项目负责人提出账户解冻申请并做相应承诺后，酌情处理,八作业提交,PBS指令 在脚本中以“#PBS”开头#PBS-N jobname可选设置，作业名#PBS S/bin/bash指定PBS的Shell为bash#PBS-P project number必需设置，作业项目号，P+位数字#PBS-q queue必须设置，队列名，Regular,Economy,Longtime(注意:队列名大小写敏感)#PBS-l nodes=N:ppn=M必须设置，N:节点数,M:每个节点核数#PBS-l walltime=hh:nn:mm可选设置，墙钟限制，不同队列，墙钟限制不一样，最长小时,八作业提交,#PBS-M meeartch可选设置，作业报告发送电子邮件地址#PBS-m bea可选设置，作业报告发送状态，b 开始，e 结束，a 中止#PBS V可选设置，复制用户环境变量#PBS-o jobname.out可选设置，标准输出输出文件#PBS-e jobname.err可选设置，标准错误输出文件注：注释PBS指令，在指令前再加一个“”，例如：#PBS VPBS指令也可以通过命令行方式提供，不放到脚本中，指令前不需要加“PBS”例如：qsub-n helloworld-P P123456789-l nodes=2:ppn=12-l walltime=00:05:00-q Regular job.sh,八作业提交,2.PBS的环境变量,八作业提交,.命令运行方式 MPI程序mpirun-n np mpi_app.exeOpenMP程序export OMP_NUM_THREADS=np./omp_app.exe串行程序./serial_app.exe,八作业提交,示例一MPI并行作业，使用两个节点，每个节点个核#!/bin/bash#PBS S/bin/bash#PBS-N helloworld#PBS-P P123456789#PBS-q queue Regular#PBS-l nodes=2:ppn=12#PBS-l walltime=00:05:00cd$PBS_O_WORKDIRnprocs=cat$PBS_NODEFILE|wc-lmpirun-np$nprocs./hello.exe,八作业提交,示例二串行作业，使用1个节点，个核运行4个任务#!/bin/sh#PBS-l nodes=1:ppn=4cd$WORK_DIR1/usr/bin/time myapp1.exe&cd$WOR_DIR2/usr/bin/time myapp2.exe&cd$WORK_DIR3/usr/bin/time myapp3.exe&cd$WORK_DIR4/usr/bin/time myapp4.exeWaitForAllDone.sh,八作业提交,示例三关联作业#!/bin/bash job1=qsub job1.sh job2=qsub-W depend=afterok:$job1 job2.sh job3=qsub-W depend=afterok:$job2 job3.sh job4=qsub-W depend=afterok:$job3 job4.sh exit 0 afterok:当指定的作业正常退出afternotok:：当指定的作业异常退出afterany:只要指定的作业结束不论正常或异常,八作业提交,示例四，OpenMP作业#!/bin/sh#PBS-l nodes=1:ppn=12export OMP_NUM_THREADS=12./my_openmp_app.exe,八作业提交,qdel 删除作业.qdel job_id.qstat 查询作业信息qstat#显示所有用户信息qstat-f#显示完整信息qstat-u username#查询指定用户的作业情况qstat-q#查询队列情况,九常见编译问题,WRFDA 1.Intel 编译问题:catastrophic error:*Internal compiler error:segmentation violation signal raised*Please report this error along with the circumstances in which it occurred in a Software Problem Report.Note:File and line given may not be explicit cause of this error.var/build/da.make 3.5.1 3.5(line 410,413)3.4.1 3.4(line 401,404)3.3.1(line 385,388)把$(FCFLAGS)改为-O1$(FCBASEOPTS),九常见编译问题,gen_be_etkf 运行时，segmentation fault var/gen_be/gen_be_etkf.f90 3.5.1 3.5 3.4.1 3.4 38 character(len=nf_max_name):var_name 508-558 nf_inq_var 第三个参数替换成 var_name,九常见编译问题,使用NETCDF 4.1.以上版本编译WRF 3.3&WRFDA 3.3http:/www.mmm.ucar.edu/wrf/src/fix/configure_fix.tarGFORTRANWRF&WRFDA 3.4 3.4.1 3.3 3.3.1configure.wrf 去掉-ftree-loop-linear WRF 3.3 3.3.1phys/module_cu_g3.F(line 3122)integer,dimension(8):seed-integer,dimension(12):seedWRFPLUSV3phys/module_cam_mp_microp_aero.Fline 3 comment out,九常见编译问题,RIP 4NETCDFLIB=-L$NETCDF/lib-lnetcdff-lnetcdfNCARGLIBS=-L$NCARG_ROOT/lib-lncarg-lcgm-lncarg_gks-lncarg_c-lX11-lm-L/usr/lib64 lcairoARWpost NETCDF 4.3.0 3.2 src/Makefile(line 19)2.2 src/Makefile(line 31)在-lnetcdf 前加上-lnetcdff,九常见编译问题,WPS 3.3 3.3.1 configure.wps COMPRESSION_LIBS=-L/usr/lib64-ljasper-lpng12-lpng-lz COMPRESSION_INC=-I/usr/include NCARG_LIBS=-L$(NCARG_ROOT)/lib-lncarg-lncarg_gks-lncarg_c-L/usr/lib64-lX11-lcairo 3.4 3.4.1 3.5 3.5.1 NCARG_LIBS=-L$(NCARG_ROOT)/lib-lncarg-lncarg_gks-lncarg_c-L/usr/lib64-lX11-lcairo,问题或建议,