高性能计算教案-第一讲-la.ppt
第 一 讲,介绍+第一章（上）,2,HPC TOP500 List Jun.2010,3,啥是物联网?(Internet of Things),1999年麻省理工学院（MIT）的自动识别实验室提出。,国际电信联盟（ITU）从1997年开始每一年出版一本世界互联网发展年度报告，其中2005年度报告的题目是物联网（Internet Of Things，IOT）。,物联网的一种定义：通过射频识别（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络,物联网是互联网的延伸与扩展：互联网最基本的功能是人与人之间的信息交互和共享，物联网中更强调的是人与物、物与物之间信息的自动交互和共享。,4,啥是物联网?(通俗版),司机出现操作失误时汽车会自动报警；,衣服会“告诉”洗衣机对颜色和水温的要求等等；,公文包会提醒主人忘带了什么东西；,任何人（Anyone，Anybody）可以在任何时候（Anytime，Any context）、任何地方（Any place，Anywhere），通过任何网络或途径（Any path，Any Network）访问任何事（Anything，Any device）和任何服务（Any service，Any business）。,5,啥问题？,美国咨询机构FORRESTER预测，到2020年，物联网上物与物互联的通信量和人与人的通信量相比，将达到301。,巨巨巨庞大的信息量！,6,乍办？,提高计算机性能：,让一台计算机不是使用一个CPU，而是使用几百个或者几千个CPU。,将成百上千台计算机通过网络互联起来，组成计算机集群。,研究CPU运算速度更快的量子计算机、生物计算机与光计算机。,7,实测性能超过每秒1271万亿次,8,HPC TOP500 List Jun.2010,9,HPC TOP500 List Nov.2009,10,HPC TOP500 List Nov.2010,Tian He-1A,11,25700000,000,000,000/s；,12,并行计算机的发展,始于70 年代,1946年第一台计算机 ENIAC（Electronic Numerical Integrator And Computer）,占地170平方 重约 30 吨 5000 次加法/秒 或500次乘法/秒 15分钟换一个零件 主要用于弹道计算 和氢弹研制,13,并行计算机的发展,始于70 年代,1972年第一台并行计算机 ILLIAC IV（伊利诺依大学）,60 年代末开始建造 72 年建成,74 年运行 第一个完整程序,76年 运行第一个应用程序 64 个处理器，是当时 性能最高的CDC7600 机器的 2-6倍 公认的1981年前最快 1982年退役 可扩展性好，但可编程性差,14,并行计算机的发展,始于70 年代,向量机 Cray-1,一般将 Cray-1 投入 运行的 1976 年称为“超级计算元年”编程方便，但可扩展性差 以 Cray 为代表的 向量机称雄超级 计算机界十几载,收藏于 Deutsches Museum 德意志博物馆的 Cray-1原型,15,并行计算机的发展,80 年代百家争鸣,早期：以 MIMD 并行计算机的研制为主,Denelcor HEP（1982年）第一台商用 MIMD 并行计算机,Cray X-MP Cray 研究公司第一台 MIMD 并行计算机,IBM 3090 80 年代普遍为银行所采用,西摩 克雷 Seymour Cray(1925-1996)，电子工程学学士，应用数学硕士，超级计算机之父，Cray研究公司的创始人，亲手设计了Cray机型的全部硬件与操作系统，作业系统由他用机器码编写完成。1984年时，公司占据了超级计算机市场 70%的份额。1996年Cray研究公司被SGI收购，2000年被出售给Tera计算机公司，成立Cray公司。,16,并行计算机的发展,80 年代百家争鸣,中期：共享存储多处理机 Shared-Memory MultiProcessor,SMP(Symmetrical Multi-Processing)：在一个计算机上汇集一组处理器，各处理器对称共享内存及计算机的其他资源，由单一操作系统管理，极大提高整个系统的数据处理能力。,扩展性较差 可靠性较差 内存访问瓶颈,并行计算机的发展,17,80 年代百家争鸣,后期：具有强大计算能力的并行机,通过二维Mesh连接的Meiko（Sun）系统 超立方体连接的 MIMD 并行机：nCUBE-2、iPSC/80 共享存储向量多处理机 Cray Y-MP,并行计算机的发展,18,90 年代：体系结构框架趋于统一(DSM、MPP、NOW),DSM（Distributed Shared Memory）分布式共享存储,MPP（Massively Parallel Processing）大规模并行处理结构,DM-MPP 分布式存储 MPP：每个结点仅包含一个微处理器 SMP-MPP：每个结点是一台 SMP 并行机 DSM-MPP：每个结点是一台 DSM 并行机,NOW（Network of Workstations）工作站机群,也称为 COW（Cluster of Workstations）NOW（COW）与 MPP 之间的界线越来越模糊,19,并行计算机的发展,2000 年至今：前所未有大踏步发展,Cluster 机群,Constellation 星群,每个结点含多个商用处理器，结点内部共享存储 采用商用机群交换机通过前端总线连接结点，结点分布存储 各个结点采用 Linux 操作系统、GNU编译系统和作业管理系统,每个结点是一台子并行机 采用商用机群交换机通过前端总线连接结点，结点分布存储 各个结点运行专用的结点操作系统、编译系统和作业管理系统,MPP,专用高性能网络，大多为政府直接支持,20,当前高性能计算机,2008 年 06 月排名第一的 Roadrunner 走鹃,IBM Cluster/BladeCenter 122400 Cores/98 T/RedHat Linux/每天耗电5.6万度 理论峰值 1375780 GFlops,测试峰值 1026000 GFlops,世界上首台千万亿次计算机,在2009年6月和2010年5月的最新排行榜上仍然名列第一（129600 Cores,1105000 GFlops）,21,提问？,P13,表1.3,22,并行计算（Parallel Computing）,并行计算，同义词：高性能计算（High Performance Computing）、超级计算（Super Computing）,大任务,不同处理单元,分给,在并行机上，将一个应用分解成多个子任务，分配给不同的处理器，各个处理器之间相互协同，并行地执行子任务，从而达到加速求解速度，或者求解应用问题。,23,并行计算2,基本条件：硬件（并行机）：并行机至少包含两台或两台以上处理机，这些处理机通过互连网络相互连接，相互通信。并行算法设计：也就是说，应用可以分解为多个子任务，这些子任务可以并行地执行。将一个应用分解为多个子任务的过程，称为并行算法的设计。并行编程环境：在并行机提供的并行编程环境上，具体实现并行算法，编制并行程序，并运行该程序，从而达到并行求解应用问题的目的。,主要目标：提高求解速度：例如，在单处理器上，串行执行需要2 个星期（14 天），借助并行计算，使用100 台处理器，加速50 倍，将执行时间缩短为6.72 个小时。扩大问题规模：例如，在单处理器上，受内存资源2GB的限制，只能计算10 万个网格，也可以借助并行计算，使用100 个处理器，将问题求解规模线性地扩大100 倍。,24,并行计算机体系结构,25,并行计算机体系结构,并行计算机体系 结构示意图 内存模块与结点分离,并行计算机体系 结构示意图 内存模块位于 结点内部,26,并行计算 vs 分布式计算,分布式计算（distributed computing）：,通过网络相互连接的两个以上的处理机相互协调，各自执行相互依赖的不同应用，从而达到协调资源访问，提高资源使用效率的目的。,无法达到并行计算所倡导的提高求解同一个应用的速度，或者提高求解同一个应用的问题规模的目的。,分布式计算和并行计算通常相互配合，既要通过分布式计算协调不同应用之间的关系，又要通过并行计算提高求解单个应用的能力。,27,并行计算 vs 分布式计算2,并行计算：,给定二维规则区域上的Dirichlet问题u=f，采用标准5 点有限差分格式离散。平均分配N=Nx x Ny 个网格单元给P=Px x Py 台处理机。所有处理机并行计算，执行Jacobi 迭代，求解Dirichlet 问题，从而达到缩短求解问题的时间，或者扩大网格规模N 的目的。,观众点播，远程驾驭式可视化，电视会议等。,分布式计算：,28,并行计算机网络,并行计算机是靠网络将各个处理机或处理器连接起来的：静态连接和动态连接,局部总线、I/O总线、SAN和LAN,并行计算机网络性能指标,节点度（Node Degree）：射入或射出一个节点的边数。在单向网络中，入射和出射边之和称为节点度。网络直径（Network Diameter）：网络中任何两个节点之间的最长距离，即最大路径数。对剖宽度（Bisection Width）：对分网络各半所必须移去的最少边数如果从任一节点观看网络都一样，则称网络为对称的（Symmetry）对剖带宽（Bisection Bandwidth）:每秒钟内，在最小的对剖平面上通过所有连线的最大信息位（或字节）数网络规模：网络包含的结点总数，或者包含的CPU 总数。,30,How to use them?,固定网络规模,对剖带宽,对剖宽度,或者网络直径,则互联网络质量可以说越高。,越高,越大,越小,31,静态连接,处理单元间有着固定连接的一类网络，在程序执行期间，这种点到点的链接保持不变,典型的静态网络：一维线性阵列、二维网孔、树连接、超立方网络、立方环、洗牌交换网、蝶形网络等。,32,一维线性阵列,33,二维网孔,34,二维网孔2,35,二叉树,标准二叉树拓扑结构包含P=2N个叶结点和2N-1个内结点。,36,二叉树,标准二叉树拓扑结构包含P=2N个叶结点和2N-1个内结点叶结点分别对应并行机的结点；内结点负责这些叶结点之间的通信。,二叉树的网络直径仅为2 log P，非常有利于叶结点之间的全局通信。,它的折半宽度只为1，不利于结点之间的大数据量通信。,37,胖树,38,超立方,39,超立方体,是一个具有很好性质的拓扑结构，其网络直径仅为logP，折半带宽为2(d-1)。,结点的度为d，随并行机规模的增加而增加，这给网络实现带来了一定的困难。,通常地，超立方体一般不超过5 维。,40,3-立方环,41,静态互连网络特性比较,42,并行计算 vs 串行计算,并行计算可分为：,时间上的并行：就是指流水线技术。,空间上的并行：是指用多个处理器并发的执行计算。,并行计算科学中主要研究的是空间上的并行问题。,从程序和算法设计人员的角度来看：,并行计算又可分为数据并行和任务并行。一般来说，因为数据并行主要是将一个大任务化解成相同的各个子任务，比任务并行要容易处理。,43,空间并行计算,单指令流多数据流（SIMD）：,多指令流多数据流（MIMD）：,并行向量处理机（PVP）,对称多处理机（SMP）,大规模并行处理机（MPP）,工作站机群（COW）,分布式共享存储处理机（DSM）,44,SIMD-Single Instruction Stream OverMultiple Data Streams,45,MIMD-Multiple Instruction Stream OverMultiple Data Streams,46,云计算（Clouding Computing）,
