《并行处理与体系结构2》.ppt

,5 千兆位网络技术,一、问题的提出,1.机群系统,如下图,一个典型的计算机结构,1.机群系统,基本含义,5个体系结构概念融为一个机群，它是全体计算机(结点)的互连集。这些互连的计算机能集体地工作，尤如一个单一系统，以提供不会被中断的(可用性)和有效的(性能)服务。,简单解释,机群是全体计算机(结点)的集合，这些计算机由高性能网络或局域网(LAN)物理 地互连；,典型情况下，每个计算机结点是：,一台SMP服务器,一台工作站,一台PC计算机,所有机群结点必须能一起集体工作，如同一个单一集成的计算资源，除了满足由 交互用户单独地使用每个结点的协定任务之外。,2.特征,计算机机群特征（一）,COW的每个结点是:,或是一台PC。,一个完整工作站，但没有某些外围设备(如监视器、键盘、鼠标等)。有时称这类 结点为“无头工作站”；,一个结点也可以是一台SMP（服务器）；,来实现互连，虽然在某些商用机群中也使用专用网络。,结点通过低廉的商品化网络，如：,以太网,FDDI,光纤通道,ATM开关,COW：工作站（机）群,MPP：大规模并行处理机,计算机机群特征（二）,网络接口与结点中的I/O总线松耦合相连。与此相反，MPP中则用紧耦合网络 接口,它与处理结点的存储器总线连接；,总有一个局部磁盘，而在MPP结点中可能没有；,在每个结点上驻留有完整的操作系统，而在某些MPP的结点中只有操作系统的 微核。,总之,COW的操作系统是相同的工作站UNIX，加上一个附加软件层以支持单一系统 映像、可用性、并行性、通信以及负载平衡;,IBM SP2被认为是一个MPP。但除了用作通信网络的专用高性能开关之外，它是机群体系结构。,现在MPP和COW之间的界限正变得日益模糊;,与MPP相比，机群具有许多成本/性能优点。机群化正成为开发可扩展并行计算 机的趋向。,工作站UNIX,附加软件层,单一系统映像,负载平衡,可用性,并行性,通信,二、千兆位的光纤通道和FDDI环,1.通道和网络,2.光纤通道,ANSI X3T11指出光纤通道(FC)是通道和网络标准的集成，目的是为了在 工作站、主机、超级计算机、存储设备和显示器之间进行联网、存储和数 据传输。,FC能提供联网、存储和数据传输标准。,光纤通道企图组合最好的通道和通信方法到一个新的I/O接口，以满足 通道用户和网络用户的需求。,“通道”在通信设备之间提供一种直接的或点到点交换的连接。通道是偏向 硬件的，传输数据速率高，开销非常低。通道操作只在预先编址的少量设 备中进行。,网络是分布结点（如工作站、文件服务器或外围设备）的聚集，用自己的 网络协议支持结点间的交互作用。网络开销相对较高，因为它是偏向软件 的，因此比通道速度要慢。,“网络”处理的任务的范围要比“通道”大得多，因为网络操作不是在固定 连接的环境中进行；,较好的网络标准包括IEEE802、TCP/IP、ATM协议。,3.光纤通道技术,基本介绍,光纤通道可以是共享介质，也可是一种交换技术。光纤通道操作速度范围是：100到133，200，400和800Mbps。,光纤通道除了在局域网应用中提供客户服务器解决办法或集线器（hub）解 决办法之外，已支持点对点、环路和交换星型等连接。,性能介绍,光纤通道使用STP铜线可达50米之长，速率是100Mbps；,使用单模光纤可达10公里；,使用多模光纤的光纤通道局域网可跨越2公里，速率是200Mbps；,当前在大部分光链路的实现中，由于有很高的软件驱动器开销，限制了光纤通道的最高性能小于255Mbps。,某些千兆位局域网是基于“光纤通道技术”,价值,屏蔽双绞线(Shielded Twisted-Pair),4.FC标准的五层,光纤通道体系结构包括五个标准层,如下表所示：,物理介质和传输速率(FC-0),针对各种数据通道和网络标准的高层协议和应用接口(FC-4),数据编码和解码方案(FC-1),帧协议和流控制(FC-2),普通服务和特点选择(FC-3),光纤通道的优点在于具有同一链路上可同时传输通道 和网络协议的灵活性。,它为通道和网络数据通信提供了一个通用接口，它也 能和FDDI、串行HiPPI、SCSI、IPI(智能外设接口)、IP(互连网协议)、IEEE802.2等一起工作。,光纤通道的优点,（即“网络标准”）,偏向硬件,偏向软件,5.光纤通道拓朴结构,联网拓朴结构的灵活性是光纤通道的优势，它支持：,点到点,仲裁环,交换光纤连接,点到点,仲裁环,交换光纤连接,能够以3种拓扑结构最高 可能的带宽连接计算机和 计算机，或计算机和磁盘,在令牌驱动的环中，可连 接多至126个设备。这对 于大量存储设备互连是非 常好的，所有设备共享许 可的带宽。,这种环的优点是价格低，因为不需交换开关。,提供最大的吞吐量，许 多不同速度设备能连接 到中央光纤交换开关上。,能够以3种拓扑结构最高可能的带宽连接计算机和计算机，或计算机和磁盘,在令牌驱动的环中，可连接多至126个设备。这对于大量存储设备互连是非常好的，所有设备共享许可的带宽。这种环的优点是价格低，因为不需交换开关。,提供最大的吞吐量，许多不同速度设备 能连接到中央光纤交换开关上。,为了匹配最大的带宽，每个输入端口,首先从FIFO队列中并行化8个数据片，使之成一个数据块，然后在1个周期内写整个64位的数据块到中央队列中。,这种“交换光纤拓扑”结构中也使用了“带缓存的虫蚀寻径技术”,如果不存在冲突,如果不存在冲突，一个88的交叉开关使8个报元（称数据片）以每140s的周期通过交换开关；,当存在热点冲突,当存在热点冲突时，每次只允许1个交叉点开关工作，被阻塞的数据片缓存在中央队列中。,这种缓冲使得输入端口可以从前1个交换阶段解脱出来以接收后续的数据片。,中央队列是用双端口的RAM加以实现的，它能在每个时钟周期内执行一次读和一次写。,6.光纤通道物理结构,光线通道的基本结构是与输入和输出端口连接的一个交叉式交换机。,6.FDDI,Digital Equipment公司开发了共享介质的FDDI(fiber distributed data interface)技术,FDDI使用双光纤令牌环在工作站之间提供100-200Mbps的传输速率。为了可靠性的目的，使用两个相反方向的旋转环来提供冗余通路。FDDI具有互连大量设备的能力。,参数,如果用铜线可达100米;,用多模光纤可达2公里;,用单模光纤可达60公里；,双连接多模光纤FDDI环不用重复器或网桥也可扩展到200公里远。,容错能力,FDDI环在容错方面也是先进的。FDDI集中器通过隔离故障使得网络 非常可靠;,紧急任务服务器也能连接两个集中器以提供更高的容错能力.,FDDI缺陷,FDDI的缺陷是没有能力支持多介质传输，因为传统的FDDI仅以异步 方式操作，这可能削弱FDDI同ATM技术的竞争。但是，同步的FDDI 产品已经出现，它可用来处理时间要求严格的传输;,这使得FDDI在将来的应用中保留了一定的用户团体。Digital公司的 FFDI技术使得以全双工模式应用的FDDI变得可能，这也增加了FDDI 的竞争力。,三.快速以太网和千兆位以太网,1.以太网的代别,100Mbps以太网首先在1982年出现，已不再能满足当前多计算机机群或因特网应用 中的带宽需求；,1994年两种100Mbps快速以太网(100BaseT和100VG AnyLAN)开发成功；,IEEE8023工作组于1997年宣布1千兆位以太网已经可能。,2.电缆的连接距离,以太网,根据使用的电缆技术，以太网跨越的最长距离 可达25公里；,以太网多半假设是总线 或星形拓扑结构。,百兆位以太网,100Base-T其工作速率 为100Mbps；,单模光纤-20公里,全双工多模光纤-2公里,铜线-100米,快速以太网（即百兆以 太网）更多地支持星形拓 扑结构；,千兆位以太网,千兆位以太网是2公里；,千兆位以太网应用对象 是要求更大带宽的校园 或楼宇大厦；,千兆位以太网并不要求 改变早期以太网产品的 网络基本结构、管理和 应用。,100VG-AnyLAN其工作 速率为100Mbps；,双绞线-100150米,光纤电缆-4公里,单模光纤,3.千兆位以太网未来变迁,其保留了以太网的CSMA/CD存取协议。硅技术和数字信号处理技术的发展，使得将来的千兆位以太网可有效地支持使用5类UTP连线。,概述,一个千兆位以太局域网主干线：,下图中，展示了如何将一个交换式快速以太网主干线升级成千兆位局域网主干线。高性能服务器农庄可用千兆位Internet NIC直接连接到千兆位网络主干线上。对因特网用户来说，这种升级可以提高多服务器机群的吞吐量。,例题,千兆位以太网标准IEEE 802.3z；,所有以太网各代的产品都使用MAC(media access control)协议：CSMA/CD。,在物理层，可利用光纤通道和双绞线两种 技术。,（Carrier Sense Multiple Access/Collision Detect）载波监听多路访问/冲突检测,四、Myrinet网,Myrinet是Myricom公司设计的千兆位报文交换网络。,Myricom公司的目的是为了构造计算机机群，使系统互连成一种商业产品。,Myrinet是基于加州理工学院开发的多计算机和VLSI技术，以及在南加州大 学开发的ATOMICLAN技术。,它被设计用来构造柜式SAN计算机机群，或者构造基于LAN的桌面主机 和服务器农庄。,Myrinet假设任意拓朴结构，不必限定交换开关为网格或任何规则的结构。,基本简介,SAN,（1）Myrinet网交换开关,SAN,Myrinet交换开关中使用了阻塞的直通(虫蚀)寻径机制；,在任意网络拓朴结构中，多端口的交换开关通过链路和其它交换开关 或单端口的主机接口相连；,每个交换开关内部是流水式的交叉开关，具有流控和输入缓存功能。,Myrinet网交换开关,（2）Myrinet网主机接口,SAN,主机接口是一个32位的用户定制的VLSI处理器，称作LANai芯片，带有 Myrinet接口、报文接口、DMA引擎和快速静态RAM。而SRAM则用来 存储Myrinet控制程序(MCP)和报文缓存；,这种微体系结构在一般的总线和Myrinet链路之间提供了一种灵活和高 速的接口。,Myrinet网主机接口,这种“主机接口”可以理解为“网卡”；,MCP软件在接口处理器上运行，避免了OS的开销；但是，设备驱动程序和OS仍在 主机上运行。,理解,主 机,接 口,Myrinet网连接的LANCluster配置,SAN,例题,上图说明,上图中展示了用4个Myrinet交换开关构造一个Myrinet局域网，该网连接 了桌面工作站、PC机和柜内多计算机机群和单板多处理机群。,在多计算机柜中，由2个交换开关形成一个SAN。,网络RAM和磁盘阵列也接到Myrinet网上。,Myrinet网支持计算机机群的应用方面有很大的潜力。,评价,五、HiPPI和超级HiPPI,1.HiPPI技术,高性能并行接口(HiPPl)是由Los.Alamos国家实验室于1987年提出的 一标准，目的是统一来自不同厂商生产的所有主机和超级计算机的接口。,在主机和超级计算机工业界，HiPPI被接收为短距离,系统到系统以及 系统到外设连接的高速IO通道。,1993年，ANSI X3T9.3委员会认可了HiPPI标准，该标准覆盖了物理和 数据链路层。在这两层之上的任何规定取决于用户（即高层由用户来决定！）,HiPPI是个单工的点到点接口，以800Mbps到1.6Gbps的速率传输数据。,HiPPI和ATM具有互操作性，再加光纤通道和Sonet已经研制成功，由 HiPPI可以完成高速组网；,2.接口和敷设电缆要求,基本的接口是50位宽，其中32位是数据，18位是控制信号；,每40ns发送一个32位的字构成了总计为800Mbps的速率；,物理上指定使用50对屏蔽双绞线，距离最长可达25米。,HiPPI技术已广泛用于异构计算机和它们的外设的组网中。HiPPI也不再仅针对超级计算机。,HiPPI主要用于超级计算机与一些外围设备、海量存储器、图形工作站等的高速接口。,（美国）洛斯-阿拉莫斯国家实验室,同步光纤网（Synchronous Optical Network）,典型的HiPPI互连组网的配置,例题,为了在不同主机、服务器和超级计算机之间建立指定的链接，双向HiPPI交叉开关已经开发成功。,3.HiPPI通道和交换开关,HiPPI通道被引入作为高速IO或外设通道，但它不支持选播。在商 品化机型中，HiPPI通道和HiPPI交换开关用在：,SGIPowerChallenge服务器群,IBM 390主机,Cray YMP,C-90和T3DT3E等系统中,同光纤通道一样，HiPPI不适合低延时的、动态的和交互的应用。,HiPPI通道和HiPPI交换开关的一些操作特点：,超高速的数据传输。目前，不论单工还是全双工方式，HiPPI可配置为 800Mbps或1.6Gbps两种速率；,非常简单的信号系列；,协议独立；,物理层流控制；,面向连接的电路交换；,和铜线及光纤的兼容性。,（在和以太网、FDDI和高速数据存储和检索装置组网时，HiPPI都是自适应的）,（一般可用3个消息建立HiPPI连接：request、connect、ready）,（基于信用的系统：由源保持ready就绪信号踪迹，仅当目的地能处理数据时，它才发送数据）,（非阻塞电路交换允许多个会话同时发生。HiPPI交换开关的聚集带宽是多个 800Mbps或多个1.6Gbps，等于每端口带宽乘以端口数。）,（对于短距离互连，HiPPI用50对STP线。单模和多模方式可跨越校园网和 城域网，Sonet用作远距离通信）,对于单工的HiPPI通道，需要两根电缆进行双向通信。对了达到全双工1.6Gbps的 速率，不得不需要4根电缆一起工作。,由于HiPPI是一种单工协议，所以全双工连接需要用另一个HiPPI在相反方向连接,单工协议,4.超级HiPPI,超级HiPPI技术提供完全不同的实现方式，因此缺乏和传统HiPPI通道的 向后兼容。,开发成功一种超级HiPPI技术，提供潜在的速率为64Gbps，或更高；,SGI公司和Los.Alamos国家实验室都开发了HiPPI技术用来构造速率高达 25.6Gbpss的HiPPI交换开关。,1994年在哥伦比亚特区华盛顿召开的ACM Supercomputing会议上，演示 了一种全光纤的HiPPI主干线，包括18英里长的多模电缆和16个展示器(exhibitor)，总共可提供高至90Gbps的聚集带宽。,6 ATM交换器和网络,异步传输模式(ATM)由ATM论坛(成立于1991年)和ITU标准定义。,一、ATM技术,ATM是一种独立于介质的消息传输协议，它将消息段传输转变成更短 的固定长度为53字节的报元传输。,ATM技术是基于片交换机制。ATM的目的是将实时（也就是延时敏感 的）和突发数据（也就是非延时敏感的）两个方面的传输变成统一的 网络技术。,ATM技术简介,在宽带组网应用中，ATM提供了动态带宽分配和所需的高速交换机制。在ATM采用的 交换机制范例中，端站点不共享公共介质，因此它能支持LAN和WAN两者的需求。,ATM使用短报元的事实使得在硅光纤上构造交换器变得可能，由此获得高速度。,ATM网络起源于Telecom公司，在因特网主干线中以MAN和WAN 形式出现。大多数计算机公司都有它们的ATM组网技术以支持企业 和局域网。,何谓ATM,国际电信联盟（International Telecommunication Union）,1.ATM报元格式,如图所示，长报文在传输经过ATM网络之前，必须分成多个报元。在接收端，报元被重新组装以恢复原始报文格式。,使用小报元、虚路径和虚通道使得ATM报元交换设计非常具有吸引力。,报元格式中前5个字节是报元的头，用于寻径作用。有效负荷中包括至多48个字节的 数据信息；,一个报元53个B,源寻径方案,逐站（hop-by-hop）寻径方案,对于源寻径方案，整个寻径路径信息 必须包括在报元头中。因此，寻径长度 受到限制。,对于逐站寻径，报文头中只需存放站 的识别码，因此寻径路径选择非常灵活,在多数ATM交换器中，采用上面给出的报元格式，并选择逐站的寻径方案。,2.报元交换器设计,ATM应与使用标准通信协议的现有LAN、MAN、WAN合成为一体。ATM报元网络已用来传输宽带和多媒体信息。尤其是ATM必须能够 有效地执行选播操作。,除了使用传统的报文交换网络之外，ATM还提供了一种建立报元交换 网络的新标准；,它被设计用来在一个网络上，高速传输从声音到图象，从视频到数据 所有类型媒体。,基于逐站寻径方案的报元交换的设计概念,在ATM交换器的每条输入链路上，到达报元的虚路径标示符（VPI）和虚通道标示符（VCI）的 值唯一地确定了报元将经过的路径和通道。在输出链路上，报元头中的老标示符将被新的虚标示 符所替换。通过虚路径建立程序初始化寻径表。,报元一旦进入ATM交换器，VPI字段（x）用来选择寻径表中的一项。该项记录中包含了报元将 转发给下一个输出端口的编号数字（P）。为了转发到下一个交换器，报元中的VPI值（y）将用 一个新值替换。在相同的虚路径下，利用报元中的VCI字段区分一组虚通道流。因此，两个主机 可以多路方式传输许多应用流。,报元交换网络新的标准,过程描述,3.ATM速度,ATM网络支持从25到51、155和622Mbps不同的速率范围；,速率越低，ATM交换器和使用的链路价格越低；,ATM的速度在将来可能进一步提高。FORE系统的ASX1000ATM交换器带有 每端口622Mbps速率，从而可使聚集带宽达到10Gbps。,二、ATM网络接口,ATM报元在两级层次结构上进行交换，它们是虚路径和虚电路。,几条虚路径可安排在同一条物理链路上，一条虚路径内可存在 多于一条的虚电路。,虚电路由连接到主机上的ATM交换器辨识。而在交换器与交换器之间，则采用虚路径。因此，ATM定义了两种网络接口：,ATM交换器,ATM交换器,ATM交换器,NNI,NNI,NNI,Host,Host,UNI,UNI,ATM网络中的用户网络接口（UNI）和网络网络接口（NNI）,物理链路,虚路径,虚电路,NNI(网络网络接口)。,UNI(用户网络接口)；,两级交换层次结构的好处：,当由于硬件故障，某些交换器重新寻径 一条虚路径时，所有与之相关的虚电路 自动重新寻径，而不需单独重新建立路 由。,VP(I),VC(I),虚路径,虚电路,GFC字段标识端站点的地址，当一报元和另一报元竞争同一虚电路时，交换器对其中一个赋予优先权，缺省设置为全零。到达的报元首次交换时，将重新设置优先权，从而使端到端的意义不再有效。,NNI报元中，较长的VPI字段使得交换器能利用更多的虚的寻径路径。ATM论坛已经开发了一种私人网络网络接口（PNNI）标准，使得交换器可由不同的供应商制造。,三.ATM四层体系结构,层次化的ATM模型；,概念上来说，ATM模型可用4个层次的三维的模型来描述。,宏观,OSI层,ATM层,ATM子层,功能,3/4,AAL（ATM适配层）,CS,提供标准接口（会聚）,SAR,分段和重组,2/3,ATM,流控制，报元头生成和提取，虚拟电路/路径管理，报元多路复用/反多,2,1,物理,TC,PMD,信息位定时，物理网络存取。,报元速率去耦，头校验和生成和验证，报元生成来自信封的报元打包/解包,ATM层对应于具有支持端到端虚电路交换特征的网络层。它是面向连接的，但它不提供任何应答机制。,1层,2层,3层,4层,1维,2维,3维,四、ATM互连网连接性能,不同的ATM交换器、链路和适配器可用于不同的组网需求。,例如，在一个工作室内，,ATM交换器分配视频到工作站机群，或者用因特网对企业网进行存取。,可用专用的ATM交换器连接PC、工作站和服务器；,ATM交换器可用来构成LAN主干网；,ATM交换器可用来存取早期的LAN(例如以太网、令牌环网或FDDI环网)；,核心是ATM交换器,Pearl Cluster,例题,香港大学(HKU)的一种基于ATM的多计算机机群，已建立了一种基于ATM的工作站和服务器机群：,如图中展示了ATM网络配置。计算机机群围绕着3个互连的ATM交换器而建立，聚集带宽为5Gbps；,155Mbps的采用多模光纤的光缆用来互连6个SMP服务器和40多个Sun、SGI 工作站和PC；,所有这些计算机分布在同一栋大楼内。,由于使用了ATM链路和非ATM链路两种链路，所有不兼容ATM的主机 必须通过ATM适配器连接到ATM网;,这样不同速率的外部链路连接到或来自Pearl_Cluster。但是在机群内 部，除了现有的以太网和FDDI连接之外，只使用155Mbps的光纤电缆;,大多数主机连接到ATM主干交换器(ASX1000，ASX-200BX)上，连 接到以太网上的一些主机通过以太网集中器(PowerHub 7000)间接地进 行互连;,LAX-20局域网存取交换器连接以太网和FDDI环。,ATM交换器、155Mbps光纤链路，以及ATM适配卡是构造HKU机群的基本部件.,Pearl Cluster,对,进行评价,基于Pearl Cluster设备的研究项目覆盖了特殊机群体系结构的开发、分布多媒体处理、元计算和财经数字库等等。,在财经数字库(FDL)应用方面，使用Pearl_Cluster中的一些 负载共享工具(1SF,LoadSharing Facility)进行SSI(单一系统映 象)操作。,除了应用MPI（消息传递接口）和PVM（并行虚拟机）之外，应用主动消息和JVM(Java虚机器)外壳进行用于高速消息传递的 MPI-Java接口(MJl)的开发。,使用两种语言的WWW索引和搜索引擎，从Web资源中，对中、英文文档或多媒体文件进行高速的信息检索。,为了进行计算机机群的性能测试，扩展了TPC(事务处理协会)的 基准程序并生成了新的DMS(分布式多媒体系统)的基准程序。这 些TPC和DMS的基准程序用来估计机群化超级服务器在商业应用 中的潜力。,PearlCluster的应用,电信工业已选择ATM实现了许多宽带ISDN(综合服务数字网络)服务。ATM的未来取决于与LAN和WAN技术的集成能力。,ATM网络缺乏公共接受的报元管理和网络协议,缺陷不足,除非计算机、多媒体、电信等工业界达成ATM相同的标准集，否则ATM技术的缺点将超过它的优点。,结论,感谢,祝大家：,身体健康，成绩优异;奋发有为，建功立业！,勇敢、乐观的学习下去，坚持下去，做最好的自己！,