中国移动电信级网络设备指标标准(系统技术要册）.doc

中国移动通信企业标准QB-W-009-2007电信级设备指标标准系统技术要求分册System Technical Specification for Carrier Grade Evaluation System (CGES)版本号：1.0.02007-4-10实施2007-4-10发布中国移动通信有限公司 发布目录1.范围22.规范性引用文件33.术语、定义和缩略语54.电信级设备组网技术要求74.1.双机方式84.1.1.共享存储双机方式84.1.2.镜像双机方式94.1.3.双机技术要求104.2.集群方式104.2.1.软件集群104.2.2.DNS负载均衡104.2.3.反向代理负载均衡方案114.2.4.NAT负载均衡124.2.5.集群的技术要求135.编制历史14标准性附录A 系统分类及指标要求15前言传统电话网基于电路交换，这种网络经过长期的发展和完善，形成了成熟的技术体系和管理模式，能够长时间、稳定地向公众提供电信业务，传统电话网提供的业务通常被我们称为电信级业务。随着技术的发展和市场的变化，网络呈现宽带化、分组化的发展趋势，基于IP技术的分组交换网络已经成为未来全业务网络的事实标准，在IP网络之上的业务应用也逐渐走向通用服务器加载软件的方式。然而，旧有的数据路由交换设备和通用计算平台是为企业级应用设计开发的，设备在可用性、可管理性等多个方面不能达到电信级水平。随着电信网络IP化的发展，数据路由交换设备和通用计算平台在设计理念上发生了重大变化，目前已出现了大量电信级数据承载设备和数据计算设备。本标准的目的是对网络设备所应达到的电信级要求进行规范。本标准主要内容包括：电信级网络的定义和特征，系统可用性评估方法和电信级网络设备指标要求框架。本标准的附录A系统分类及指标要求为规范性附录本标准由中移有限技200755号印发。本标准由中国移动通信有限公司技术部提出并归口。本标准由归口部门负责解释。本标准起草单位：中国移动通信有限公司研究院本标准主要起草人：孙少陵、周兆民、孙金霞、毛叶琴、杨冬陵1. 范围本标准对中国移动重要数据承载网络设备、核心控制网络设备和数据业务网络设备所应达到的电信级要求进行规范，本标准暂不对接入网末端设备进行规范。本标准为新建数据网络组网、设备选型，现有网络电信级评估和优化提供技术依据。本标准供中国移动内部适用。本标准中涉及到系统和设备这两个基本概念：系统指能够独立完成某项业务的本地站点,站点内包含能够独立完成整个业务流程的设备群；设备指业务系统内部每一个有独立物理封装的软硬件装置。在本标准中：l 必选：表示该条目是本规范必须达到的要求。本规范中没有特殊注明的要求均为必选要求。l 应、应该：文中出现的“应”和“应该”，其含义为“必选”。l 不允许（不可以）：标识该条目绝对禁止。l 可选：标识该条目确实可选。属于本规范非强制建议性要求。2. 规范性引用文件1GB/T14715-1993信息技术设备用不间断电源通用技术条件2GB/T17618-1998信息技术设备抗扰度限值和测量方法3GB/T18313-2001声学信息技术设备和通信设备空气噪声的测量4GB/T18698-2002声学信息技术设备和通信设备噪声发射值的标示5GB17625.1-1998低压电气及电子设备发出的谐波电流限值6GB4943-2001信息技术设备的安全7GB9254-1998信息技术设备的无线电骚扰限值和测量方法8ASTM F1757-1996（2002）计算机系统数字通讯协议的标准指南9IEEE 802.3以太网标准10IEEE 1156.1-1993（2003）微处理机.计算机模块的环境规范11IEEE 1156.2-1996（2003）计算机系统用环境规范12ISO/IEC 14776-112:2002信息技术小型计算机系统接口(SCSI)第112部分:平行接口-2(SPI-2)13ISO/IEC 14776-113:2002信息技术小型计算机系统接口(SCSI)第112部分:平行接口-3(SPI-3)14ISO/IEC 14776-115:2004信息技术小型计算机系统接口(SCSI)第115部分:平行接口-5(SPI-5)15ISO/IEC 14776-115:2004信息技术小型计算机系统接口(SCSI)第150部分:串行连接SCSI16ISO/IEC 14776-222:2005信息技术小型计算机系统接口(SCSI)第222部分:SCSI光纤通道协议第二版17ISO/IEC 14776-232:2001信息技术小型计算机系统接口(SCSI)第232部分:串行总线协议-2(SBP-2)18ISO/IEC 14776-321:2002信息技术小型计算机系统接口-3(SCSI-3)第321部分: SCSI-3块命令(SBC)19ISO/IEC 14776-326:2002信息技术小型计算机系统接口(SCSI)第326部分: 精简块命令(RBC)20ISO/IEC 14776-331:2002信息技术小型计算机系统接口(SCSI)第331部分:流命令(SSC)21ISO/IEC 14776-341:2000信息技术小型计算机系统接口-3(SCSI-3)第341部分:控制命令(SCC)22ISO/IEC 14776-342:2000信息技术小型计算机系统接口第342部分:控制命令-2(SCC-2)23ISO/IEC 14776-441:1999信息技术小型计算机系统接口-3第441部分:SCSI-3结构模型(SCSI-3 SAM)24ISO/IEC 9316:1995信息技术小型计算机系统接口-225中国移动支撑系统集中账号管理、认证、授权与审计（4A）技术要求中国移动通信有限公司26中国移动有限公司内部控制手册中国移动通信有限公司27中国移动支撑系统集中账号管理、认证、授权与审计（4A）技术要求应用系统改造规范中国移动通信有限公司28中国移动应用软件系统账号口令功能模块技术要求中国移动通信有限公司29中国移动数据网设备网管接口数据要求中国移动通信有限公司30中国移动数据网设备网管接口技术规范中国移动通信有限公司31中国移动专用IP承载网核心及汇聚路由器设备技术规范中国移动通信有限公司32中国移动专用IP承载网接入路由器设备技术规范中国移动通信有限公司33中国移动PC服务器设备技术规范中国移动通信有限公司34中国移动存储设备技术规范中国移动通信有限公司35中国移动PC服务器测试规范中国移动通信有限公司36中国移动存储设备测试规范中国移动通信有限公司37中国移动CNGI路由器设备技术规范-核心路由器分册中国移动通信有限公司38中国移动CNGI路由器设备技术规范-接入路由器分册中国移动通信有限公司39中国移动路由器测试规范（全国骨干路由器分册）中国移动通信有限公司40中国移动路由器测试规范（省网节点路由器分册）中国移动通信有限公司41中国移动路由器测试规范（城域核心路由器分册中国移动通信有限公司42中国移动路由器测试规范（城域汇聚路由器分册）中国移动通信有限公司43中国移动 IPSec总体技术要求中国移动通信有限公司3. 术语、定义和缩略语设备关键部件设备内部对该设备业务正常运行起决定性作用的板卡及电源、风扇等硬件功能模块，设备内任一关键部件缺失，设备无法正常提供服务。设备可更换部件设备内部可根据需要或在故障时进行更换的板卡及电源、风扇等硬件功能模块，不包括CPU，内存等器件级部件。设备可扩展单元设备内部可根据需求时进行扩展的板卡及电源、风扇等硬件功能模块，不包括CPU，内存等器件级部件。ATCA 先进电信计算体系结构Advanced Telecom Computing Architecture用于下一代电信设备的板卡、底板以及软件规范。BELLCORE 贝尔通信研究Bell Communications Research贝尔通信研究是代表RBOCs进行研究与开发的组织。CISPR国际无线电干扰特别委员会Comite International Special des Perturbations Radioelectriques EN55022 标准欧洲标准关于信息技术设备.无线电干扰特性.限值和测量方法的标准FCC 联邦电信委员Federal Communications CommissionIEC 国际电工委员会International Electrotechnical Commission 是撰写并分发电子产品和元件标准的行业性组织。IP因特网协议Internet Protocol是TCPIP栈中的网络层协议，它提供一个无连接的互联网服务。IP提供寻址的功能、服务类型的规范、分段存储和重新组合、以及安全的特性。记录在RFC791文件中。IPSec Internet Protocol security IPSEC是一系列基于IP网络（包括Intranet、Extranet和Internet）的，由IETF正式定制的开放性IP安全标准。IP专网中国移动新一代面向多种业务的、能够同时支持语音、视频、数据等多业务的核心承载网络。ITU-T国际电信联盟电信标准化部MHz兆赫MMS多媒体信息服务Multimedia Message Service短信技术开发最高标准的一种MMSC多媒体消息业务中心Multimedia Messaging Service Center MTBF平均无故障时间MTTR平均故障修复时间PSD 部分系统中断时间Partial System DowntimePUSH业务一种信息选择模式 , 把恰当的信息主动推到用户面前RBD建模可靠性框图建模Relay继电器SEI-CMMSEI 美国卡内基梅隆大学软件工程研究院Software Engineering InstituteCMM 能力成熟度模型Capability Maturity Model 该模型共分5级, 每级对应软件企业过程能力成熟度的不同水平Server 服务器一种智能设备，通常是计算机，能对其他智能设备（通常是计算机或设备)提供服务。一种不对称的关系，通常是第二方（也称client)发送请求，而server响应这些请求。TSD 总系统中断时间Total System DowntimeVPN虚拟专用网络Virtual Private Network 通过一个公用网络（通常是因特网）建立一个临时的、安全的连接，是一条穿过混乱的公用网络的安全、稳定的隧道WAP 无线应用协议Wireless Application Protocol 提供了通过手机访问互联网的途径WAPGW 无线应用协议网关Wireless Application Protocol Gateway4. 电信级设备组网技术要求网络系统中，单台设备可用性有限，电信级数据业务系统需要高可用(HA) 以提供对数据和应用程序几乎不间断的访问。网络系统对达到高可用性，系统组网应满足以下原则：l 系统内各关键设备均应配置冗余，保证所有设备无单点故障；l 各设备冗余应采用主从热备份或负载均衡热备份方式工作；l 任何设备间的连接应配备冗余，确保各设备间的连接非单点故障；l 设备应支持冗余连接工作状态的实时监控和转换能力，确保在单条连接故障时，设备可感知并采取相关处理，保证业务不中断。为实现电信级设备的高可用性技术，业务网关键逻辑设备必须使用双机和集群，以冗余来实现电信设备的高可用性。4.1. 双机方式双机根据是否有共享存储方式，又可分为共享双机方式和镜像方式。4.1.1. 共享存储双机方式共享存储方式指两台或多台服务器通过一个共享的存储设备（磁盘阵列或SAN），并且安装双机软件，数据放在共享的存储设备上，当一台服务器提供服务时，直接在存储设备上进行读写，而当系统切换后，另一台服务器也同样读取该存储上的数据，从而保证数据的一致性，实现双机备份，如图41所示：图41 共享存储双机方式在双机共享方式下，根据工作方式的不同，又可分为主从、双机互备。双机主从模式是最标准、最简单的双机方式，即是目前通常所说的active/standby方式。它使用两台服务器，一台作为主服务器(Active)，运行应用系统来提供服务。另一台作为备机，安装完全一样的应用系统，但处于待机状态(Standby)。当active服务器出现故障的时候，通过软件诊测（一般是通过心跳诊断）将standby机器激活，保证应用在短时间内完全恢复正常使用。双机互备，在双机热备的基础上，两个相对独立的应用在两台机器同时运行，但彼此均设为备机，当某一台服务器出现故障时，另一台服务器可以在短时间内将故障服务器的应用接管过来，从而保证了应用的持续性。双机互备可能存在着性能瓶颈，即如果进行切换后，在一台服务器上就有同时运行两个应用，有可能负载过大，需要采取措施来避免此问题，如在华为MMSC对等集群中，就由负载均衡器（的最快响应时间算法）来避免MMSC互备时可能存在的性能瓶颈问题。共享存储双机方式应使用在双机同步数据量大，且对同步实时性要求不是很高的业务系统。共享存储双机方式双机切换时间较长，切换时间为分钟级别，无法保证业务系统不中断。共享存储方式由双机软件进行协调，应用程序协调工作量小。4.1.2. 镜像双机方式镜像双机方式指通过双机或镜像软件，把数据可以实时复制到另一台服务器上，这样同样的数据就在两台服务器上各存在一份，如果一台服务器出现故障，可以及时切换到另一台服务器，如图42所示。图42 镜像双机方式 镜像双机方式应用于双机间同步实时性要求高，且同步数据量不大的业务系统。镜像双机方式可做到双机的热备份,业务系统不中断。镜像方式应用程序设计复杂，协调工作量大。如：SCP、HLR等。4.1.3. 双机技术要求对于双机方式，有如下要求：Ø 心跳网卡必须单独设一个子网或直连，并且必须有两块或以上的心跳网卡：双机运行的核心是在双机中的节点之间发送和接收心跳信息，双机协调者查找来自每个节点的心跳信息，如果在指定的时间内未收到心跳信息，双机协调者将重组双机。如果心跳和数据在同一个网络子网上传送，数据堵塞可能会引起心跳超时，导致不应该发生的双机重组。Ø 双机软件必须能对节点中的主机硬件（CPU、内存等）、磁盘阵列及其连线、网络、操作系统和应用进行侦测，并确保侦测的正确性。Ø 双机软件必须能够自动切换：某一主机如果确认对方故障，则正常主机除继续进行原来的任务，还将依据各种容错备援模式接管预先设定的备援作业程序，并进行后续的程序及服务。 4.2. 集群方式负载均衡（Load Balance）建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。 负载均衡有两方面的含义：首先，大量的并发访问或数据流量分担到多台节点设备上分别处理，减少用户等待响应的时间；其次，单个重负载的运算分担到多台节点设备上做并行处理，每个节点设备处理结束后，将结果汇总，返回给用户，系统处理能力得到大幅度提高。下面为主要的负载均衡技术，不同技术具有不同的可用性，应运用于不同级别的数据业务系统中。4.2.1. 软件集群软件的集群方式是指在一台或多台服务器相应的操作系统上安装一个或多个附加软件来实现负载均衡，用来相互跟踪。如果某个节点失败，它的替补将在几秒钟或更短时间内接管它的职责。它的优点是基于特定环境，配置简单，使用灵活，成本低廉，可以满足一般的负载均衡需求。 软件解决方案缺点也较多，因为每台服务器上安装额外的软件运行会消耗系统不定量的资源，越是功能强大的模块，消耗得越多，所以当连接请求特别大的时候，软件本身会成为服务器工作成败的一个关键；软件可扩展性并不是很好，受到操作系统的限制；由于操作系统本身的Bug，往往会引起安全问题。4.2.2. DNS负载均衡由于基于服务器软件的负载均衡需要改动软件，因此常常是得不偿失，负载均衡最好是在服务器软件之外来完成，这样才能利用现有服务器软件的种种优势。最早的负载均衡技术是通过DNS服务中的随机名字解析来实现的，在DNS服务器中，可以为多个不同的地址配置同一个名字，而最终查询这个名字的客户机将在解析这个名字时得到其中的一个地址。因此，对于同一个名字，不同的客户机会得到不同的地址，他们也就访问不同地址上的Web服务器，从而达到负载均衡的目的，下图给出使用三个Web服务器来回应对的HTTP请求，就可以设置该域的DNS服务器中关于该域的数据包括有与下面例子类似的结果：www1INA 192.168.1.1www2INA 192.168.1.2www3INA 192.168.1.3wwwINCNAMEwww1wwwINCNAMEwww2wwwINCNAMEwww3此后外部的客户机就可能随机的得到对应www的不同地址，那么随后的HTTP请求也就发送给不同地址了。DNS负载均衡DNS负载均衡的优点是简单、易行，并且服务器可以位于互联网的任意位置上，当前使用在包括Yahoo在内的Web站点上。然而它也存在不少缺点，一个缺点是为了保证DNS数据及时更新，一般都要将DNS的刷新时间设置的较小，但太小就会造成太大的额外网络流量，并且更改了DNS数据之后也不能立即生效；第二点是DNS负载均衡无法得知服务器之间的差异，它不能做到为性能较好的服务器多分配请求，也不能了解到服务器的当前状态，甚至会出现客户请求集中在某一台服务器上的偶然情况。DNS负载均衡方式无法检测到后台业务状态，在电信级业务系统中不建议使用该方式。4.2.3. 反向代理负载均衡方案使用代理服务器可以将请求转发给内部的Web服务器，使用这种加速模式可以提升静态网页的访问速度。因此也可以考虑使用这种技术，让代理服务器将请求均匀转发给多台内部Web服务器之一上，从而达到负载均衡的目的。这种代理方式与普通的代理方式有所不同，标准代理方式是客户使用代理访问多个外部Web服务器，而这种代理方式是多个客户使用它访问内部Web服务器，因此也被称为反向代理模式。反向代理负载均衡实现这个反向代理能力并不能算是一个特别复杂的任务，但是在负载均衡中要求特别高的效率，这样实现起来就不是十分简单的。每针对一次代理，代理服务器就必须打开两个连接，一个为对外的连接，一个为对内的连接，如上图所示，因此对于连接请求数量非常大的时候，代理服务器的负载也就非常之大了，在最后反向代理服务器会成为服务的瓶颈。例如，使用Apache的mod_rproxy模块来实现负载均衡功能时，提供的并发连接数量受Apache本身的并发连接数量的限制。一般来讲，可以使用它来对连接数量不是特别大，但每次连接都需要消耗大量处理资源的站点进行负载均衡，例如搜寻。使用反向代理的好处是，可以将负载均衡和代理服务器的高速缓存技术结合在一起，提供有益的性能，具备额外的安全性，外部客户不能直接访问真实的服务器。并且实现起来可以实现较好的负载均衡策略，将负载可以非常均衡的分给内部服务器，不会出现负载集中到某个服务器的偶然现象。可以用这种方式来对连接数量不是特别大，但每次连接都需要消耗大量处理资源的站点进行负载均衡，如search。这种方式与应用相关，需针对每个应用进行开发，目前WEB等成熟应用有广泛使用，但应用范围有限。4.2.4. NAT负载均衡 NAT（Network Address Translation 网络地址转换）简单地说就是将一个IP地址转换为另一个IP地址，一般用于未经注册的内部地址与合法的、已获注册的Internet IP地址间进行转换。适用于解决Internet IP地址紧张、不想让网络外部知道内部网络结构等的场合下。每次NAT转换势必会增加NAT设备的开销，但这种额外的开销对于大多数网络来说都是微不足道的，除非在高带宽有大量NAT请求的网络上。 NAT负载均衡将一个外部IP地址映射为多个内部IP地址，对每次连接请求动态地转换为一个内部服务器的地址，将外部连接请求引到转换得到地址的那个服务器上，从而达到负载均衡的目的，如下图所示。NAT负载均衡NAT负载均衡是一种比较完善的负载均衡技术，起着NAT负载均衡功能的设备一般处于内部服务器到外部网间的网关位置，如路由器、防火墙、四层交换机、专用负载均衡器等，均衡算法也较灵活，如随机选择、最少连接数及响应时间等来分配负载。 NAT负载均衡可以通过软硬件方式来实现。通过软件方式来实现NAT负载均衡的设备往往受到带宽及系统本身处理能力的限制，由于NAT比较接近网络的低层，因此就可以将它集成在硬件设备中，通常这样的硬件设备是第四层交换机和专用负载均衡器，第四层交换机的一项重要功能就是NAT负载均衡。这种方式的通用性较强，具有比较好的负载分担性能，并具有良好的可扩展性。适用于业务类型多，业务网络规模相对较大的业务系统。4.2.5. 集群的技术要求集群系统要求能实现如下方式：Ø 若采用软件负载均衡方案，要求负载均衡软件必须支持双机，不能存在单点故障，且负载均衡软件所在的双机进行切换不能中断业务。Ø 若采用硬件负载均衡，即我们常说的负载均衡器，要求支持双机，且能实现对应用透明切换，双机切换时间少于20秒。Ø 在集群系统中，能侦听数据链路的故障，并能及时切换，切换时间少于10秒。Ø 在集群系统中，负载均衡器（或负载均衡软件）能对业务节点进行有效监控，能及时发现业务节点的故障，并能进行故障隔离。Ø 必须支持灵活的负载均衡算法，如轮询（Round Robin）、比率（Ratio）、优先权（Priority）、最少的连接方式（Least Connection）等，在某台服务器的处理能力降低时（如4CPU的服务器，在运行中，有1个出现故障从而导致性能下降），能自动调整负载均衡算法。5. 编制历史版本号更新时间主要内容或重大修改1.0.02007/1/301.0.0版本标准性附录A 系统分类及指标要求出于成本和受益的考虑，使网络系统达到电信级水平需要一个循序渐进的过程。基于目前大量网络系统无法达到电信级要求的现状，本标准按业务开展范围、用户总数、经济受益和社会影响度等因素将数据业务系统分为重要业务系统、一般业务系统和合作业务系统三类。重要系统：指在全网内开展、社会影响较大、对全网业务收入有较大影响的系统。如：WAP、彩信、彩铃等。一般系统：指在省内范围开展、社会影响适中、对省内业务收入有一定影响的系统。试点系统：指各省内部与SP或其他行业单位共营的系统或试点系统，其开展范围较小，社会影响不大、业务收入有待提高。下表对三类系统所应满足的高可用性组网技术进行了分别规范。重要设备一般设备试点设备系统内各关键设备均应配置冗余，保证所有设备无单点故障；必选必选可选各设备冗余应采用主从热备份或负载均衡热备份方式工作；必选必选可选任何设备间的连接应配备冗余，确保各设备间的连接非单点故障；必选必选可选设备应支持冗余连接工作状态的实时监控和转换能力，确保在单条连接故障时，设备可感知并采取相关处理，保证业务不中断。必选必选可选高可用性组网技术双机方式共享双机方式(主从)： 使用两台服务器，一台作为主服务器(Active)，运行应用系统来提供服务。另一台作为备机，安装完全一样的应用系统，但处于待机状态(Standby)。当active服务器出现故障的时候，通过软件诊测（一般是通过心跳诊断）将standby机器激活，保证应用在短时间内完全恢复正常使用。必选必选可选共享双机方式(双机互备)： 在双机热备的基础上，两个相对独立的应用在两台机器同时运行，但彼此均设为备机，当某一台服务器出现故障时，另一台服务器可以在短时间内将故障服务器的应用接管过来，从而保证了应用的持续性。必选必选可选镜像双机方式：镜像双机方式指通过双机或镜像软件，把数据可以实时复制到另一台服务器上，这样同样的数据就在两台服务器上各存在一份，如果一台服务器出现故障，可以及时切换到另一台服务器必选必选可选双机的技术要求：心跳网卡必须单独设一个子网或直连，并且必须有两块或以上的心跳网卡：双机运行的核心是在双机中的节点之间发送和接收心跳信息，双机协调者查找来自每个节点的心跳信息，如果在指定的时间内未收到心跳信息，双机协调者将重组双机。如果心跳和数据在同一个网络子网上传送，数据堵塞可能会引起心跳超时，导致不应该发生的双机重组。必选必选可选双机的技术要求：双机软件必须能对节点中的主机硬件（CPU、内存等）、磁盘阵列及其连线、网络、操作系统和应用进行侦测，并确保侦测的正确性。必选必选可选双机的技术要求：双机软件必须能够自动切换：某一主机如果确认对方故障，则正常主机除继续进行原来的任务，还将依据各种容错备援模式接管预先设定的备援作业程序，并进行后续的程序及服务。必选必选可选集群方式软件集群方案可选可选必选DNS负载均衡必选可选可选反向代理负载均衡方案必选必选可选NAT负载均衡必选必选可选若采用软件负载均衡方案，要求负载均衡软件必须支持双机，不能存在单点故障，且负载均衡软件所在的双机进行切换不能中断业务。可选可选必选若采用硬件负载均衡，即我们常说的负载均衡器，要求支持双机，且能实现对应用透明切换，双机切换时间少于20秒。必选必选可选在集群系统中，能侦听数据链路的故障，并能及时切换，切换时间少于10秒。必选必选可选在集群系统中，负载均衡器（或负载均衡软件）能对业务节点进行有效监控，能及时发现业务节点的故障，并能进行故障隔离。必选必选可选必须支持灵活的负载均衡算法，如轮询（Round Robin）、比率（Ratio）、优先权（Priority）、最少的连接方式（Least Connection）等，在某台服务器的处理能力降低时（如4CPU的服务器，在运行中，有1个出现故障从而导致性能下降），能自动调整负载均衡算法。必选必选可选