中国移动NGBOSS基础设施总体规划.ppt

NGBOSS 基础设施总体规划,NGBOSS基础设施规划,一、基础设施规划概述基础设施基础设施规划NGBOSS基础设施规划本文档内容结构二、基础设施规划三、基础设施规划总结,基础设施,基础设施是指信息技术在企业中应用所要求的软硬件承载。一般来说可以包括：计算、存储、网络等物理设备；使这些物理设备的工作起来所需要的设备管理软件；和业务无关的数据库等通用软件；,基础设施,基础设施规划,基础设施规划是指合理规划和安排各项信息化基础设施，使之形成良好的IT环境，让各种业务解决方案、应用系统和数据都能在上面实现有效运作，包括：,网络规划包括数据流量及约束条件分析、网络选型、拓扑结构设计、网络安全方案、网络建设方案等,硬件规划包括服务器、存储设备、网络设备,软件规划包括操作系统软件、数据库软件等软件的规划,NGBOSS基础设施规划,总体规划（定性）,各部分规划设计（定量）,输入：NGBOSS规划对基础设施的要求基础实施的技术发展中国移动的一般现状输出：针对四个方面方向性的：接入层规划数据中心规划枢纽网规划业务可持续规划,NGBOSS的项目规模要求实施性规划必然是分成几个部分；一般会分成一级，省级（31个），枢纽网等几部分来进行因地制宜的规划输入：总体需求性规划对该部分的要求各省各部分具体需求和现状输出：针对每一个部分，具体可实施的：网络规划硬件规划软件规划,本文档内容结构,NGBOSS基础设施规划总结,中国移动基础设施主要问题,NGBOSS 基础设施规划,接入层,数据中心,枢纽网,业务可持续,NGBOSS基础设施概述,基础设施的技术趋势,NGBOSS基础设施规划原则,NGBOSS对基础设施的要求,NGBOSS基础设施规划,一、基础设施规划概述二、基础设施规划规划输入和规划原则接入层规划枢纽网规划数据中心规划业务可持续规划三、基础设施规划总结,中国移动基础设施主要问题,中国移动基础设施主要问题,NGBOSS 基础设施规划,接入层,数据中心,枢纽网,业务可持续,基础设施的技术趋势,NGBOSS基础设施规划原则,NGBOSS对基础设施的要求,中国移动基础设施的主要问题资源孤岛,机房设施,数据网络,服务器,服务器,服务器,服务器,客服系统,BOSS,经分,DSMP/MISC,市场部,业务运营支撑部,数据部,存储网络,存储网络,存储网络,服务器,BOMC,存储网络,存储网络,中国移动基础设施的主要问题资源闲置和不足,问题：服务器的平均使用率低于 30%，但仍有服务器无法满足其服务水平目标,大量未能利用的处理能力,处理能力不足的服务器,0%,20%,40%,60%,80%,100%,所有服务器,Intranet,中国移动基础设施的主要问题接入安全,BOSS,BOMC,OA,客服,Internet,远程办公/收发邮件/浏览网页,远程办公/网上客服,远程操作/网上营业/互联网业务,还有其他的？,问题1：从 Intranet 到 Internet 的通道有多条，这些通道的安全性各不相同，从而造成了一定的安全隐患问题2：对于从 Intranet 到 Internet 的通道缺乏统一数据监控，无法应用统一的安全策略，也很难进行事后审计,NGBOSS对基础设施的要求,中国移动基础设施主要问题,NGBOSS 基础设施规划,接入层,数据中心,枢纽网,业务可持续,基础设施的技术趋势,NGBOSS基础设施规划原则,NGBOSS对基础设施的要求,NGBOSS对基础设施的要求枢纽网,NGBOSS的规划中设计客户运营和产品运营分离，让产品资源在全网为各个客户运营实体所共享，实现产品“一处建成，全网可用”的的效果。这个效果的实现要求建议个覆盖和连接中国移动所有业务运营支撑系统的核心枢纽网,问题1：现在中国移动有 31 个省级运营实体，枢纽网如何建设？问题2：全网统一运营对枢纽网的带宽、性能、稳定性的要求？,real-time,near real-time,offline/history,NGBOSS对基础设施的要求数据构架,问题1：SID对大容量/并发（4000万以上用户）的访问和读写稳定性和一致性的要求如何满足？问题2：如何应对移动业务处理的周期性高峰的问题？问题3：中国移动的业务还在快速发展，如何保证系统扩容的平滑性？问题4：对于这样的关键系统的业务可持续性如何支持？,融合计费帐务,同一平台下实现在线计费和离线计费是融合计费系统的发展目标和趋势。当技术条件能够满足在线计费不会影响离线计费正常生产情况下，优先考虑采用此方案问题：实时信控/扣费参与用户服务使用流程，对实时计费系统的电信级稳定性（7*24）和处理性能（200ms以下）有较高要求,网管/网元/业务平台/合作伙伴服务提供系统,客户帐户,产品定价,批价引擎（正算）,实时批价引擎（正算/反算）,实时计费网关,帐务处理,余额管理（实时）,采集预处理,内存数据库,OCS,帐/清单数据库,计费预处理,NGBOSS对基础设施的要求融合计费,基础设施的技术趋势,中国移动基础设施主要问题,NGBOSS 基础设施规划,接入层,数据中心,枢纽网,业务可持续,基础设施的技术趋势,NGBOSS基础设施规划原则,NGBOSS对基础设施的要求,基础设施的技术趋势NGDC,封闭,基于大型机单一供应商专门的技术和技能要求有限的互连和网络能力静态的生产环境部署,技术差异形成的孤岛(依赖于OS/运行架构)专用的服务器以及应用运行环境多操作系统，多运行架构的数据中心环境主要通过IT整合技术来降低复杂性和成本,模块化的可重新部署的硬件(blades)运营管理自动化在可重新配置和持续扩展，同时无需重新连线将IT作为公用、共享的服务来运行(如共享开发测试环境)动态分配并使用资源,过去的数据中心 独立计算系统,现在的数据中心烟囱式基础设施,新一代数据中心(NGDC)共享的基础设施,应用,服务器/存储,应用1,应用2,应用3,服务器,服务器,服务器,SAN,应用1,应用2,应用3,共享存储(SAN),共享服务器池,SAN,SAN,基础设施的技术趋势NGDC的关键技术是“虚拟化”,自动化,虚拟化,安全,系统平台和支持服务,传统数据中心,新一代数据中心,关键支持因素,高成本烟囱式IT,低成本共享池IT,24x7自动运行,电源和冷却,统一管理,工业标准高伸缩性IT支持服务,高能效比的计算方式,内置安全机制和主动式安全防护,资源的池化和优化，容易共享,根据业务需要自动调整资源分配,统一的基础设施管理,（综合）虚拟化技术和环境,基础设施的技术趋势NGDC是基础设施的发展方向,池化共享：企业拥有的计算资源其实已经比较丰富，但是没有被充分利用，通过虚拟化技术实现池化共享是比较经济的方式,单机高能：高性能单点计算的发展已经到了相对平缓的阶段，技术革命的周期相对较长；单机的大容量高性能计算通常都非常昂贵,趋势,通过对这些分散的计算资源进行“池化共享”，形成企业级数据中心，是基础设施建设的技术驱动力,NGBOSS基础设施规划原则,中国移动基础设施主要问题,NGBOSS 基础设施规划,接入层,数据中心,枢纽网,业务可持续,基础设施的技术趋势,NGBOSS基础设施规划原则,NGBOSS对基础设施的要求,基础设施规划的原则,中国移动基础设施主要问题,基础设施的技术趋势,NGBOSS对基础设施的要求,解决资源孤岛问题，综合利用资源,接入通道统一，接入管理统一,建设核心枢纽网，并提供符合业务需求的带宽和性能,对海量数据，高并发，以及周期性高峰压力具有处理能力,具有高可扩展性适应业务发展需求,拥有极高的业务可持续性，包括安全容灾等方面,OCS系统具有电信级可用性，稳定性和实时性,发展NGDC是基础设施发展的方向,接入层,数据中心,枢纽网,业务可持续,原则的输入来源,原则（由问题或要求转化）,在规划的哪一部分覆盖,接入层 规化,中国移动基础设施主要问题,NGBOSS 基础设施规划,接入层,数据中心,枢纽网,业务可持续,基础设施的技术趋势,NGBOSS基础设施规划原则,NGBOSS对基础设施的要求,接入层 现状和要求,接入方式要求多样化GPRSInternet(VPN)DDL专线,接入终端各有不同 移动营业厅、骨干代理网点会采用“瘦客户机”流动营业厅、农村服务站等会采用PC大客户销售经理会采用便携式笔记本,统一的接入安全管理,统一入口/出口统一出入认证,统一监控统一安全策略管理统一（事后）审计,现状1,现状2,要求：,接入层 统一安全网关 USG(1),自有营业厅,代理商,大客户经理,农村营业点,Internet,Intranet,Unified Security Gateway,VPN,专线,GPRS,访问Internet,移动人员与合作伙伴,接入层 统一安全网关 USG(2),Intranet,Unified Security Gateway,WAP,客户自服务,Internet,Portal,SMS,intranet,统一安全网关,IDS服务器,防火墙/VPN,防火墙/VPN,IDC,IDS服务器,网站,防火墙/VPN,IDS服务器,策略管理中心,证书和鉴权中心,口令和认证中心,访问控制中心,内容安全管理,日志管理中心,审计和响应控制,中心,备份和恢复,Internet,防火墙,防火墙,合作伙伴/,Extranet,内容过滤/,防病毒网关,BOSS服务器,OA服务器,防火墙,系统和网络加固,接入层 统一安全网关 USG(3),接入层 通过USG实现统一通道统一管理,接入通道统一，接入管理统一,原则,手段,效果,通过“统一安全网关”USG，就能做到接入通道的统一，并且统一管理接入的安全：预设防火墙事中监控事后审计,USG作为移动人员，合作伙伴，一级客户接入支撑运营系统的唯一通道，能够有效的实现：统一出入认证统一监控统一安全策略管理统一审计,数据中心规划,中国移动基础设施主要问题,NGBOSS 基础设施规划,接入层,数据中心,枢纽网,业务可持续,基础设施的技术趋势,NGBOSS基础设施规划原则,NGBOSS对基础设施的要求,数据中心 总体构架规划,虚拟化技术环境,数据中心 总体构架规划说明,应用负载被封装在独立的虚拟服务器环境中运行应用只需要安装一次就能在整个数据中心内任何服务器上运行资源可被自动或手动分配给所需要的应用负载在必要情况下，应用负载会被自动或手动转移到资源更充足或可靠性更高的虚拟服务器上,数据中心提供的资源的服务能力不为某一个应用而建。宏观上服务于所有企业应用，微观上会为不同能力要求的应用提供相适应的资源,数据中心 总体构架规划说明（续1）,服务器池服务器池是服务器的计算资源接受请求和输送结果的接口环境。服务器池提供实现自动化资源分配机制的工具；包括对于不同应用的服务器“级”自动选择和服务器组的负载均衡。,访问级访问级服务器群通常用作Web服务器，Mail服务器，文件服务器，打印服务器等；访问级服务器群的特点是对计算速度的要求较低，要求有一定的冗余和可扩展型。I/O，内存的要求视服务的具体规模和要求而定。,应用级应用级服务器群通常作为ERP/SCM,CRM,BI 等应用程序和中间件的承载；应用级的服务器的特点是对计算速度的要求非常高，它们通常要求处理大量的复杂的业务逻辑，同时要求有较高的I/O和内存。,数据级数据级服务器群通常作为客户数据和交易数据等核心数据库处理需求的承载；数据级服务器群作为最高端的服务器组，具有非常高的处理性能，具有非常高的I/O带宽和非常高性能的内存。,数据中心 总体构架规划说明（续2）,存储网络存储网络是存储资源接受输入输出存储数据的接口环境。存储网络提供实现自动化资源分配机制的工具；提供对于数据的透明访问层，提供自动化的数据安全和备份工具。,交易型存储交易型存储设备群主要应用于交易型数据等实时性要求非常高的数据的存取；交易型存储设备群的特点是存取速度非常快，I/O吞吐能力非常高，稳定性非常好。,数据共享存储数据共享存储设备群主要应用于SID/ODS等需要大量读取的数据；数据共享存储设备群的特点是读取速度非常快，并发处理能力非常好，I/O吞吐能力非常高，稳定性非常好。,数据分析存储数据分析存储设备群主要应用于OLAP，数据挖掘等需要海量存储的数据；数据分析存储设备群的特点是存储容量非常巨大，而对I/O，并发处理的要求相对不会那么高。,数据备份存储数据备份存储设备群主要应用于数据备份，包括廉价磁盘备份和磁带备份等；数据备份存储设备群的容量非常巨大，但是对读写和吞吐的要求非常低。,数据中心 总体构架规划说明（续3）,智能管理中心智能管理中心是提供数据中心智能化管理能力的基础平台，它提供于虚拟化技术环境的信息采集和数据交换界面。,统一管理视图提供给数据中心管理人员统一的用户界面，用图形化视图展示数据中心运行状况的所有信息。,自动化，监控以及安全这里是智能管理中心的规则配置中心，自动化处理，监控报警和安全策略的配置均在此处实现。,虚拟化资源管理虚拟化技术环境，存储虚拟化和服务器虚拟化的管理中心，负责诸如资源的增减的管理,数据中心 NGBOSS总体构架规划与基础设施层次模型的映射,智能管理中心,服务器池,存储网络,虚拟化技术环境,基础设施层次模型,NGBOSS数据中心规划模型,NGBOSS数据中心规划模型在基础设施层次模型上的映射,数据中心业务流程在基础设施层的映射（示意1）,查询余额信息,用户,数据中心业务流程在基础设施层的映射（示意2）,修改套餐信息，缴费，充值,用户,数据中心业务流程在基础设施层的映射（示意3）,实时计费,客户和产品数据（准）实时同步到内存数据库,用户,数据中心业务流程在基础设施层的映射（示意4）,数据在一般情况的流向首先会以交易数据形式产生，其中客户产品等核心信息变成共享信息，随之成为进行数据分析所用的原始信息，交易数据并不都变成共享数据，也可以直接变成分析数据，所有数据最后均变成历史数据进入数据备份存储,数据中心建设数据中心的考虑维度,机房准备(Site preparation)为数据中心提供基础机房环境网络集成(Network integration)为数据中心提供基础网络环境服务器与存储(Server/Storage)服务器与存储得设计、部署与整合安全(Security)为数据中心提供必要得安全保障IT管理(IT management)建立保障数据中心运行的管理体制与流程数据生命周期保证数据以合理的方式存储，可被查询。容灾与业务持续(BC/DR)提供面临重大灾害与保障业务持续运行的措施服务外包(Out-Sourcing)提供整体或部分信息系统和运营的外包服务,数据中心 虚拟化，层次化，智能化优势来满足业务需求,虚拟化技术是NGBOSS规划的数据中心的基础和核心（也是NGDC的核心内容）。4)它解决了资源孤岛的问题，能够充分利用起企业已有的基础设施，5)为应付周期性性能压力提供了可能，6）虚拟化也提供了高度的容错能力，并且具有很好的可扩展性，对各个硬件组件也具有很好的可替换性,智能化高安全，智能化和自动化是数据中心的必然趋势，也是NGDC的重要特征。智能化提供了管理人员的管理界面，能够配置自动化规则，监控及安全策略，从而大大降低了人力负担，提高了管理效率,层次化各种企业应用的对基础设施的会有不同要求。层次化就能满足各种应用的个性需求。比如，1）对于海量数据，存储网络中有数据分析存储来加以满足，2)对于高并发的处理请求，数据级服务器群能够很好的满足性能要求，针对高性能读写，或高性能读取，存储网络都能相应的支持,3)对于OCS超高速的处理要求，可通过在数据级服务器内存建立内存数据库的方式解决，稳定性方面，数据级服务器足以满足OCS的要求,数据中心,原则,手段,效果,按照NGDC的发展方向和思路：通过虚拟化技术实现企业基础设施资源的共享；通过层次化的资源结构来满足不同性质的应用需求对基础设施的要求；通过智能化手段，实现数据中心管理的自动化。,通过构建符合NGDC方向和要求的数据中心，基本能够满足业务应用的各种处理和存储需求,解决资源孤岛问题，综合利用资源,对海量数据，高并发，以及周期性高峰压力的具有处理能力,具有高可扩展性适应业务发展需求,OCS系统具有电信级可用性，稳定性和实时性,发展NGDC是基础设施发展的方向,枢纽网规划,中国移动基础设施主要问题,NGBOSS 基础设施规划,接入层,数据中心,枢纽网,业务可持续,基础设施的技术趋势,NGBOSS基础设施规划原则,NGBOSS对基础设施的要求,枢纽网业务要求,数据传输与路由选择和控制进行分离，路由选择和控制由信令网完成对部分业务，交换中心可只控制信令，数据由各节点直接传输，可有效降低交换中心的压力通过信令交互可以根据传输数据的类型、优先级以及传输网络状态动态地选择适当的传输路由,交换节点,交换节点,交换节点,交换节点,交换中心,交换中心,虚拟信令网,数据传输网,枢纽网网络规划（总体）,管理节点,交换节点,8个交换节点之间两两互联，相近节点互为备份，具体节点选址和互备配对另定,接入节点,.,同一交换节点下的接入节点之间两两互联,枢纽网网络规划（管理节点视角）,管理节点连接另1个管理节点和8个交换节点,北京,枢纽网网络规划（交换节点视角）,交换节点连接两个管理节点，与7个交换节点分别互联，并连接接入节点,广州,互备,接入节点,交换节点,管理节点,枢纽网网络规划（接入节点视角）,接入节点需要和二个互为主备的交换节点相连，并且还要和同一交换节点的各接入节点两两互联,广东,枢纽网信令和传输分离（1）,广西,云南,信令,数据,枢纽网信令和传输分离（2）,广西,信令,数据,黑龙江,枢纽网 带宽、时延、容错方面的要求,带宽,根据业务量的大小和业务量的峰值来规定枢纽网落的带宽要求，考虑将来业务的发展对枢纽网的承载要求，带宽需留有充分余地；,时延,很多业务的处理，对实时性的要求可能会较高，在网络配置和涉及的时候，要充分考虑业务处理对于数据传输的实时性的要求；,容错,当某一个网元发生错误的时候，业务能够有替代的网元继续，当灾难发生之后，业务能够迅速恢复过来并继续；在核心枢纽网的拓扑设计中充分考虑了这一点,枢纽网作为NGBOSS的核心业务运营支撑网络，对其性能和可靠性的要求主要体现在以下几个方面：,枢纽网,原则,手段,效果,核心枢纽网，设计成三层结构，信令和数据分离，从而一定程度上降低了对带宽和各个节点的处理能力的要求在枢纽网的设计上已经将容错容灾考虑进去带宽、时延的要求会根据今后业务运营的实际适当的调整,枢纽网在投入可控的前提下能够承载起NGBOSS全网产品和服务运营的任务在带宽，时延和容错方面也能满足业务的要求,建设核心枢纽网，并提供符合业务需求的带宽和性能,业务可持续 规划,中国移动基础设施主要问题,NGBOSS 基础设施规划,接入层,数据中心,枢纽网,业务可持续,基础设施的技术趋势,NGBOSS基础设施规划原则,NGBOSS对基础设施的要求,业务可持续容灾和安全技术是实现业务可持续的技术手段,业务可持续是指为保障业务不间断所需的组织功能、业务流程和技术的总和。容灾和安全等是实现业务可持续在技术层面的一种手段。,业务可持续性是指一个企业为了维持其生存,在其所规定的时间内必须恢复的关键业务功能的强制要求。,业务可连续涉及到企业的人员，流程，技术，它关注于电信业务如何保证持续运营，不间断，把意外情况发生时对电信业务影响降到最小：技术上进行IT容灾系统的建设，采用多种手段，产品；设计可行的灾难恢复流程并通过测试和演练进行流程的不断修订和完善；设计和建设人员组织结构，进行普及知识教育和专门的技能和流程培训。,业务可持续的一种定义,人员,流程,技术,业务可持续,通信业业务可持续的一种定义,管理和发展,实施及整合,分析 定义需求,识别、降低以及管理风险评估业务中断的损失定义关键业务及业务连续需求,定期演练业务连续计划回顾、更新业务连续计划与 IT 服务管理流程相结合,按照策略部署支撑业务连续需求的基础架构开发全面的业务连续计划,设计解决方案,将需求转化为可执行的策略针对多个场景建立对应策略选项建立满足业务连续需求的策略,日常流程（项目，变更管理）,业务可持续流程模型,业务可持续安全,网络安全：防攻击、防窃密、防监听，合理架设防火墙主机安全：物理安全、防入侵，要定期清理用户、修改密码、安装补丁程序、停止不必要的服务等应用安全：防伪造、防攻击数据安全：防止数据破坏，数据审计办公安全：防病毒、防攻击、安全知识培训安全审计：事后追查的有效手段，成立紧急问题相应小组,安全策略,防火墙,技术,入侵,检测,安全,审计,其它单元,安全技术,安,全,管,理,安,全,培,训,业务可持续容灾,Tier 0:没有异地数据,Site B,Site A,ESCON,FC,FDDI,10/100,ATM,switches,hubs,国际容灾的标准定义(Share 78),Tier 1:卡车运送备份数据,数据级容灾,应用级容灾,业务级容灾,NGBOSS基础设施的容灾要求在数据级和应用级,Tier 2:卡车运送备份数据+远程数据中心,Tier 3:电子数据复制,Tier 4:对等活动的两个数据中心,Tier 5:两个站点，两阶段递交,Tier 6:交易同时传输，无数据丢失,业务可持续数据级容灾,数据级容灾是保底的业务可持续要求，几乎所有企业级的系统都必然会做到这一点。中国移动具备数据级容灾的能力。下面罗列了数据级容灾的常用技术：,业务可持续应用级容灾,应用级容灾:建立“双主”或者“一主一备”两个数据中心通常这两个中心是异地系统能在短时间内恢复和回切,生产中心,灾备中心,数据保护,应用接管,NGBOSS C/P/M/A,NGBOSS 数据,NGBOSS 灾备数据,NGBOSS 关键业务,生产中心1,生产中心2,数据保护,应用接管,NGBOSSC/A,NGBOSS 数据,NGBOSS 数据,主备模式：生产中心承载NGBOSS应用灾备中心备份数据，平时不参与生产，但具有应急情况下承担关键业务的能力,双主模式：生产中心承担部分业务，并均有承担所有业务的能力灾备中心承担部分业务，并均有承担所有业务的能力互为备份,NGBOSSP/M,业务可持续 NGBOSS容灾体系 枢纽网,枢纽网管理节点以及对应数据中心互备,枢纽网交换节点以及对应数据中心按照一定的地缘关系配对，两两互备,枢纽网（省级）接入节点以及对应数据中心按照本省的实际情况异地互备,业务可持续 NGBOSS容灾体系 省网,枢纽网（省级）接入节点，异地互备，即每个省都有两个接入节点,省级业务运营支撑的数据中心应用层和数据层异地互备（生产中心/灾备中心）,业务可持续,原则,手段,效果,容灾和安全等是业务可持续的技术实现手段，在NGBOSS的规划中，通过：在全网建立起三级互备体系在省级建立起接入/应用/数据三层互备体系加强安全管理等措施来实现数据，应用的安全和可（迅速）恢复性，从而实现业务的可持续性,全网和省业务运营支撑系统都实现业务在紧急情况下的快速恢复或切换继续，保证了整个业务运营体系的可持续性,拥有极高的业务可持续性，包括安全容灾等方面,基础设施规划,一、基础设施规划概述二、基础设施规划三、基础设施规划总结,基础设施规划总结,介绍基础设施的概念和NGBOSS基础设施规划的范畴,通过不同的输入，得到NGBOSS基础设施规划的原则,通过接入层/数据中心/枢纽网/业务可持续四个层面来分别阐述了NGBOSS基础设施规划，并有针对地回应了规划的原则。下面用关键字总结各部分要点：接入层：统一安全网关USG数据中心：虚拟化，层次化，智能化枢纽网：2个全国中心，8个区中心，31个点业务可持续：安全，容灾,（BackUp）,