双活数据中心技术研究方案.ppt

双活数据中心技术研究方案汇报,双活数据中心研究项目组2023年10月10日,汇报内容,双活/多活数据中心实现方案,双活/多活数据中心实现层次,访问接入层,Web层,应用层,数据库层,存储层,访问接入层,Web层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,汇报内容,双活/多活数据中心实现层次,访问接入层,Web层,应用层,数据库层,存储层,访问接入层,Web层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,WEB/应用层双活实现机制,WEB/应用层双活实现机制主要有三种，一是基于主机集群技术，二是基于WEB SERVER/应用中间件软件自身集群软件实现功能，三是基于负载均衡设备方式,城域互联,站点选择服务器,WEB层双活工作机制,WEB层双活工作机制,城域互联,站点选择服务器,WEB层双活工作机制,城域互联,站点选择服务器,应用层双活工作机制,城域互联,应用层双活工作机制,城域互联,应用层双活工作机制,城域互联,双活/多活数据中心实现层次,访问接入层,Web层,应用层,数据库层,存储层,访问接入层,Web层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,数据库层双活实现示意图,跨机房的ORACLE RAC集群+VPLEX，实现数据零丢失和数据库实时切换,跨机房的数据库利用数据同步复制技术，通过应用部署实现读写分离,数据库层双活实现机制主要有两种，一是基于ORACLE RAC+VPLEX，二是基于ORACLE DATAGUARD/GOLDENGATE,数据库层双活实现机制-ERAC,数据库层双活实现机制-ERAC,数据库层双活实现机制-读写分离,主应用域,应用域1,主数据库,应用域2,应用域k,客户端1,客户端2,客户端k,RAC,Node1,RAC,Node2,RAC,Nodej,备数据库,Oracle DB,Server,Active Data Guard,辅助应用域,应用域1,应用域i,镜像库,Oracle DB,Server,Golden GateSharePlex存储复制等,灾备精算,数据库层双活实现机制-读写分离,主应用域,应用域1,主数据库,应用域2,应用域k,客户端1,客户端2,客户端k,RAC,Node1,RAC,Node2,RAC,Nodej,数据库,Oracle DB,Server,主、辅助应用域,应用域1,应用域i+k,镜像库,Oracle DB,Server,Golden GateSharePlex存储复制等,灾备精算,数据库层双活实现机制-读写分离,主应用域,应用域1,主数据库,应用域2,应用域k,客户端1,客户端2,客户端k,RAC,Node1,RAC,Node2,RAC,Nodej,数据库,Oracle DB,Server,主、辅助应用域,应用域1,应用域i+k,镜像库,Oracle DB,Server,主、辅助应用域,应用域1,应用域i+k,数据库层双活实现机制对比,双活/多活数据中心实现层次,访问接入层,Web层,应用层,数据库层,存储层,访问接入层,Web层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,系统平台层双活实现机制,VMFSActive-Active,ESX备份代理,VPLEX Metro,城域互联RTT5ms,卡园,集电港,AccessAnywhere,LAN,SAN,SAN,VPLEX Metro,FC,VMFSActive-Active,Storage Array,Storage Array,ITOIVDC集中监控控制台,AvamarData Store,AvamarData Store,Avamar Proxy VM,ITOI虚拟服务器,Nexus 7000,Nexus 7000,ESX,ESX,ESX备份代理,ITOI虚拟服务器,ESX,ESX,SAN,SAN,LAN,备份数据复制,虚机在线透明迁移,基于VPLEX技术的虚拟机双活解决方案,双活/多活数据中心实现层次,访问接入层,Web层,应用层,数据库层,存储层,访问接入层,Web层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,存储复制示意图,利用基于存储的数据复制，可以实现灾备，但不能实现实时双活，灾备数据不能实时使用，切换时间较长。,主机卷工作示意图,主机,磁盘阵列,磁盘阵列,城域互联,LogicVolume,上海集电港,上海卡园,PhysicalVolume,PhysicalVolume,镜像,I/O,I/O,I/O,同步距离,利用基于主机的卷管理软件，实现物理卷映射为逻辑卷的方式，将两个数据中心的物理卷，映射为一个主机可见的逻辑卷。并在逻辑卷的层次，实现I/O分离。,城域互联,虚拟机群,10110,10110,10110,10110,ACK,ACK,ACK,ACK,同步距离,主机,主机,磁盘阵列,磁盘阵列,V-Plex Cluster-1/上海卡园,V-Plex Cluster-2/上海集电港,分布式的设备部署,存储双活示意图,存储双活实现机制,存储双活实现机制主要有四种：一是基于主机卷复制技术，二是基于存储虚拟化技术；三是基于存储复制技术，四是基于SAN网络复制技术,汇报内容,双活/多活数据中心实现层次,访问接入层,Web层,应用层,数据库层,存储层,访问接入层,Web层,应用层,数据库层,存储层,上海卡园,上海集电港,访问接入层,Web层,应用层,数据库层,存储层,北京稻香湖,网络层,网络层,网络层,系统平台层,系统平台层,系统平台层,虚拟中心,虚拟服务,虚拟资源,虚拟层次,扁平化网络接入,网络扁平化，将实现全公司业务终端的便捷网络接入和快速网络传输；将实现网络平台与业务平台松耦合的跨越，降低业务系统部署位置对用户端的影响；核心网将成为多中心网络传输平台，有效保障了多活中心的灵活部署；大大降低多活中心广域网部署复杂度和资金投入；,访问接入层的双活实现机制,为满足双活数据中心的需求，必须使客户端的请求在多个中心进行智能选择，实现业务的连续性(性能最优/故障切换/按需连接)，实现站点选择通常有两种方式，一是传统站点轮询技术，二是站点负载均衡技术,卡园数据中心,汇聚层,接入层,负载均衡设备,核心网,访问接入层的双活实现方案,WEB,AP,DB,WEB,AP,DB,集电港数据中心,汇聚层,接入层,负载均衡设备,WEB,AP,DB,WEB,AP,DB,站点选择设备,站点选择设备,城域互联,1.5,1.5,2,3,用户端通过公司内网DNS解析域名请求，DNS解析请求被转向站点选择设备站点选择设备探测域名所对应的多个服务器的状态，并返回最合适的服务器IP地址，以实现多数据中心间负载均衡用户访问对应的WEB/应用服务器当其中一个数据中心的WEB/应用服务器出现故障或数据中心出现故障：用户自动流量自动切换到正常数据中心的服务器，从而实现双活,站点选择设备对WEB/应用服务器状态的检测,卡园数据中心,汇聚层,接入层,负载均衡设备,核心网,WEB/应用层双活实现方案,WEB,AP,DB,WEB,AP,DB,集电港数据中心,汇聚层,接入层,负载均衡设备,WEB,AP,DB,WEB,AP,DB,城域互联,1,2,2,用户不直接访问服务器，而是访问负载均衡设备的虚拟IP负载均衡设备探测虚IP对应的多个服务器的状态，将流量指向合适的服务器，并在业务处理过程中保持会话的一致性当其中一台WEB/应用服务器出现故障时：用户自动流量自动切换到正常的服务器，从而实现数据中心内部高可用当数据中心出现故障时：通过访问接入层策略将流量迁引至正常数据中心,负载均衡设备对于会话状态的保持负载均衡设备对WEB/应用服务器状态的检测,2,网络层双活实现机制,两地三中心多活模式下的网络互联和存储备份，需要保证IP网络的高可用性，又要保证能够满足既定RTO/RPO目标及多活要求：大量使用Vmware虚拟化技术，需要多活中心间二层互通；同城间同步数据复制，需满足Oracle DataGuard同步复制或ORACLE RAC+VPLEX的实际要求；异地间异地数据复制技术，需满足Oracle DataGuard/Goldengate技术的实际要求；考虑在卡园和集电港间部署DWDM设备，实现IP网、存储网的高可用；网络上通过直接二层互联或OTV技术实现二层互通；在北京和上海间用SDH构建核心传输网，实现IP网络高速互通；,同城网络互联方案,业务主机,存储,存储交换机,FC,城域波分系统可以提供丰富和大量的光纤接口，如：GE、10GE、FC等,城域波分,主数据中心,光传输设备,以太交换机,业务主机,存储,存储交换机,FC,同城数据中心,光传输设备,以太交换机,DWDM:Dense Wavelength Division Multiplexing(密集型光波复用),VMotion迁移虚拟机,SAN、iSCSI或NAS,动态迁移可在 X86架构的 VMWARE ESX上实现；在不中断服务的情况下，将VM迁移到其他的物理服务器上；可用在灾备、资源调整、服务器维护等场合；实现迁移的服务器必须在一个二层网络内，VM的GW在相同设备上；,虚拟机动态迁移需要二层网络的支持,同城网络二层扩展需求,OTV虚拟化技术有两个或以上的数据中心L2互联需求或者数据中心内有跨L3的L2连接需求；需要尽量避免跨数据中心STP环路、优化跨数据中心扩展局域网的广播流量、对多地点的网关一致性有配套的解决方案；需要支持跨数据中心虚拟资源的自由调度；需要建立跨数据中心的服务器集群等；OTV技术不受数据中心互联介质影响；,Source:IPs,OTV,OTV,Receiver,OTV,IP A,数据中心1,数据中心2,生产服务器,主数据中心,同城数据中心,OTV,Source:IPs,IP A,Receiver,同城网络连接示意图,IP B,Internet,CN2 MPLS 核心网,CN2 MPLS 核心网,Internet,集电港数据中心,卡园数据中心,DMZ路由,广域网路由,广域网路由,DMZ路由,OTV服务,核心交换Catalyst 6500,核心交换,DWDM通信系统ONS 15400,生产应用汇聚交换,生产应用汇聚交换,同城网络连接实现方案,Nexus 7000,Nexus 7000,异地网络连接示意图,上海数据中心,北京数据中心,155/622M SDH,FCIP隧道,Source:IPs,IP A,VLAN1,OTV,Receiver,IP B,VLAN1,OTV,数据中心双活/多活的实现示意图,广域网,Active/Active 应用服务器层,Active/Standby数据库层orActive/ActiveFor Different Application,Active/Active Web 层,广域网,运营商 A,运营商 B,INTERNET,盘阵,数据库,应用,Web,网络核心/汇聚/接入,Active/Standby Web 层,异步数据复制,Active/Standby 应用服务器层,Active/Standby数据库层,上海卡园,上海集电港,北京稻香湖,INTERNET,访问,Active/Active 用户访问层,Active/Active 用户访问层,同步数据复制,155/622M SDH,DMZ 区,核心网/广域网,LAN 区,安全管理区,DMZ 区,核心网/广域网,LAN 区,安全管理区,Internet,站点选择服务路由优化,站点选择服务路由优化,防火墙入侵检测,防火墙入侵检测,DWDM,统一的安全管理,安全事件的关联,CN2 MPLS 核心网,集电港数据中心,卡园数据中心,双活中心安全服务部署,事件收集分析和关联,事件收集分析和关联,站点选择服务防火墙入侵防御,站点选择服务防火墙入侵防御,双活中心网络路径管理,DMZ 区,核心网/广域网,网络汇聚区,DMZ 区,核心网/广域网,Internet,站点选择服务防火墙入侵防御,站点选择服务路由优化,站点选择服务路由优化,防火墙负载均衡,防火墙入侵检测,DWDM,CN2 MPLS 核心网,集电港数据中心,卡园数据中心,网络汇聚区,服务器区,服务器区,站点选择服务防火墙入侵防御,防火墙Active/Standby,二层网关路由控制站点选择负载均衡防火墙,网络路径管理,汇报内容,相关技术总结,实现难点,应用系统分级,核心系统采用读写分离、非核心系统虚拟化，存储不虚拟化。,核心系统、UNIX应用技术方案,非核心系统、X86平台应用,综合方案一,成本分析主要依据是与原有的两地三中心方案做对比，分析需要增加的成本,核心系统、UNIX应用需增加的成本,非核心系统、X86平台应用需增加的成本,综合方案一成本分析,核心系统采用Extended RAC、非核心系统虚拟化，存储虚拟化。,核心系统、UNIX应用技术方案,非核心系统、X86平台应用,综合方案二,核心系统、UNIX应用需增加的成本,非核心系统、X86平台应用需增加的成本,综合方案二成本分析,核心系统采用读写分离、非核心系统虚拟化，非核心存储虚拟化。,核心系统、UNIX应用技术方案,非核心系统、X86平台应用,综合方案三,核心系统、UNIX应用需增加的成本,非核心系统、X86平台应用需增加的成本,综合方案三成本分析,汇报内容,技术测试方案,基于双活规划设计，模拟卡园和集电港基础架构环境，验证关键技术要点，并评估整体方案的可行性，包括：1.整体架构的可行性；2.实现跨机房的虚拟资源灵活调度、统一管理，提供基础架构云服务；3.实现对用户透明的应用服务负载均衡；4.异常运行状态下，实现对用户透明的快速应用服务切换：包括接入层、应用层、数据库层、存储层、网络层等；5.对各类相关技术进行功能性测试。基于测试结果，进一步明确未来卡园和集电港双活实现目标；通过测试，发现规划设计中存在的问题与不足，并对设计规划进行相应的调整；通过测试，识别双活中心实施和管理中可能存在的技术风险，作为后续实施计划和运维方案设计的参考；在测试过程中，帮助运维管理人员熟悉新引入的解决方案和设备配置方法。,测试目标,测试场地：北京朝阳门机房测试时间：2011年10-11月测试人员：中国人寿双活研究项目组主导，相关厂商参与，包括：思科、HP、EMC、Vmware、Oracle、HDS、F5、Quest、博科、IBM等,测试部署,模拟卡园,模拟集电港,模拟远程节点,存储,MDS,MDS,GSS,GSS,DWDM,ONS,ONS,应用终端*2,ISR2800,Cat3750,N7K,N7K,ACE,TUXEDO应用服务器,存储,VPlex,Web 服务器,应用与SQL数据库服务器（基于虚拟机）,Web 服务器,应用与SQL数据库服务器（基于虚拟机）,TUXEDO应用服务器,Oracle RAC服务器*2,终端服务器,管理服务器（ITOI）,Avamar,Avamar,ISR2800,VPlex,Oracle RAC服务器*2,终端服务器,ASA,ACE,ASA,N7K,N7K,模拟核心网,仲裁服务器,ISR2800,以太网,FC,测试环境逻辑拓扑,测试设备清单,4）15)网络容错测试：当单数据中心核心交换或互联设备故障时，用户操作可正常进行,14）Vplex容错测试：当Vplex/存储交换机/存储阵列发生设备级别单点故障时，用户操作可正常进行,）Vplex存储虚拟化测试：可实现跨站点的数据镜像，并成功封装数据）Vplex存储回切测试：可解除Vplex数据封装而无数据丢失,13）Vmware SRM功能测试：可实现站点级虚拟应用的迁移恢复,）VCenter功能测试：可统一管理两站点虚拟资源的增加、删除和修改）VMotion功能测试：可实现跨数据中心的虚拟机迁移,）Extended RAC功能测试：可利用实现跨数据中心的数据库同步读写（Vplex环境下）Dataguard功能测试：可实现跨数据中心的数据库读写分离级双活（非Vplex环境下）,）站点选择功能测试：用户可基于IP或DNS访问卡园和集电港的应用服务（访问路径符合预设的站点选择策略）,正常状态,异常状态,10）站点选择/负载均衡容错测试：当单数据中心的前置/Web服务不可及时，用户可正常进行业务操作,11）Extended RAC容错测试：部分Oracle实例/单节点故障时，用户可正常进行业务操作12）Dataguard功能测试：单Oracle节点故障，可通过主备切换/回切以持续业务操作,）OTV功能测试：可实现跨数据中心的局域网扩展）DWDM功能测试：可实现两数据中心IP、存储互联,测试项目,测试计划,汇报完毕,谢谢,