联合项目-IT支撑系统云计算技术方案与规范.ppt

中国移动集团重点/联合研发项目结题汇报报告,项目名称：IT支撑系统云计算技术方案与规范项目编号：,一.开题计划完成情况,目 录,二、主要研究成果,1.1研究背景和目标：中国移动IT支撑系统硬件资源现状,IT支撑系统集中化建设后，随着用户和业务的发展，系统所需硬件资源越来越多，机器数量规模越来越庞大，占用面积越来越大山东公司BOSS系统现有52台P595（半配或满配）、22台P690（半配或满配），经分系统有4台满配IBM P595、2台半配IBM P570，并且每年都以接近5060个主机（分区）以上的量级在增长在IT系统的建设和扩容中，为了避免厂家绑定，采购的主机及存储设备型号众多，在生产环境中面临异构主机和阵列的环境,IT投资支出快速增长2009年辽宁公司的利润增长已经只有百分之十几，而公司在IT上的资本性支出与成本性支出还保持远高于20%的增长 硬件资源的投入成本上以小型机和阵列存储为主辽宁GEDC总体投资上服务器：存储：网络基本为4：4：2，而其中服务器中UNIX小机数量占两成，但是投资占六成。以辽宁移动GEDC的2009年第三方软硬件扩容工程项目为例，PC服务器（含两路刀片与四路机架）共66台，UNIX服务器（按每四颗CPU板为1个单位计算）19个单位，前者投资540万，后者投资800万,面临的问题和挑战,资源共享问题：烟囱式建设模式下，各个系统资源之间互为孤岛，资源固定项目建设方式下根据业务峰值规划系统资源需求，容易造成占用资源大，设备利用率低系统压力不均，由于电信业务的峰值特点，造成同类设备的利用率存在较大的波动。由于资源无法共享，公司只能被动的采购更大容量的设备进行扩容异构阵列环境下不同的存储采用不同的数据复制、数据迁移软件，导致不同品牌阵列之间数据无法自由复制和迁移挑战：打破资源孤岛，实现资源有效共享和动态调整,部署周期问题：支撑新业务周期长，部门间容易产生矛盾随着移动业务的高速发展，新业务层出不穷，传统的新业务支撑需要从立项、采购、安装、开发、测试、上线等一系列流程，需要周期长，业务部门意见大，无法快速满足一线和市场竞争的需求IT支撑系统资源能力规划困难，尤其是服务器，TPMC的估算方式和实际运算能力存在较大偏差，加之用户和业务发展存在不确定因素较多，往往未达到设计目标，部分系统已不堪重负，经常发生提前扩容的情况在这种情况下，市场部门面临业务支撑落后于市场开拓的问题，计划建设部门面临扩容频繁的问题，业务支撑部门面临运维、研发压力过大的问题挑战：建立新的资源规划使用模式，达成业务需求响应迅速、投资节省、系统稳定的共赢,面临的问题和挑战,资源配置不合理：系统粗放部署方式带来资源浪费业务系统的性能和可靠性要求各不相同，对于主机和存储的需求存在不同的需要由于早年的X86设备性能低下，大量应用一直部署在小型机上，没有根据近年X86服务器的性能增长适时分流部分应用，造成建设成本的浪费一些系统将多类数据的存放收敛到单个阵列，造成某些对性能和可靠性要求较低的数据也使用了中高端阵列，造成建设成本浪费挑战：硬件资源物尽其用,厂家隐性绑定问题：传统数据迁移与灾备工程中的存储绑定：在传统阵列级的数据迁移和灾备工程中，由于受到厂商限制，不但各厂家阵列之间甚至同一厂家不同型号的阵列间也是很难实现的，通常在灾备中心配置一台与生产相同的阵列主机到存储的链路管理一般使用磁盘阵列厂商所提供的链路管理软件，一旦该阵列的存储容量达到容量瓶颈，用户只能选择向同一厂商新购阵列，或进行复杂的数据搬迁工作来适应新购异构阵列的情况 挑战：实现资源层面的多厂家完全竞争,运维问题：维护标准化程度差，维护效率低，成本高UNIX服务器和阵列设备运维管理接口不统一，无法实现统一管理，IT运维人员在多种管理工具，大量的设备之间疲于奔命在设备增长前提下，采用传统管理和技术方式管理数量庞大设备必然难以精细化管理挑战：建立自动化运维体系，统一管理资源层，提高运维效率,扩展性问题：集中处理模式下系统在大规模事务处理和海量数据分析场景出现资源瓶颈服务器和阵列设备单点的Scale up扩展能力有限挑战：利用分布式技术构建Scale Out硬件资源架构，满足业务发展对处理能力的需求,项目开题确定的研究目标,1,2,3,4,提出在IT支撑系统中引入IaaS层云计算的技术路线和策略，形成中长期指导,技术研究,对关键技术进行测试验证，为试点实施提供技术可行性数据,结合省公司IT支撑系统进行试点实施，对云计算在IT支撑系统中实施的收益进行评估,策略规划,研究IaaS云计算的关键技术，进行原理分析和厂家方案的对比分析，并制定相关技术方案和规范，为云计算在IT支撑系统中实施的技术选型和方案制定提供技术依据,测试验证,试点实施,研究目标,1.2 主要研究内容及分工,“全面引入虚拟化技术虚拟化的引入可以从简单的存储系统、X86服务器入手，逐步扩展到UNIX服务器，最终实现异构、异地的存储和服务器资源虚拟和共享，通过集中管理实现智能化的资源调度，提高硬件使用效率，降低能耗和维护管理成本，提升业务的安全性和可靠性。”“IT支撑云在管理信息系统、网络管理系统、业务支撑系统中引入虚拟化和云计算技术，为企业内部IT支撑服务”-跃总“云之旅”总结,IaaS的核心技术是对资源的虚拟化，实现资源的动态调度、按需分配，以促进资源的有效使用课题主要研究内容，围绕三个系统，聚焦虚拟化技术和硬件标准化，结合测试和试点工作提出IT支撑系统云计算的技术方案与引入策略,引入云计算技术,BSS OSS MSS,策略研究,测试试点,硬件虚拟化,X86替换小型机,分布式存储,技术分析,项目组对研究课题的分解和整合,原始课题,1.3 开题计划完成情况总结,经集团技术部统筹规划，研究院牵头，协同山西、辽宁、上海、江苏、浙江、山东、湖南、四川8个省公司，依据开题的分工和时间计划，按时完成了各个子课题的试点和研究任务，以及所有研究文档的输出。,研究成果,技术分析报告3篇，技术规范类11篇，涵盖服务器和存储技术规范，以及对各类虚拟化技术的测试规范,完成8项测试工作和测试报告8篇，对各类虚拟化技术进行了测试验证,在技术分析和测试验证基础上，各省公司开展9项相关试点,完成研究报告12篇，对IaaS云计算在IT支撑系统引入的各个层面进行了全面深入分析,项目创新,项目针对前沿云计算技术，结合中国移动IT支撑系统现状，做出了应用型创新工作对IaaS层云计算实施进行了全面的技术分析和测试在三大IT支撑系统中展开试点工作提出了中国移动IT支撑系统的引入策略专利情况：山西公司在项目研究中提出一项专利专利的公司编号：SX1009001所属项目编号：2010_LH_06专利名称：一种实现详单快速存储检索的逆向链表实现装置及方法专利申请主要解决的问题是在虚拟化存储平台上解决海量详单存储检索效率问题,一.开题计划完成情况,目 录,二、主要研究成果,主要研究成果,目录,1,2,3,4,体系架构与总体思路,技术方案、规范和引入策略研究,IT支撑系统云计算资源池的管理,课题总结与展望,2.1课题研究的技术体系架构与总体思路,研究技术体系架构：本课题聚焦于IaaS层面云计算落地方案与发展策略，研究通过虚拟化技术构建云计算资源池，通过X86平台替代小型机和分布式存储的引入，推动硬件资源向低成本和标准化方向发展，最后利用云计算资源的管理平台实现资源对上层应用的灵活交付,IaaS层云计算在IT支撑系统的实现方案的总体思路：服务器资源池，首先着眼于X86服务器的虚拟化整合，其次推动部分小型机应用向X86资源池的迁移，对于无法替代的小型机，利用虚拟化技术提高系统效益存储资源池，IT支撑系统主要采用FC SAN设备，因此首先采用存储虚拟化技术整合FC SAN设备，对上提供动态容量和不同性能的标准存储服务，然后放眼整体存储架构，通过分布式存储的引入，探索存储层面向标准化服务器集群演进的途径资源池的管理，基于云计算的资源服务需求明确管理目标，结合产品的现状构建资源池管理平台,主要研究成果,目录,1,2,3,4,体系架构与总体思路,技术方案、规范和引入策略研究,IT支撑系统云计算资源池的管理,课题总结与展望,X86服务器虚拟化,UNIX服务器虚拟化,服务器虚拟化技术分类,隔离性高,灵活性高,操作系统级虚拟化在硬件之上构建虚拟层，建立多个逻辑分区或虚拟机,硬件级虚拟化在硬件架构上实现物理隔离分区，电气化隔离,应用级虚拟化在同一操作系统内，创建应用隔离容器,HP nPar，SUN DSD,HP vPar，SUN LD，IBM DLPar,HP SRP，SUN Saloris Container，IBM WPar,VMWare ESX，Xen，KVM，Hyper-V,Parallels Virtuozzo,X86服务器虚拟化技术架构,操作系统级虚拟化,应用级虚拟化,原理：虚拟层是通过创建虚拟操作系统实例实现的，它再指向根操作系统的关键系统文件，这些指针驻留在操作系统容器受保护的内存中，提供低内存开销应用分析：虚拟化实例的密度很大，维护效率高；但隔离性差，应用对根操作系统的破坏，其他客户机也会跟着被破坏，实际应用较少,原理：hypervisor通过一个软件层在现有操作系统上实现硬件虚拟化，与容器架构不一样，II型客户机提供了一个完整的、独立的、无依赖的客户机操作系统副本，通常利用半虚拟化驱动网络和I/O提高客户机性能应用分析：由于虚拟化功能必须通过宿主操作系统，客户机的性能大大低于裸金属架构，可用于开发/测试或桌面类应用程序,原理：该类hypervisor直接运行在系统硬件上，提供了更好的客户机性能。通过处理器虚拟化扩展增强，包括英特尔VT和AMD-V技术，hypervisor的性能得到大幅度提升应用分析：隔离性和性能表现均衡，目前是X86服务器虚拟化企业应用的主流选择,Type I：裸金属架构,TypeII：寄居架构,容器架构,利用X86服务器虚拟化构建云计算资源池,FC存储阵列,iSCSI存储阵列,NAS存储阵列,虚拟化管理服务器,管理客户端,SAN交换机,Fabric IP网络,服务器群1,服务器群2,服务器群3,Web浏览器,X86服务器虚拟化规范和测试工作,X86服务器虚拟化系统设备规范,研究院制定X86服务器虚拟化系统设备规范作为企业标准提供给集团和省公司，用于X86服务器虚拟化产品的选型、测试和合理应用规范内容包括X86服务器虚拟化的技术实现方式，典型系统架构功能要求：基础功能、快速部署、动态分配和虚拟化管理非功能要求：性能、可用性、可扩展性、可管理性、安全性等对外提供的接口要求,研究院依据中国移动X86服务器虚拟化技术规范开展功能和性能测试,测试产品：VMWare：vShpere；Microsoft：Hyper-V；Redhat：KVM；华为和Novell：Suse Xen测试结论功能方面基本都能够满足中国移动X86虚拟化的基本功能要求在规范未做强制要求的少数高级功能上有所不同性能方面从24个虚拟机的SPECVirt压力测试的分数来看，各厂商虚拟化产品的性能差距不大，都可以满足中国移动X86虚拟化的性能要求不同虚拟化产品对于系统物理资源的消耗表现稍有差别，但影响不大,研究院对X86虚拟化关键问题测试研究-虚拟机存储,虚拟机存储使用策略,对HA及在线迁移有需求场景下选择共享存储设备与IP-SAN相比，分布式文件系统DFS无优势，目前针对虚拟化平台技术不够成熟，且部分情况下性能更低，目前不建议在服务器虚拟化映像文件存储中使用考虑到未来X86云资源的大规模物理节点的情况，存储建议采用基于万兆以太网的SAN设备，如iSCSI和FCoE等对于HA及在线迁移无严格要求，建议使用成本最低，扩展性最好的本地磁盘进行虚机镜像文件存储（多块磁盘做RAID方式）,浙江业务支撑系统X86虚拟化试点,试点系统,业务支撑系统，营业厅现场管理系统,试点方案,虚拟服务器采用了4套HP BL685 4路刀片服务器，管理服务器采用了1套2路刀片服务器；存储系统复用了HP XP24000光纤存储系统虚拟化软件采用了Vmware Vsphere 4 enterprise edition，虚拟化管理软件采用Vmware Vsphere vCenter Server Standard，操作系统为Suse Linux 10.1。架构示意图如右图：,试点结论,营业厅现场管理系统作为WEB类和轻负载应用类业务，适合引入虚拟化技术；采用VMware虚拟架构解决方案，在可行性、可靠性及稳定性方面能够满足要求；共享存储上，后续考虑将存储改为中低端盘阵，以提高投资性价比；引入X86虚拟化后，对于人员、网络等维护管理方面提出了新的挑战。,江苏X86虚拟化试点,试点系统,网络支撑系统,试点方案,江苏网管系统针对8套网管系统、12种安全管理平台，实施PC服务器虚拟化，包括日志审计系统、安全管控平台、4A、网络投诉处理平台、综合资源、信令监测、数据网管、传输网管等实施领域主要在Web服务器、数据采集机和网管接口机将原有120台服务器上的应用通过虚拟化整合到30台服务器上,试点结论,实践证明，虚拟化平台可以满足上述网管系统的业务需求共享存储利旧现有FC SAN设备，整体方案收到良好的投资效益新技术的运用也带来维护模式的转变，需进一步探索,效益评估-江苏网管支撑系统,注：虚拟化后的共享存储在现有阵列上划分，空间几十个G，IO消耗也很低，成本上没有计入,效益评估-GEDC大规模部署,X86服务器虚拟化引入策略,X86虚拟化技术发展已趋成熟，对于目前IT支撑系统内的X86服务器都可以考虑实施，但是虚拟化的实施要综合考虑成本和收益，避免为了虚拟化而虚拟化虚拟化实施应满足低利用率或动态部署原则对于虚拟化架构的共享存储设备，应评估不同方案成本对比，建议采用IP SAN方式支持虚拟化实施范围的扩大有助于提高服务器整合比，实现效益最大化，建议对三大IT支撑系统统一建设X86虚拟化资源池虚拟化产品的选择上，应参考分级标准，合理选择，避免盲目采用成本最高的解决方案,原则二：当物理服务器上需要动态分配给不同应用系统使用时，应该考虑虚拟化,依据：虚拟机资源不与任何物理机绑定，虚拟机镜像可以方便分发、快速部署效果：资源被池化，可根据应用需要动态分配和回收，满足业务动态变化需求案例：生命周期短的临时应用或开发、测试系统，负载波动大、需求难以预测的系统如业务云资源池、IDC弹性计算业务等建议：需要自动化、具有策略性的的虚拟化管理系统,原则一：当发现多台物理服务器的资源利用率过低时，应该考虑虚拟化,依据：利用虚拟化“一分多”的特性，同时运行多个虚拟机，共享资源效果：实现应用整合，提高利用率，降低TCO案例：小型业务平台、信息化、网管采集机等建议：在部署多个虚拟机时，可以考虑其对资源的不同需求，以及“错峰”效应,参考分级标准合理选择X86虚拟化功能,IT支撑系统X86平台替代小型机驱动力,有助于降低成本,有助于提高效率,目前小型机从CPU、硬件架构到操作系统一般都是厂家私有标准，相互之间不通用，缺乏互操作性不同服务器之间操作、管理都不相同，给应用开发、设备管理等都造成很大困难，影响业务部署、管理效率,小型机价格高，动辄数十甚至上百万元，企业IT系统投资巨大由于标准化问题造成软硬件绑定，不利于厂商之间竞争，进一步加剧了价格居高不下,采用X86服务器替代小型机，符合云计算对服务器的技术要求，是IT支撑系统降低成本、提高效率的必然选择,2010年第3季度全球服务器增长（来自gartner）,X86平台替代小型机可行性分析,从性能、可靠性、可扩展性等各方面来看，X86服务器能够提供与中低端小型机相比的能力，同时在成本、标准化等方面具有很大优势，能够满足大多数业务的需求,IT支撑系统X86平台替代小型机引入策略,利用X86服务器替代小型机符合云计算标准化和公司低成本高效建设的需求，应在保证业务可用性的基础上，对于资源需求小的应用系统优选部署在X86云资源池上，积极试点在规模事务型应用中采用X86集群方式替代小型机，研究和试点在批处理和大型数据仓库等场景采用分布式处理X86集群方式替代小型机,小型机虚拟化的分类和代表产品,IBM虚拟化技术LPar和WPar,一个 system p 的系统平台，该平台被分割成多个 LPAR，每个 LPAR 上可以运行一个操作系统实例。LPAR 上可运行的系统包括 Linux，AIX 和 VIOS。在运行 AIX6 的 LPAR 中，又可以运行和管理一个或多个 WPAR,WPAR 是由软件创建的、AIX 6 映像中的虚拟化的操作系统环境。对于所承载的应用程序来说，每个工作负载分区都是一个安全的、隔离的环境。WPAR 中的应用程序认为，它正执行于自己的、专门的AIX 实例中。对于大多数 应用程序来说，WPAR 就好像 是一个AIX 的启动实例。通 常，在WPAR 中，应用程序无 需修改就可以运行,IBM LPAR既逻辑分区指的是将一个物理的服务器划分成若干个逻辑的服务器，每个逻辑的服务器运行自己独立的操作系统，有自己独享的处理器、内存和I/O资源,这些资源在各个LPAR之间是隔离的,SUN虚拟化技术体系,按照CPU槽的颗粒进行分区最多的硬件分区数量多达24个完全的硬件故障隔离没有性能开销的损失几代CPU可以共存同一系统域可在线更换,每个逻辑域是一个完整的虚拟机，包含可动态配置的服务器资源和各自独立的OS分区粒度小，内存以8KB的粒度分配域可单独配置、启动和关闭,无需服务器硬件的重启可隔离操作系统以上的故障,在Solaris核心中实现OS虚拟化动态资源管理系统环境，安全性和故障隔离(zones)极轻量级实现，高密度部署场景理论极限 8000应用范围广范，可应用于各种类型的硬件平台,HP服务器虚拟化技术体系,小型机虚拟化测试工作,小型机虚拟化技术可以灵活实现资源的在线调整，实现虚拟化后对性能的影响较小，可以满足实际生产系统的要求,山东公司IBM小型机虚拟化实践,试点系统,业务支撑系统，BOSS和CRM,试点方案,1、每台物理主机采用DLPar分为多个分区2、将同一业务一个中心主用端和和另一个中心备用端部署到同一台物理主机3、同一主机所在分区承载业务为关键与非关键搭配，如测试系统，采用IO硬件隔离方式实现网络安全4、将主机剩余的资源和部分备份资源统一放在预留资源中，预留资源设置为“共享”模式：（1）同一主机的预留资源可以在生产系统峰值进行人工调整，预留分区资源不够的情况下，调配非关键业务的资源（2）新应用上线可暂时占用预留分区5、对于每个应用的分区资源依据实际运行情况进行周期性人工调整部署,试点结论,山东公司2005年开始试点，现在所有系统均支持DLPAR，部分测试系统使用微分区和VIOS通过结合容灾系统实现生产分区、容灾分区、测试分区等部署在同一台物理主机，搭建预留资源池。实现了资源动态调配应对定期和突发资源需求、建立测试系统、快速搭建新业务分区等功能未来规划将新购置的P7系列小型机统一满足三大IT支撑系统的UNIX平台需求,四川SUN小型机虚拟化试点,湖南SUN小型机虚拟化试点,硬件配置：1、两台sun sparc平台，三台x86服务器3、sun 6140共享存储软件配置：1、solaris10操作系统，sparc平台使用sparc版，x86平台使用x86版。2、oracle10g数据库软件,试点结论,Container方式可以满足测试环境的需求现有container可以完全满足在sun平台下跨系统版本的平滑迁移，例如将solaris8的应用平滑迁移到solari10 平台。在这一部分中将主要测试一、虚拟化之后的部署和迁移的平滑性以及用户的便捷性。二、做完虚拟化之后的系统性能以相关资源占用情况。Solari10在sparc和x86都有相应的版本发布，另外一个测试目的将测试sparc和x86的互迁移能力（本次测试java类程序和oracle数据库的迁移）。未来小型机的应急预案中将考虑X86接管小型机的方案,试点系统,网络支撑系统，话务网管性能管理模块,试点方案,利用Container技术构建性能管理模块的测试环境验证Container的虚拟化功能和异构硬件平台间的迁移,浙江HP小型机虚拟化实践,试点系统,业务支撑系统，营业系统,试点方案,综合运用nPar、vPar和HPVM技术（见上表），达到主机资源的有效利用动态nPar和vPar的分区资源采用不定期手工调整方式，应对应用的峰值需求，新机器装机时，预留部分资源，供实际上线后的整体运行调整,试点结论,通过使用HP UNIX虚拟化技术，效果是明显的，有效提升资源利用率，节约机房空间，并大大降低运营管理成本前期采购成本相对较高，特别是高端设备成本、虚拟化软件及实施费用带来了额外的成本，但通过集中化形式的采购，该部分成本可实现尽可能的压缩风险在于大量应用集中部署在少量物理高端UNIX服务器上，一台UNIX服务器整体宕机的影响会超过虚拟化实施前，但是高端UNIX服务器通过背板、电源设计等的大量冗余设计，提升了可靠性，降低了停机时间，当然应用部署上也可以通过双机等形式实现高可用。,小型机虚拟化引入策略-总体策略,首要保证各业务系统运行的性能和可靠性，小型机虚拟化技术的引入兼顾技术的成熟度和资源调控的灵活性，针对不同类型的小型机，选择不同的分区技术应用策略对生产系统的资源动态调整，应采用手工调整方式，忙时调整应对高峰资源需求，周期性调整应对资源需求基线的变化，对测试系统可配置策略方式实现资源的自动调配生产系统与测试系统，可部署在相同的小型机上建立共享资源池，但不应采用共享网卡虚拟化技术，采用独立的硬件资源以及VLAN，以满足网络安全策略的要求,IBM小型机虚拟化引入策略,鉴于IBM小型机虚拟化如DLPAR等技术已经非常成熟并有长时间的关键生产业务验证，因此可以直接引入，对于所有系统均可考虑采用DLPar专享资源技术，更充分享用分区灵活性的特性基于AIX6以上的小业务系统和测试环境，采用WPar技术实现高密度部署,SUN小型机虚拟化引入策略,Container虚拟化有跨平台的特点，相比其他两种虚拟化方式更适合构建云计算资源池在部署应用数量多和应用峰值变化明显的场景下，SUN小型机虚拟化优选Container虚拟化Container方式下可实现小型机应用的低成本应急方案，当小型机资源紧张，或发生故障的情况下，可将Container连同应用迁移到安装Solaris 10的X86服务器上对于关键应用，如核心应用数据库等，可采用硬分区或逻辑分区方式，但在操作系统兼容的前提下，建议积极向Container方式演进建设上采用集中化、两端化的方式，核心关键应用部署在新购高端服务器的物理分区上，限制增加中间中低端服务器，现有中端设备进行利旧支持非关键业务和测试类应用。新增非关键业务集中在X86服务器上，可以是windows或solaris系统。Windows系统运行在vmware之上，Solaris系统使用container技术可以在X86服务器和中端服务器之间灵活进行业务或应用迁移,HP小型机虚拟化引入策略,系统可用性要求较高的核心生产应用系统，如营业和计费的DB、APP等采用动态nPar技术vPar适用于系统可用性要求相对较低的非核心应用系统，如业务支撑网外围系统，如统一接触、统一备份管理，BOMC，门户网站，以及IT支撑系统的常规测试HPVM可以承载对资源的需求量和可用性较低的应用系统，如WEB和门户服务器，但基于成本考虑，此类应用建议采用X86架构服务器实现HPVM可用于测试平台，进行资源需求不高的常规测试，或用于临时性测试，对临时、过渡性测试需求实现快速分配、回收资源SRP在电信领域应用案例较少，可应用在测试环境中，针对HP-UX系统进行测试,存储虚拟化,实现方式：一般由操作系统下的逻辑卷管理软件完成（安装客户端软件），不同操作系统的逻辑卷管理软件也不相同优点是性能损耗小，缺点是占用主机资源，主机数量越多，实施/管理成本越高代表产品：赛门铁克SF,存储虚拟化（FC SAN）使服务器的存储空间可以跨越多个异构的磁盘阵列，常用于解决阵列间利用率不均衡或在不同磁盘阵列之间做数据镜像保护等问题,实现方式：在存储控制器上添加虚拟化功能，常见于中高端存储设备优点是不占主机资源，技术成熟度高，缺点是消耗存储控制器的资源；异构厂家盘阵的高级存储功能将不能使用代表产品：HP USPV,实现方式：通过在存储域网（SAN）中添加虚拟化引擎实现优点是架构合理，不占用主机和设备资源，缺点是存储阵列的兼容性需要严格验证，原有盘阵的高级存储功能将不能使用高代表产品：IBM SVC，EMC VPlex，HP SVSP,存储虚拟化技术适用原则,基于主机的虚拟化方案,对现有硬件架构没有变动，适于对关键应用解决异构互联问题，由于需要在所有主机上安装管理软件，给后期维护带来一定影响，原有数据迁入必须进行格式转换，实际实施中也需要进行充分风险评估；测试环境中采用时，必须与业务支撑生产环境保持一致性，需要考虑现网主机是否使用SF方案,基于网络的虚拟化方案,适用范围广，提供产品的厂家最多，网络层虚拟化架构最为合理，但由于引入新的硬件设施，会带来新的故障点和转发性能开销，在对性能要求苛刻的场景需要充分评估,基于设备的虚拟化方案,虚拟化技术成熟，应用风险小，被整合的存储设备容易地继承存储虚拟化阵列一些固有的高级功能，如快照、克隆、复制、分区、精简配置等等，但方案需要支持USPV技术的机头支持，扩展性也受机头前端端口数据的限制，现有系统中有支持USPV的高端存储机头可以考虑采用,存储虚拟化规范,存储虚拟化规范的编制,研究院制定了存储虚拟化规范，针对三类存储虚拟化架构统一规范了存储虚拟化的功能要求和可用可管理等非功能要求，为省公司测试和试点提供了技术依据,规范内容,存储虚拟化功能要求异构环境的支持、统一资源调度、快照、数据迁移、卷拷贝、数据镜像、导入导出虚拟化平台、自动精简配置、远程复制、条带化存储虚拟化非功能要求可用性可扩展性可管理性性能要求,存储虚拟化测试,被测各项存储虚拟化技术可以实现异构存储阵列的整合，实现虚拟化后主机侧对性能影响较小，网络层和设备层在写性能上由于采用缓存方式，性能有所提升，但是在随机读性能上会有所下降,山西BOSS系统存储虚拟化试点,试点系统,7*24核心业务支撑系统：计费、帐务、采集、综合预处理、计费数据库、创收数据库,试点方案,虚拟化技术引入及部署通过主机层软件方式建立存储管理虚拟层；利用专业的第三方链路管理软件解决磁盘阵列和主机的连通兼容性；建立全局数据实时共享机制在存储管理虚拟层上构建并行文件系统；实现所有业务主机共享同一份数据视图；应用调度及运行体系优化废止原有的socket和ftp等通过网络的数据交互模式,提高流水处理效率；通过细分业务、号段的方式实现业务调度粒度的精细化管理；系统运行及配置环境集中管理，实现一点配置，全网生效,山西BOSS系统存储虚拟化试点,试点结论,改变了传统“烟囱”式的建设方式，磁盘阵列上的存储资源不是直接垂直映射到业务系统，而是先经过了在主机层构建的“存储资源池”的统一整合，然后由“资源池”通过服务的方式，动态提供给业务系统使用，存储资源的调度跨多个业务系统存储多链路管理使用的是虚拟化软件所提供的多路径软件，可以支持目前总部集采目录上所有的磁盘阵列设备，这样将来的扩容选择就极其方便，解决了困扰已久的硬件兼容性问题由于存储资源是通过“共享存储池”提供给主机使用的，因此接入到存储池中的7台业务主机原则上都可以运行任何一个业务模块，事实上通过存储虚拟化技术，7个节点组成一个集群，形成一个“主机资源池”，承载4种不同的业务应用，极大地提高了主机的资源利用效率,试点系统平台(高端UNIX小机+高端存储)4台HP SD，8个分区，120TB存储，接近1000个LUN，17个业务模块，40多个应用进程系统压力(达到60%系统设计容量)吞吐量1.21.6GB/秒，90000IOPS/秒每秒逻辑I/O操作超过10万次,浙江测试环境虚拟化实践,试点系统,IT支撑系统测试环境,试点方案,学院路5楼机房：1台HP XP512，1台IBM DS8300，2台IBM P595；学院路6楼机房：1台HP XP1024，2台HP ISD，2台IBM 256口SAN交换机，2台IBM 16口SAN路由器将学院路5楼机房和6楼机房的存储设备：1台HP XP512，1台IBM DS8300，1台HP XP1024，2台HP ISD通过网络层虚拟化方案实现存储整合，为IT支撑系统的测试环境提供统一存储支撑,试点结论,通过试点，基于SAN网络的存储虚拟化技术能够较好的满足浙江公司测试环境存储资源的整合和存储资源池的构建；虚拟化后实现了统一的存储管理和分配，易于管理，需求响应更加快速；在合适的虚拟化技术和合理的虚拟化规划基础上，不会产生性能瓶颈，并且在一些特定场景下可以实现一定的性能提升,上海网管系统的虚拟化实践,试点系统,网络支持系统：网络支撑客服、文档管理等系统,试点方案,上海公司网管支撑系统的IT设备主要分布在金桥机房和浦东机房，金桥机房为主生产中心，集中存储设备采用HDS USP-V；浦东机房为次生产中心和容灾备份中心，集中存储设备采用EMC DMX-3规划将浦东部署在EMC设备上的网络支撑客服和文档管理等系统主机迁移到金桥机房，数据访问采用设备存储虚拟化方式受世博保障影响，搬迁工作正在进行中,试点结论,经过测试验证搬迁方案可行可以通过HDS设备虚拟化实现重要数据的异地容灾规划中的网管X86虚拟化共享存储可通过设备虚拟化整合现有的中低端存储,效益分析,直接投资成本实现对设备的有效利旧浙江测试系统利用SVC方案利旧投资100万，而新购设备需要250万异构互联的支持，可以实现采购招标的完全竞争山西通过主机和存储完全竞争方式，在NGBOSS一期项目节省投资617万元分级存储，将数据迁移到中端阵列采用RAID5保护，实现低成本日常管理成本通过存储虚拟化大大降低对原有磁盘阵列的管理维护成本，总体来说管理成本降低,准确衡量存储虚拟化所带来的量化效益，应结合当前存储状况，包括运维成本和各组件投资成本方面，以及各个业务系统希望或要求提供的服务方面，然后才能明确在整个数据中心实施存储虚拟化管理所能带来的总体收益,存储虚拟化的应用策略,总体策略：中国移动小型机对于遗留异构FC SAN存储系统，应选择适合的存储虚拟化技术进行资源整合，实现存储资源的有效利用和统一管理，并在此基础上规划系统分级存储和容灾架构,分布式存储类型,分布式块存储：以标准的Intel/Linux 硬件组件作为基本存储单元，组件之间通过千兆以太网采用任意点对点拓扑技术相互连接，共同工作构成大型网格存储，网格采用分布式算法管理典型产品如IBM XIV 存储系统,分布式文件系统存储：通过NAS虚拟化，或者基于X86硬件集群和分布式文件系统集成在一起，以实现海量非结构化数据处理能力典型产品有IBM SONAS，HP X9000，Isilon等,分布式对象存储：分布式对象存储是基于X86集群为海量数据提供key-value这种通过键值查找数据文件的存储模式典型实现是亚马逊的S3,分布式表存储：提供功能受限的简单表存储空间，对底层硬件要求不高，一般常采用开源软件和通用PC，适合存储海量结构化或半结构化数据典型产品有Greenplum和开源Hive等,江苏网管系统分布式表存储引入分析,网管系统数据类型,适合,不适合,读操作,读写均衡,测试系统：信令监测系统中的数据入库查询测试方案：采用中创系统，将原有Sybase IQ数据库替换为GreenPlum被测数据库容量为6T，最大的数据表2.6亿条记录测试系统拓扑架构Segment host：4 台Dell R710 各连一个MD1000直连存储，每个存储配置12*300GB SAS盘数据库master host：1台 Dell R710测试结果：,江苏分布式表存储测试,测试结论：1、GreenPlum的分布式数据仓库方案可以满足信令监测的数据分析需求2、比现有系统性能有较大提升3、未来工程建设将考虑引入现网生产系统,研究院在四川音乐基地系统分布式表存储试验,面对海量数据，构建运营与业务检测系统的数据处理应用，提供数据预处理与详单数据查询服务。及时发现并防止CP及用户欺诈行为、监测业务过程漏洞,结论：HugeTable具备良好的扩展性，接近线性扩展；单个查询运行时间比Sybase IQ低40%，具备良好的性能；存储空间只有Sybase IQ的1/4，具有良好的压缩比。JDBC/SQL接口易于和应用集成研发,现网系统两台Sybase IQ数据库服务器安装在HP RX8640上，硬件配置是32逻辑CPU，152G内存，使用SAN集中存储，使用存储空间约100T,使用3台HP DL585服务器搭建了实验平台。硬件配置是每台服务器CPU逻辑16,物理内存64G，磁盘空间是500G；开发了基于HugeTable的JDCB/SQL接口，包括详单查询、自定义报表和违规监测等,分布式存储的引入策略,总体策略：相比传统的集中阵列存储设备，分布式存储处于技术发展初期，产品和解决方案还局限于部分领域，中国移动应结合不同类型分布式存储的技术发展状况，在一些“点”展开技术引入，引入技术方案上优选基于标准X86集群架构的方案，可灵活部署在已有的X86云资源池上,主要研究成果,目录,1,2,3,4,体系架构与总体思路,技术方案、规范和引入策略研究,IT支撑系统云计算资源池的管理,课题总结与展望,IT支撑系统云计算资源池的管理需求,构建云计算资源池后，大量的异构设备纳入到统一管理域内，需要通过集中的资源池管理平台，优化现有的管理工作，让有限的人力可以通过提高管理效率的方式来支撑更大规模的系统维护实现对各类资源状态的统一监控资源自动调度部署，快速划分资源支持新业务上线需求，基于系统运行状况通过手动或基于策略自动方式对现有资源分布进行优化资源和应用分离后以服务方式对业务部门提供易操作的资源交互界面,传统按照业务系统单独部署资源的架构在针对单个系统进行管理时，由于配置比较单一，因此相对管理是比较容易的，即使没有IT管理平台的帮助，借助一些厂商自有工具，以单机和人工方式也能够较好地完成日常管理任务但是这种架构模型下，管理工作量随着业务系统数量的增加成比例线性增加的，在IT支撑系统多业务系统的情况下，这种管理模式已经让有限的管理人员不堪重负,云计算资源池的管理目标架构,虚拟资源,物理资源,服务器、存储系统、网络设备,虚拟机系统、存储池、虚拟网络,IaaS服务,计算和存储资源的生命周期,运营管理,用户管理服务管理资源管理部署调度安全管理,IT支撑系统,为实现向IT支撑系统提供按需的IaaS资源服务，需要实现对底层资源的统一管理，管理平台负责硬件资源的生命周期管理，将资源能力包装成服务形式，以直观易操作的模式对上层应用系统提供资源支持，基于资源请求或策略对资源进行自动部署调度，并实现相关的用户和安全管理,IT支撑系统云资源池的管理现状-X86服务器,部分虚拟化厂家提供对自身虚拟化平台的统一管理工具，如VMWare的vCenter，之上也有第三方的厂家提供管理工具，可对不同虚拟化平台和物理设备实现统一管理，如Platform和BMC等根据接口开放程度的不同，云计算资源管理系统可能通过虚拟化管理系统管理虚拟化资源，也可能直接与Hypervisor通信通过定制化开发，能够同时兼容并管理多种虚拟化产品,在一个大型X86资源池中，同时存在多种虚拟化产品是可行的。只是不同虚拟化产品间还无法直接支持故障切换、在线迁移等高级功能目前X86服务器虚拟化产品已具备一定程度的开放性和互操作性，体现在两个层面OVF虚拟机格式的支持和镜像文件转换对外提供的管理接口,IT支撑系统云资源池的管理现状-小型机,HP VSE环境,Intelligent control,虚拟服务器,HP Systems Insight Manager,HP Integrity Essentials Virtualization Manager,HP Integrity Essen