中国移动研究院云计算相关研究及实践工作的汇报0.7.ppt
《中国移动研究院云计算相关研究及实践工作的汇报0.7.ppt》由会员分享,可在线阅读,更多相关《中国移动研究院云计算相关研究及实践工作的汇报0.7.ppt(49页珍藏版)》请在三一办公上搜索。
1、推动云计算研发和应用,助力“通信专家”到“信息专家”转型,中国移动通信研究院2009年7月,提纲,云计算技术发展及应用概述“大云”计划及进展状况下一步工作建议,2/32,什么叫云计算,云计算是一种利用大规模低成本运算单元通过IP网络相连而组成的运算系统,以提供各种运算服务。高性能低成本通用性强云计算发源于搜索引擎平台,互联网企业在创业阶段出于追求低成本高效能的考虑开发出一种计算技术,目前已成为提供各种互联网服务的重要平台。目前,某些企业也把以虚拟化技术为基础提供的IT资源服务包装成“云计算”。,3/32,云计算分类,Infrastructure as a Service以服务的形式提供虚拟硬件
2、资源,如虚拟主机/存储/网络/数据库管理等资源。用户无需购买服务器、网络设备、存储设备,只需通过互联网租赁即可搭建自己的应用系统典型应用:Amazon Web Service(AWS),Platform as a Service提供应用服务引擎,如互联网应用编程接口/运行平台等。用户基于该应用服务引擎,可以构建该类应用。典型应用:Google AppEngine,F,Microsoft Azure服务平台,Software as a Service用户通过Internet(如浏览器)来使用软件。用户不必购买软件,只需按需租用软件典型应用:Google Doc,S,Oracle CRM OnDe
3、mand,Office Live Workspace,面向外部用户需求,通过开放网络提供云计算服务IDC,GoogleApp,Saleforce在线CRM,大型企业按照云计算的架构搭建平台,面向企业内部需求提供云计算服务企业内部数据中心等,兼顾以上两种情况的云计算服务Amazon Web Server等既为企业内部又为外部用户提供云计算服务,按提供的服务类型,按云服务的对象,4/32,云计算的优势,MailTrust为遍布全球的超过10万个商业伙伴保存邮件账号信息,使用Amazon AWS 作为了备份解决方案,节约了超过75%的成本。,Animoto 是一个在线视频生成程序,使用 EC2 快速
4、地扩展了处理能力度过峰值,它曾经使用 3500 个同时运行的虚拟实例。,Google 的服务器利用率可以达到一般企业中的利用率的280%,利用Google App Engine或微软Azure提供的各种API和服务组件,可以快速开发应用并提供服务。,节约成本,按需使用资源,快速开展服务,提高资源利用率,5/32,云计算前景,$M,0.0,5000.0,10000.0,15000.0,20000.0,2006,2007,2008,2009,2010,2011,2012,2007 forecast,2008 forecast,2009 forecast,“2009年全球云计算服务市场将由2008年
5、的464亿美元增长至563亿美元,增幅为21.3%”“到2012年,80%的财富1000强企业将使用云计算服务”“到2013年将增长至1501亿美元”-Gartner,Source:Economic Crisis Response:Worldwide Software as a Service Forecast Update(IDC#215504,January 2009),6/32,云计算生态系统现状,服务提供商:提供云计算服务,系统集成商:帮助用户搭建云平台,应用开发商:开发云计算应用,平台提供商:提供云计算平台,最终用户,云计算生态环境,7/32,典型云计算服务提供商分析,8/32,典型
6、云计算平台提供商分析,9/32,云计算生态环境分析,云计算打破了传统的IT产业格局,尚未形成稳定的价值链分工,业务提供商、平台提供商、系统集成商、应用开发商和最终用户的界限不很清晰(Google自己开发软件甚至硬件;IBM既提供产品,也提供服务等)传统设备提供商利用云计算广泛进入服务领域(CISCO、Micosoft、S、Sun)传统设备制造商和系统集成商(如IBM/HP)在云计算技术方面落后于新兴云计算提供商(如Google、Amazon),几乎没有传统设备制造商能够提供全套云计算解决方案云计算技术标准缺失,存在平台间互联互通和用户锁定问题,第三方应用开发者产业尚未形成,10/32,云计算架
7、构,架构层,平台层,应用软件层,SaaS,PaaS,IaaS,运营管理,故障管理,计费管理,性能管理,配置管理,安全管理,定制代码,虚拟和操作系统层,开放API,数据挖掘,信息搜索,并行计算,海量存储,支付,计费,硬件平台,存储平台,用户状态,通信,位置,内容分发,mSpaces,Web Hosting,OPhone,MobileMarket,IDC,OA,网管,业务支撑系统,绿色数据中心,云应用,应用代码,第三方软件,数据挖掘,任务调度,HA,云平台,11/32,提纲,云计算技术发展及应用概述“大云”计划及进展状况下一步工作建议,12/32,什么是“大云(Big Cloud)”计划,什么是“
8、大云”中国移动研究院为打造中国移动云计算基础设施而实施的关键技术研究及原型系统开发计划目标为满足我公司IT支撑系统高性能、低成本、可扩展、高可靠性的IT计算和存储的需要为满足我公司提供互联网业务和服务的需要,Big Cloud 0.5 Release,搭建1024节点实验室环境;Big Cloud 1.0 Release,利用闲置的15台计算机,基于开源软件搭建了海量数据处理试验平台,并成功运行搜索引擎软件,建立256节点的大规模运算实验室,并运行数据挖掘工具和相关应用,并行数据挖掘工具开发与应用试验,云计算系统改进、完善与试验,云计算引入策略、总体解决方案研究、产品研发、应用试验、产业链培育
9、,13/32,系统管理/CloudMaster,海量数据分布式文件系统HyperDFS,BC 1.0技术架构,网管系统,mSpaces,IDC,。,开源的Linux操作系统基于Xen的虚拟机,分布式并发控制/GlobalLock,平台安全管理/CloudSecurity,结构化海量数据管理HugeTable,并行程序设计和开发环境MapReduce,数据挖掘工具库BC-PDM,搜索引擎核BC-MSE,云存储中间件BC-MCSS,云计算应用层,中国移动内部的新型IT支撑系统 IDC,mSpaces,email等互联网应用,云计算能力层,数据挖掘工具库:挖掘应用的算法工具 云存储中间件:提供海量对
10、象存储能力 搜索引擎核:提供基本的搜索引擎能力,云计算平台层,MapReduce:MapReduce并行程序框架 HugeTable:结构化数据存储 HyperDFS:海量数据的分布式文件系统 CloudMaster:云计算平台系统管理,虚拟化资源层,构建在海量同质化的PC与不可靠硬盘上 使用开源的Xen提供计算资源的虚拟化 运行于开源的Linux系统之上,14/32,业务支撑系统,管理信息系统,对象存储系统oNest,BC 1.0在技术架构中的映射,架构层,平台层,应用软件层,SaaS,PaaS,IaaS,运营管理,故障管理,计费管理,性能管理,配置管理,安全管理,定制代码,虚拟和操作系统层
11、,开放API,数据挖掘,信息搜索,并行计算,海量存储,支付,计费,硬件平台,存储平台,用户状态,通信,位置,内容分发,mSpaces,Web Hosting,OPhone,MobileMarket,IDC,OA,网管,业务支撑系统,绿色数据中心,云应用,应用代码,第三方软件,数据挖掘,任务调度,HA,云平台,数据挖掘工具库BC-PDM,系统管理CloudMaster,安全管理CloudSecurity,云存储中间件BC-MCSS,搜索引擎核BC-MSE,并行程序设计和开发环境MapReduce,结构化海量数据管理HugeTable,海量数据分布式文件系统HyperDFS,对象存储系统oNest
12、,分布式并发控制 GlobalLock,15/32,BigCloud性能指标,16/59,说明1:每节点配置为4核心CPU、8GB内存、4*1TB SATA硬盘、千兆以太网接口说明2:256节点以上数据为依据已有测试数据外推得到,云计算实验室建设,实验室部署,性价比比较,17/32,云计算平台和应用关键技术研究和开发,分布式文件系统HyperDFS,结构化数据管理系统HugeTable,云计算平台与应用,A,B,并行数据挖掘工具BC-PDM,D,云计算管理系统CloudMaster,C,在开源Hadoop DFS基础上,改进分布式文件系统,提高性能、可靠性和可管理性修订Bug,开发高可用的多N
13、ameNode系统,结合经分和网管系统需求,在开源Hbase基础上,开发结构化海量数据管理系统HugeTable提供部分SQL操作和索引能力提高性能和系统可靠性,为了提高大规模数据中心管理效率,降低运营成本,解决商业化系统只能管理到硬件资源、网络和商用数据库的问题,开发CloudMaster系统管理硬件资源管理分布式环境中的数据和计算提供虚拟化资源管理和调度,结合经分和网管需求,开发并行数据挖掘工具BC-PDM在开源界出于领先地位,18/32,典型案例:上海公司用户行为特征分析,移动用户行为特征分析模型,渠道偏好分析,客户细分,新业务关联,时间性能:数据处理增加约30倍,数据挖掘增加约9倍,整
14、个应用性能提高约3-7倍,成本优势:成本降低6倍,运维耗电相当占地更少,更高的处理能力,正确度:符合商业标准,扩展性:ETL操作的线性加速比优秀,接近线性;算法部分良好,将用户进行分群,以制定细粒度的营销策略,应用性能增加约3倍,模型相似度较高,单位秒,单位秒,加速比,19/32,典型案例:江苏公司信令监测系统,基于云计算平台的信令监测系统实验,基于BC-PDM的ETL进行API级别的二次开发,形成信令信息分析系统功能包括SMS信令信息分析SP提交短信过程分析SP提交短信成功率分析GPRS的GN接口信令分析GN接口通信过程分析GN接口信令过程分析,正确性100%,数据查询、统计性能提高7-15
15、倍,成本降低4倍,数据范围:一个月数据查询案例查询:返回以上功能的某个时段结果组合查询:满足4个复杂条件的查询,实验条件,单位秒,20/32,典型案例:内蒙古公司OA系统X86服务器虚拟化,主要工作虚拟化可行性分析虚拟化实施方案和产品选型建议虚拟化业务技术规范虚拟化及管理软件的测试有效整合服务器资源实施效果将原有13台物理服务器整合为3台(利旧并配置适当升级)原有设备可用于其它系统,相当于节约新购硬件投资成本约18万建立资源集中管理系统大幅提高设备利用率CPU:15%37%,内存:17%38%节能效果显著减少服务器及配套设备电能消耗约为7万度/年,比虚拟化前节能70%,防病毒服务器、文档服务器
16、、BBS、创新管理系统、战略管理系统、统一用户管理系统,应用类型,21/32,典型案例:研究院IT数据中心及实验室虚拟化实践,22/59,12台服务器提供117台虚拟服务器,利用率提升8-10倍绿色数据中心功耗降低70%、空间节省60%降低采购和运营TCO成本、快速统一部署,提高运营效率,利用率低 CPU(510%)内存(1040%)硬件采购安装,部署时间长更换硬件需宕机,故障恢复时间长服务期间资源不能调配,低利用率,高功耗,22/32,对外交流和合作,2008年11月,中国云计算专委会在中国移动研究院成立。在移动LABS上建立中国移动云计算频道(http:/Cloud的研发成果云计算平台管理
17、系统基于云计算的并行数据挖掘工具基于云计算和手机报的搜索云计算存储与TD终端的结合参加Hadoop开源社区活动参加Hadoop Summit,发表Parallel data mining in telcom的演讲,与社区交流经验拟将CMRI开发的几个项目回馈到社区多NameNode提供服务数据挖掘工具,23/32,提纲,云计算技术发展及应用概述“大云”计划及进展状况下一步工作建议进一步加强关键技术的跟踪和研发加强对外合作,推动产业成熟积极推动云计算的实验、试点和应用,24/59,24/32,进一步加强关键技术研发,目前大规模并行计算为google等公司的核心技术,没有平台提供商提供完整解决方案
18、,我公司用户量和业务量巨大,业务系统和IT支撑系统面临现有系统计算、存储能力和成本的挑战,我国在该领域基础薄弱,加强该领域的研发有利于推动我国云计算产业的发展,基于云的大规模并行计算技术研发的意义,25/32,提纲,云计算技术发展及应用概述“大云”计划及进展状况下一步工作建议进一步加强关键技术的跟踪和研发加强对外合作,推动产业成熟积极推动云计算的实验、试点和应用,26/59,26/32,目前云计算价值链尚处于形成期,应加强合作,推动产业成熟,加强对外合作,推动产业成熟,加强与产学研的技术交流和合作作为合作伙伴参与第一届中国云计算国际学术会议与HP讨论加入Open Cirrus Testbed,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 中国移动 研究院 计算 相关 研究 实践 工作 汇报 0.7
![提示](https://www.31ppt.com/images/bang_tan.gif)
链接地址:https://www.31ppt.com/p-2258986.html