电信运营商大数据解决方案.ppt
《电信运营商大数据解决方案.ppt》由会员分享,可在线阅读,更多相关《电信运营商大数据解决方案.ppt(76页珍藏版)》请在三一办公上搜索。
1、电信运营商大数据解决方案,1,电信运营商大数据解决方案1,一,数据处理技术的演进,二,主流分析型数据库技术介绍、对比及选型,三,电信运营商大数据平台,2,目录,一数据处理技术的演进二主流分析型数据库技术介绍、对比及选型三,什么是大数据,大数据指不用随机分析法(抽样调查)这样的捷径,而采用对所有数,据进行分析处理的方法维克托迈尔舍恩伯格,“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和,流程优化能力来适应海量、高增长率和多样化的信息资产全球领,先的信息技术研究和分析公司,Gartner,一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库,软件工具能力范围的数据集合,具有海量
2、的数据规模、快速的数据流,转、多样的数据类型和价值密度低四大特征麦肯锡,3,什么是大数据大数据指不用随机分析法(抽样调查)这样的捷径,而,大数据,4V,特征,?,随时随地产生数据,数据量更大,?,以“低成本”的方式获得“可接受”,的数据分析结果,?,Cheap,:“廉数据”,V,olume,Variety,?,数据具有多样性,?,数据来源多、类型多,?,Multi-X,:同一对象多维描述,?,对处理速度要求更高,?,实时和在线,?,Swift,:“快数据”,Velocity,Value,?,?,?,?,价值密度低,更多高价值的数据产生,对有价值数据进行“提纯”,大数据的目的,Big,Data,
3、Big,Money,4,大数据4V特征?随时随地产生数据,数据量更大?以“低成本”的,数据库技术是大数据处理的关键,?,大数据处理流程,数据获取,数据,ETL,数据存储,数据分析,数据服务,数据库技术是大数据的关键!,5,数据库技术是大数据处理的关键?大数据处理流程数据获取数据ET,数据处理技术的演进,分布式技术提出,谷歌提出分布式文件系统、分布式数据库和,分布式计算框架,奠定大数据技术基础,实时计算技术提出,流计算、图计算、交互式分析、内存计算等,技术不断演进,1995,2000,2005,2010,2015,SQL/ACID,传统关系型数据库的崛起,提出面向企业,应用的商业智能,面向数据仓
4、库的数据分,析(,OLAP,)技术兴起,大数据,Hadoop,技术提出,开源,Apache,Hadoop,逐渐兴起,大幅推,进互联网大数据应用,混合技术架构兴起,Spark,、,Flink,等新一代分析引擎融入大数,据平台,6,数据处理技术的演进分布式技术提出谷歌提出分布式文件系统、分布,数据处理框架的演进,RDB,MPP,数据库,Hadoop,7,数据处理框架的演进RDBMPP数据库Hadoop7,数据处理框架,-RDB(Relational Database),?,特点,单服务器、小型机,?,集中式数据和业务处理,?,ACID(Atomicity,、,Consistency,、,Isola
5、tion,、,Durability),?,Scale-Up,?,OLTP(On-Line,Transaction,Processing),,响应时间敏感,?,成本低,?,?,缺点,大数据处理性能较差,?,容灾性较差,?,稳定性有局限,?,业务和数据处理规模有限,?,扩展性和灵活性较差,?,8,数据处理框架-RDB(Relational Database,数据处理框架,-MPP,?,特点,Massively Parallel,Processing,?,多服务器、多节点,多任务并行执行,?,数据分布式存储和计算,?,ACID,?,Scale-out,?,OLAP(Online Analytical
6、,Processing),?,商业化,?,?,缺点,扩展规模有限,?,对并发的支持有限,?,节点增删维护工作较复杂,?,不支持非结构化数据,?,成本较高,?,9,数据处理框架-MPP?特点Massively Paralle,Hadoop,生态系统,Hadoop,,允许使用简单的编程模型,以跨集群分布式的方式,处理大型数据集。具有可靠、高效、可伸缩的特点。,它的目的,是从单一的服务器到上千台机器进行扩展,从而利用各自的本地计算和存储资源。是一个能够让用户轻松构建和使用的分,布式计算平台。用户可以轻松地在,Hadoop,上开发和运行处理海量数据的应用程序。,Hadoop,在应用层面检测与处理各类错
7、误,因此能够在,一个集群内实现高可用性。,并且,Hadoop,已经成为大数据行业的标准,形成了一个健康活跃的生态系统。可靠性、高扩展性、高效性、高容错性、低成本。,10,Hadoop生态系统Hadoop,允许使用简单的编程模型,以,数据处理框架,-Hadoop,?,特点,?,多服务器、多节点的集群架构,?,大数据多任务的分布式处理,?,HDFS(Hadoop,Distributed,File,System),分布式文件系统、流式访问,?,MapReduce,曹冲称象,分而治之,?,可靠、高效、高扩展(,Scale-out,)、高容错、低成本,?,可处理多种格式数据源,非结构化、半结构化数据,?
8、,开源,?,缺点,?,对,SQL,的支持有限,?,无法高效存储大量小文件,?,不支持多用户写入及任意修改文件,?,缺乏专业的支持服务,11,数据处理框架-Hadoop?特点?多服务器、多节点的集群架构,数据处理框架的对比,数据库框架,分析性能,扩展性,容灾性,数据类型,业务场景,支持全,SQL,能,异构数据整合,成本,RDB,一般,较差,较差,结构化,OLTP,不支持,中等,MPP,好,局限,局限,结构化,OLAP,能,不支持,较高,Hadoop,好,好,较好,(非)结构化,OLAP,部分,支持,低,没有最好的技术,只有最合适的技术。,?,针对业务需求“有的放矢”。,?,12,数据处理框架的对
9、比数据库框架分析性能扩展性容灾性数据类型业务,一,数据处理技术的演进,二,主流分析型数据库技术介绍、对比及选型,三,电信运营商大数据平台,13,目录,一数据处理技术的演进二主流分析型数据库技术介绍、对比及选型三,移动互联网用户流量激增,手机数据化、宽带化趋势明显,用户分布,流量分布,时间分布,移动互联网:通信功能,= 80,:,20,数据来源:,Infoma 2013,数据来源:,Cisco 2013,数据来源:,GSMA 2013,全球移动互联网用户数量激增,,已,3,倍于固定互联网用户数量,移动互联网流量激增,,2012,年底,,移动互联网应用使用时间激增,是,移动数据流量占比超过,13%
10、,使用通信服务时间的,4,倍,中国移动互联网发展有相类似的趋势,截至,2013,年,6,月,中国手机网民已达,4.6,亿,上半年移动互联网接入流量同比增长,62.6%,(,CNNIC,、工信部),移动互联网用户流量激增,手机数据化、宽带化趋势明显用户分布流,4G,、,M2M,将大大加快移动网络数据业务和流量增长,4G,驱动流量增长,M2M,终端数量大幅度增长,2014,年,,M2M,设备数量接近智能终端,4G,、,M2M,将大大加快移动网络,数据业务和流量增长,ABI Research 2013.09,数据来源:,Ericsson 2013.11,数据来源:,ABI Research 2012
11、,2013,年,4G,网络将占到全球流量的,20%,,,2016,年将超过,3G,网络流量,,2018,年将占据超过,2/3,的移动网,络流量。,2013-2018,年,,4G,流量,的年复合增长率达到,82.2%,。,2018,年数据业务收入占运营商的,份额的,47.3%,2012,年,9,月,Verizon LTE,网络建成不到,2,年,用户达到,11M,,占,Verizon,用户总数约,12%,,流量消耗占全网流,量的,35%,以上。,2013,年,1,月,,4G,流量占比,50%,,,2013,年,11,月,,4G,流量超过,64%,,视频是主要业务,2017,年,全球,4G,终端产生
12、的数据流量是非,4G,终端的,8,倍,每月数据流量超过,10EB 1EB=1000PB,(,CISCO VNI 2013,),4G、M2M将大大加快移动网络数据业务和流量增长4G驱动流量,面对巨大流量,移动运营商面临强大的挑战,移动互联网,服务商,专业,SNS,超过,7.1,亿用户,超过,100,万基站,电,商,点,新,音,评,闻,SNS,乐,地,问,图,答,电信运营商,博,客,视,优惠券,图,频,片,微博,签,论,到,坛,消息,经分系统数据规模接近,10PB,每分钟超过,800,万通话,每秒上网流量超过,40GB,每天信令数,据超过,1PB,2G,、,3G,、,4G,、,WIFI ,管道数据
13、类型多样、数据巨大、处理速度要求高,同时也存在质量问题,是电信运营,商大数据的主要来源,面对巨大流量,移动运营商面临强大的挑战移动互联网服务商专业S,需要融合巨大的管道数据和业务数据,虽然结构化的业务数据虽然价值含量很高,但是管道数据却提供了用户的数据消,费、社交网络、行为轨迹、内容偏好等业务数据中无法提供的重要信息,这对用,户刻画、套餐设计、用户体验提升等个人和企业产品设计所需依据均有巨大帮助,A+Abis,信令,Mc,信令,Gn+Gb,信令,Gn-IuPS,信令,Wifi,、,Radius,信令,4G X2,等信令,DNS,数据,语音等业务数据,网络优化,日志,+,结构化数据,决策支持,精
14、准营销,业务创新,需要建立采集、存储、分析、交互等全方位能力,其中既包括传统已经具备的能力,,也包括需要新建的大数据能力,需要融合巨大的管道数据和业务数据虽然结构化的业务数据虽然价值,互联网公司通常采用混合架构解决大数据问题,互联网公司目前主要采用,Hadoop,、,Streaming,、,RDBMS,、,NoSQL,等技,术应对大数据,4V,挑战,例如,Yahoo,针对日志数据进行两种处理,并与业务,系统结合(后期尝试,Spark,技术),示例:,Yahoo,数据处,理流程,By Tim Tully (Distinguished Engineer/Architect, Yahoo),http
15、:/spark-summit.org/wp-content/uploads/2013/10/Tully-SparkSummit4.pdf,互联网公司通常采用混合架构解决大数据问题互联网公司目前主要采,大数据技术在互联网公司得到成功应用,Google,在全球多个数据中心,大规模混合部署和调度数据处理能力,,,系统利用率高达,80%+,,,2011,年,MapReduce,系统每天处理,1000PB,左右输入数据,支撑其核心业,务,包括搜索、广告、地图、邮件、社区等业务。针对不同的数据处理需求提供多,种数据处理系统。随着技术能力提高,将大数据处理能力服务化。,Facebook,以,Hadoop,为
16、基础建设了包括流计算、实时计算、离线分析在内的各种大,数据系统系统。,2012,年每天要处理,25,亿条消息、用户点击,Like,按钮的次数达到,27,亿次、上传,3,亿张照片。,Graph Search,可以检索,10,亿用户、,2400,亿图片和,1,万亿次,访问。目前已经支持多区域数据同步。,Facebook Puma,每天处理超过,200,亿事件,,延迟小于,30,秒,Twitter,利用,Hadoop,和,Pig,工具完成数据的批量分析,并进行决策支持和数据挖掘,,利用,Storm,每天实时推送,1,亿活跃用户的,5,亿消息,Amazon,为被托管应用提供了,多租户、按使用付费,的,
17、大数据服务,,整合了非结构化,(,S3,)、结构化(,RDS,、,SimpleDB,、,DynamoDB,)数据,通过并行计算,EMR,能,力,将数据放入,RedShift,用于最终的数据展现等目的。,大数据技术在互联网公司得到成功应用Google在全球多个数据,分析型数据库,分析型数据库,是面向分析应用的数据库,可以对数据进行统计分析和即席查询等挖掘数据,价值的工作。传统数据库是以事务处理为主,大数据时代的主要应用则是,数据分析,。,数据库三大阵营:,OldSQL,、,NoSQL,、,NewSQL,分析,NewSQL,分析,事务,互联网,OldSQL,事务,NoSQL,互联网,OldSQL,
18、一种架构支持多类应用,OldSQL+NoSQL+NewSQL,多种架构支持多类应用,14,分析型数据库分析型数据库是面向分析应用的数据库,可以对数据进,大数据下的分析型数据库,OldSQL,NewSQL,NoSQL,?,行存储,?,列式存储,?,列式存储,?,关系型,?,关系型,?,Key-Value,?,ACID,?,ACID,?,灵活性,?,SMP,?,MPP,?,MPP,?,分布式计算,分布式文件系统,?,内存计算(,In,Memory,Computing,),?,新的硬件:,Flash,Card,,,SSD,,高速网络、,Infiniband,15,大数据下的分析型数据库OldSQLN
19、ewSQLNoSQL?行,OldSQL,?,?,?,OldSQL,是指传统的关系型数据库,借助于数学概念和方法来处理数据。,数据规范化:关系型数据库的数据存储是为了更高的规范性,把数据分隔成最小的逻辑表,(,关系表,),以,避免重复,获得最精简的空间利用。,事务性:,SQL,数据库支持对事务原子性细粒度控制,并且易于回滚事务。,16,OldSQL?OldSQL是指传统的关系型数据库,借助于,NewSQL,?,?,NewSQL,是对各种新的可扩展、高性能的关系型数据库的统称。,既能够提供,OldSQL,的质量保证,也能提供较强的可扩展性。,17,NewSQL?NewSQL是对各种新的可扩展、高性
20、能的关系,NoSQL,?,。,?,大数据类型的多元化急速增长,,OldSQL,不满足分布式技术架构的适用性,Not,Only,SQL,,泛指非关系型的分布式数据库。,18,NoSQL?。?大数据类型的多元化急速增长,OldSQL不满,OldSQL&NoSQL&NewSQL,总结,海量数据实时分析,Vertica,/,Impala,19,OldSQL&NoSQL&NewSQL总结海量数据实时分析V,目前主流分析型数据库对比,类型,存储方式,运算方式,系统架构,支持,SQL,OldSQL,行,/,列式存,储,磁盘,RDBMS,支持,较差,较差,传统数据,分析,Scale-up,商业,OldSQL,
21、行式存储,磁盘,RDBMS,支持,较差,较差,WEB,应用,Scale-up,开源,OldSQL,行式存储,内存,RDBMS,支持,一般,较差,低成本内,存运算,Scale-up,商业,NoSQL,分布式文,档存储,内存,/,磁盘,C/S,分布,式集群,不支持,较好,较好,对象存储,及处理,Scale-out,开源,NoSQL,分布式,K-,V,存储,内存,/,磁盘,C/S,分布,式集群,不支持,较好,较好,数据键值,关系突出,Scale-out,开源,NoSQL,分布式列,式存储,内存,/,磁盘,Hadoop,需插件,好,好,海量存储,与扩展,Scale-out,开源,NoSQL,分布式,H
22、DFS,内存,Hadoop,类,SQL,很好,好,实时分析,Scale-out,开源,NoSQL,分布式,HDFS,磁盘,Hadoop,类,SQL,好,好,批处理分,析,Scale-out,开源,NewSQL,行式存储,磁盘,C/S,分布,式集群,支持,好,较好,二次订制,开发,Scale-up,开源,NewSQL,分布式存,储,磁盘,MPP,支持,好,好,数据仓库,Scale-out,开源,NewSQL,分布式列,式存储,内存,/,磁盘,MPP,支持,很好,好,即席查询,Scale-out,商业,20,大数据处,理能力,容灾性,应用场景,扩展性,开放性,目前主流分析型数据库对比类型存储方式运
23、算方式系统架构支持SQ,分析型数据库选型思路,成本,可扩展性,数据查询能力,稳定性,&,容灾能力,架构选择,数据分析运算能力,数据存储方式,决定性因素,关键因素,一般因素,分析需求,数据格式,21,分析型数据库选型思路成本可扩展性数据查询能力稳定性&容灾能力,一,数据处理技术的演进,二,主流分析型数据库技术介绍、对比及选型,三,电信运营商大数据平台,22,目录,一数据处理技术的演进二主流分析型数据库技术介绍、对比及选型三,一,大数据平台总体架构,二,运行分析视图,三,规划支撑视图,四,决策支撑视图,23,目录,一大数据平台总体架构二运行分析视图三规划支撑视图四决策支撑视,电信运营商大数据平台,
24、-,背景,网络建设初期阶段,?,阶段一:先期基于路测数,据、投诉数据进行简单分,析;后引入,MR,数据进行深,度覆盖分析;,?,阶段二:网络规划建设简,单、粗糙,直接在空白区,域建设。,网络精细化建设阶段,?,基于现网,23,类运行数据,,建立了基于移动网络,“,O,域,+B,域”数据的分析方法,体系;,?,在长春、成都、重庆、广,州、兰州、上海,6,重要城市,进行推广和验证。,?,探索,六城市,精细化建设,支撑,,并固化方法模型。,大数据平台化阶段,?,基于“以我为主、自主研,发”原则,搭建大数据分,析平台,进行迭代式开发,,实现方法固化。,?,逐步实现全网数据的统一,采集、解析与存储管理;
25、,?,开发,大数据平台,,实现规模化、,精准化建设支撑。,?,缺乏,针对,用户、业务和终端,进,行深入关联分析;,通过运行数据挖掘分析,,实现网络优化精准分析,、提升网络建维优的精准性和有效性,24,电信运营商大数据平台-背景网络建设初期阶段?阶段一:先期基于,电信运营商大数据平台,-,建设总体思路,分,析,关联要素,B,侧价值发现,人在哪,用户群体的行,为轨迹分析,3G,4G,干什么,用户群体特,征分析,分析定,位问题,支撑引,导规划,怎么样,不同业务体验,分析,维度接口,时间,O,侧网络定位,小区,覆盖能力评估,终端,网络性能、质量,网络性能反馈,网络问题,业务,用户投诉,区域,三大落地,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 电信 运营商 数据 解决方案
链接地址:https://www.31ppt.com/p-1340280.html