袋鼠云申杭大数据平台的演进之路课件.pptx

《袋鼠云申杭大数据平台的演进之路课件.pptx》由会员分享，可在线阅读，更多相关《袋鼠云申杭大数据平台的演进之路课件.pptx（20页珍藏版）》请在三一办公上搜索。

1、大数据平台的演进之路,大数据平台的发展历程,数据中台介绍,数栈产品介绍,数据中台案例,大数据平台的发展历程,面临的问题,传统数据仓库计算引擎,Client,SMP代表：小型机,DB,磁盘,Client,磁盘,DB,DB,DB,DB,共享磁盘代表：Oracle RAC,Client,DB,DB,DB,DB,MPP代表：Greenplum,Teradata,磁盘,磁盘,磁盘,磁盘,在数据量爆发性增长的情况下，计算能力面临瓶颈主要面向离线计算处理，缺少对实时计算/机器学习/即系查询等场景的支持数据管理/数据治理能力弱,3,大数据平台的发展历程,新时代的计算平台架构,监控与警报,业务,数据,服务,硬件

2、,数据应用,流量统计,用户行为分析,用户画像,推荐,广告,数据应用平台,元信息管理,作业管理,交互分析,多维分析,可视化,数据基础平台,计算层,调度层,存储层,接入层,MR,HIVE,Storm,Spark,Kylin,Caffe/Tensorflow.,Yarn,Kubernetes,HDFS,Hbase,Kafka,Canal/Sqoop,Fleme,平台管理,流程,权限,配额,升级,版本,机器,大数据平台的发展历程,数据计算的频率,数据实时性越来越高容错性高处理量越来越多,特点:,大数据平台的发展历程,辅助决策-数据业务化成本中心-利润中心价值模糊-可量化,大数据价值,大数据平台的发展历

3、程,数据抽取工具选型,数据计算平台选型,服务器,数据应用厂商,大数据平台建设步骤,存储,数据服务厂商,InformaticaDatastageKettle,OracleGreenPlum,IBMHP,EMC,BOTableauCognos,东软IBM GDC,缺点,产品分散，厂商多，周期长IOE体系,产品费用高运维管理成本高,数据中台介绍,数据模型,数据服务,数据计算和萃取,数据资产,数据采集,数据治理,数据中台定位做为企业全域数据的共享能力中心，旨在提供数据采集、数据模型、数据计算和萃取、数据治理、数据资产、数据服务等全链路的一站式产品+技术+方法论服务，构建面向业务应用的数据智能平台,数据

4、中台,决策管理层“大中台、小前台”战略创新的决心驱动组织和流程进化，构建全域打通的数据中台协调业务部门和技术部门，中台战略的落地重于设计,降低大数据的技术门槛在线化知识沉淀和传承“方法论+工具保障+合作厂商”降低对高端人才的依赖,分布式计算&存储&调度架构企业级数据仓库实时流计算覆盖大数据全生命周期的一站式可视化平台,数据中台介绍,战略决心,人才投入,工具保障,企业级数据仓库数据应用层ADS公共维度模型层CDM操作数据层ODS,数据开发套件,数据治理套件,分布式大数据计算引擎,数据应用引擎,实时流计算事件驱动毫秒级,BI报表,DI应用,智能计算机器学习深度学习,数据中台介绍,大数据平台理念对比

5、,计算平台多样性,离线计算/流计算/图计算/机器学习/分析引擎，支持更多的应用场景,开发方式变革,纯web化开发方式，一站式数据处理流程,方法论的产品化,数仓建设规范，标准，产品化,数据丰富性,丰富的采集手段，涵盖业务数据，日志数据，行为数据，IOT数据，估计数据，图片数据,数据治理,脏数据管理，元数据管理，数据质量，数据资产,数据应用,BI报表/大屏/营销引擎/DMP,1,2,3,4,6,5,10,数据中台介绍,数据中台价值,全面梳理数据资产构建全域数据中心,落地战略和组织保障培养业务创新的土壤,数据资产管理在线化形成数据人才成长的摇篮,通过业务的不断滋养打造业务和数据的闭环,11,数据中台

6、介绍,部署计算平台，开发套件，数据治理，数据应用引擎等产品,在平台的基础上构建数据仓库，数据治理，数据应用等服务持续迭代，推进,高层重视，自上而下推动组织变更，提升中台部门的战略地位数据中台人员配备(数据开发/算法开发/分析师/前后端研发/业务人员),数据中台实施路径,数栈产品介绍,数栈：企业级一站式数据中台PaaS,13,EasyManager安装部署运维监控,Spark批量计算引擎,Flink流计算引擎,Yarn分布式资源调度,HDFS分布式存储引擎,Kafka分布式消息队列,Tensorflow深度学习引擎,DTEngine任务执行引擎,DTGatewayAPI网关,DTinsight.

7、IDE开发套件1,DTinsight.Valid数据质量,DTinsight.API数据API,FlinkX数据同步引擎,Console多租户隔离多集群管理,数栈产品介绍,数栈产品架构,数栈产品介绍,数据开发,数据地图,运维中心,数据模型,数据输入,数据输出,开源生态兼容,可视化操作界面,全生命周期覆盖,兼容CDH、HDP、EMR等第三方开源分布式计算引擎,全链路覆盖数据价值释放过程，支持实时、离线和智能计算,屏蔽底层复杂的分布式计算引擎，基于Web的开发平台，提高开发效率,数据输入,任务开发与调度,任务状态监控,数据资产管理,数据模型规范,数据输出,实时/离线/智能分布式计算引擎,15,15

8、,数栈产品介绍,一站式大数据平台,数据采集,计算引擎,数据加工,数据应用,数据分析,机器学习,PC,APP,WI-FI,基站,工业传感器,手环手表,离线计算,实时计算,SQL,图计算,广告,MR,Shell,图形化,推荐,定向,可视化大屏,智能语音,决策树,聚类,神经网络,支持向量机,拖拽,Report,Dill down,打通数据生产全链条,案例1：国酒茅台数据中台,京东方，借助可视化手段实时监控展会热度，客观体现展会成效的同时，为领导形象汇报了人员定位数据的多重价值。,数据智能基础,基础设施,数据智能应用,数据库（关系型、分析型）,数据/算法 计算引擎与存储,中间件（负载均衡等）,全局监控

9、,电商大屏,销售大屏,云商大屏,业务异常监控分析,数据化运营,电商决策门户,云商经营门户,官商经营门户,B2C经营门户,营销决策门户,分销经营门户,服务评价分析,物流仓储分析,电商销量预测,组织效能分析,渠道销量预测,数据植入业务,反黄牛风控,商圈选址,商品推荐,广告营销,数据打通业务,业务回流数据,模型设计,数据架构和模型设计,数据架构设计,总线矩阵,规范定义,数据采集,数据埋点、解析入库,官方商城,茅台云商,数据连接与萃取,ID识别与连接,用户ID识别,用户标签,数据应用层,数据研发与运维,编码研发测试与运维,数据公共层,数据基础层,流量分析,ID识别与画像,经销商画像,产品画像,经销商参

10、谋,价格监测舆情,市场洞察舆情,品牌卫士舆情,渠道管家舆情,产品顾问舆情,17,案例1：国酒茅台数据中台,18,案例1：国酒茅台数据中台,案例2：中金易云数据中台,数据资产,资产分析,数据目录,数据权限,数据查找,数据研发,数仓规划,数据建模,规范定义,数据研发,调度运维,统一数据应用服务（数据同步-搜索引擎+多维分析）,萃取数据,作者,出版社,读者,发行集团,终端门店,书目,公共数据,采购,仓储,营销,交易,商品,客户,基础数据,豆瓣,亚马孙,ERP,数据额文件,采集/接入,爬取,数据计算与存储,离线计算,实时计算,云计算：大数据计算能力,行业专家：行业深度理解,合作伙伴：全面丰富的图书数据,丰富的多端体验,PC端,移动端,可视化大屏端,出版端门户(一期),发行端门户（二期),零售端门户（二期）,