数据智能管理峰会-滴滴数据资产管理实践课件.pptx
《数据智能管理峰会-滴滴数据资产管理实践课件.pptx》由会员分享,可在线阅读,更多相关《数据智能管理峰会-滴滴数据资产管理实践课件.pptx(33页珍藏版)》请在三一办公上搜索。
1、滴滴数据资产管理实践,目录/Contents,01,滴滴的数据资产概述,02,平台建设 之 数据开发平台,03,平台建设 之 数据应用平台,04,平台建设 之 资产管理平台,2019,滴滴的数据资产概述,2019,滴滴的数据资产,5.5亿+用户,1000+座全球城市,日新增106TB数据日均处理处理4875+TB数据,人司机乘客,路静态信息:全球、全国、城市等各粒度动态信息:行程轨迹,车静态信息:归属人/公司、车牌号、车型动态信息:里程数、维保 记录,700亿日ETA请求,150亿日定位数据,2019,滴滴的数据特色,01,02,03,实时数据占比高结构化数据为主,价值密度高,地理位置、轨迹相
2、关的数据占比高,2019,数据同 步,数据开 发,调度,监控告 警,数据质 量,项目管 理,权限管 理,数据开 发平台,离线引擎,实时引擎,机器学习引擎,数 据 内 容 建 设,数据服务化,资产管理平台,决策分析,业务分析,看板分析,数据应用产品平台 BI自助分析工具,统一数据门户,PC,APP-H5,业务应用/DS内部用户/DS大屏用户,数据公共层,数据接入,数据消费,技 术&业 务 元 数 据 打 通,指标管理平台,数据大屏,滴滴的数据平台业务架构元数据打通,更准确识别公司核心数据资产,辅助资产信息的完善,从而沉淀数据资产,2019,平台建设 之 数据开发平台,2019,数据梦工场,数易B
3、I实时监控,监控大屏,北极星,把脉,数据应用产品,数据地图,监控告警,数据质量,资产管理,离线计算引擎Hive、Spark,Omega标签系统智能地图,流计算引擎Flink,数据检索ES,消息队列Kafka、DDMQ,Hbase Phoenix,机器学习TensorFlow,一站式智能数据开发、生产平台数据中台(数据梦工场)数据开发调度同步中心数据安全机器学习,算法平台,高质量的元数据,内置 规范 产出语义明确的元数据,衍生更智能化的平台服务,极致简单只要会SQL,人人都是数据玩家!完整闭环一站式数据开发生产平台底层封装、模块中心化、平台应用模块智能联 动,提升开发效率安全保障权限控制责任到人
4、,权限到字段开发生产数据隔离多种措施保障数据安全行业领先基于开源引擎基线监控机制,标记最核心计算通路,确保核心数据及时产出经验积累国内领先的大数据体系建设及数据治理经验,2019,稳定高效异构数据源同步服务。集成实时、离线两种方式;快速扩展,插件式拓展多种同步类型;自主运维,同步相关指标清晰可见;为流计算提供实时数据源;,2019,产品功能,产品功能,针对数据开发、临时查询场景,为用户提供更加规范、顺滑的数据开发体验:智能编辑器,支持各种库表、函数、变量联想输入、动态语法检查等提供SQL格式化、错误提示,提供更顺滑的SQL开发体验支持各种SQL(Hive、Spark、Presto)、Shell
5、、PySpark 等 类 型 任 务 支 持,4)支持文件多版本、任务回滚;5)直通调度,字段检测依赖,方便测试和上 线任务。6)提供历史查询记录和大规模数据下载能力(经过安全审批),2019,产品功能,支持百万级的离线例行任务调度,保障业务稳定运行。,提供开发、生产两套环境,相互隔离支持MR/Hive/Spark/Shell等不太任 务类型的任务调度支持小时、天、周、月多种调度周期配置 4)数据回溯简单易用:支持重跑、支持 多维度运维,2019,产品功能,智能监控任务运行情况,异常时发出告警。体系化解决“是否报警、何时报警、如何报警、给谁报警”,杜绝无效报警;,抽象“数据基线”保证重要数据的
6、及时产出,并动态规划相关任务优先级。结合算法,预测可能的数据延迟,提前预警,将影响面降到最低。升级逻辑,避免漏处理。,数据量流量异常数据,数据接入,任务出错任务延迟基线延迟,数据加工,表规则监控字段规则监 控自定义监控,数据质量,存储告警计算告警,资源告警,2019,产品功能,全链路的数据质量管控,实现数据质量校验、通知、管理能力,完整配置 VS 快速配置强规则 VS 弱规则表规则 VS 字段规则预设规则 VS SQL规则,2019,41%,产品功能,个人资产我的资产,我的应用,数据管理,资产概览,资产明细,大盘,待办趋势,应用概览,表任务单应用管理,趋势&明细,成本管理,表管理,数据编目,全
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 智能 管理 峰会 滴滴 资产 实践 课件
链接地址:https://www.31ppt.com/p-3766868.html