大数据概览ppt课件.ppt

云计算和大数据概览,2017年11月14日,我们来到大数据时代,数据极简主义,大数据：一切数据皆有用,数据观、技术、成本的变化（硬件、软件和除理技术、来源）,全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年每天亚马逊上将产生 6.3 百万笔订单每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EBGoogle 上每天需要处理24PB 的数据,人们从信息的被动接受者变成了主动创造者,我们来到大数据时代,大数据时代的爆炸增长,想驾驭这庞大的数据，我们必须了解大数据的特征。,地球上至今总共的数据量：在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011 年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！,1PB （拍字节） = 250字节1EB （艾字节） = 260字节1ZB （泽字节） = 270字节,20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data,2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念,什么是大数据：Big Data名词由来,什么是大数据（NO-SQL, Not Only SQL)不同“看”数据的方式,7,可视：结构化资料 15%,未视：半/非结构化数据 85%,DB/DW,主管们看的战情数位仪表板，其实是残缺的,什么是大数据：不同的数据管理对象,当我们想要扩充时，才发觉：架构只能 scale-up， scale-out 不易处理时间过长， time-to-value 受限成本过高， cost-efficiency 受限,15% 结构化的 DB/DW,遗憾,残缺,大数据=海量数据+复杂类型数据,增长如此之块，以至于难以使用现有的数据库管理工具来驾驭，困难在于数据的获取、存贮、搜索、共享、分析和可视化等方面,大数据的定义,数据量,复杂性：种类和速度,销量,库存,薪酬表,客户信息,合约,ERP/CRM,WEB2.0,广告,博客,搜索营销,文本/图像,网络日志,大数据,社会情绪,音频/视频,传感器,RFID,维基/博客,微博,金融信息,个人数据,位置信息,政府信息,气象数据,保险信息,EBPBTBGB,维基的大数据定义,任何超过一台计算机处理能力的庞大数据量,亚马逊的大数据定义,大数据是由局部数据汇聚而成能反映出整体的数据，整体的数据又随时空在不断膨胀。,Informatica的大数据定义,大数据=交易数据+互动数据+观测数据,中国电信的大数据定义,中心的大数据定义,如果自然界中的事件完全不可预测地随机发生，人们的生活将无法忍受；与此相反，如果每一件事情都是确定的、完全可以预测的，则生活将是无趣的。利用因果关系解释观测的现象或预测未来存在逻辑和实际上的困难。,大数据的理性认知,美C.R 劳,与传统比较，大数据的分析处理的核心是预测和推断，根本的变革在于不刻意追求因果关系，而更多关注相关关系。也就是说，只要知道和什么有关，而不必强求为什么有关。,英舍恩伯格,大数据时代来临，使人类第一次有机会和条件在非常多和非常深入的层次获得和使用全面数据、完整数据和系统数据，简而言之就是样本=总体。,英舍恩伯格,大数据为政府统计提供了总体性、非结构化、丰富真实的原始资料，可以极大地缩短数据采集时间，减少报表填报任务，减轻调查对象负担，提高统计数据质量。,国家统计局 马建堂,大数据，也叫全局数据、总体数据，数据量越大其预测和推断的准确性越高,大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合,大数据：4V特性,数据量巨大全球在2010 年正式进入ZB 时代，IDC预计到2020 年，全球将总共拥有35ZB 的数据量,大数据要上升为国家战略,大数据不仅仅是数据“大”,多大？PB 级,比大更重要的是数据的复杂性、全面性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值,软件是大数据的引擎,大数据与传统数据库的区别,云计算与大数据,大数据应用运行在云平台之上,如果数据是财富，那么大数据就是宝藏；云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的存储和积淀，云计算也只能是杀鸡用的宰牛刀！,大数据市场分析,国际企业角力大数据,EMC,EMC的大数据解决方案专注于使组织更有效地使用他们从不同来源产生的数据，包括网络上，网页上，消费者，监控系统和传感器。EMC的数据计算产品事业部正在开发分析工具以解决大数据现象。EMC的大数据解决方案包括40多个产品。,2010年7月收购数据库软件供应商Greenplum，花费3亿美元2009年七月收购数据复制解决方案提供商Data Domain，花费24亿美元不一定和大数据完全相关，EMC从2009年起收购了Archer Technologies, SourceLabs, FastScale Technology, Configuresoft, and Varonis Systems。,IBM,IBM的策略是提供一个全面的方法来解决前所未有的信息爆炸提出的挑战，因为信息量无论在流量、种类、速度还是活力上都是爆炸式增长IBM一直致力于扩大对包括数据仓库中的大数据、信息流和结构化数据的分析,在过去四年中，IBM已经投入超过120亿美元进行了23项相关并购，其中包括：2010年9月收购数据库分析供应商Netezza公司，花费17亿美元2010年10月收购网络分析软件供应商Coremetrics2009年10月收购数据分析和统计软件提供商SPSS, 花费12亿美元2009年1月收购业务规则管理软件供应商ILOG, 花费3亿4千万美元2007年花费20亿美元收购商务智能软件供应商Cognos,微软,微软提供了高性能计算能力，并在2005年靠Windows Compute Cluster服务器进入相关市场最近，微软的HPC部门开发了该公司的Dryad并行处理技术社区技术预览(CTP),第一步是向Windows HPC Server的用户提供处理大数据工具,甲骨文,甲骨文大数据提供的数据库和数据库软件主要用于配合Sun的硬件，特别是它的最高端服务,2009年7月收购专注于数据复制和实时数据集成解决方案的私人企业GoldenGate Software,大数据的产业价值链,数据,数据的掌控者，拥有或者可以收集大量数据的公司。海量的数据就是财富，可以考虑自己分析或者卖数据给其他公司。,技术,技术供应商或者分析公司。掌握了从海量数据中分析出有用信息的技能或者工具，但本身不一定拥有数据。,思维,有创新思维的人或者公司。他们对大数据敏感，有怎样挖掘数据的新价值的独特想法。,分析技术：数据处理：自然语言处理技术统计和分析：A/B test; top N排行榜；地域占比；文本情感分析数据挖掘：关联规则分析；分类；聚类模型预测：预测模型；机器学习；建模仿真大数据技术：数据采集：ETL工具数据存取：关系数据库；NoSQL；SQL等基础架构支持：云存储；分布式文件系统等计算结果展现：云计算；标签云；关系图等,大数据技术体系：取、存、管、用,存储结构化数据：海量数据的查询、统计、更新等操作效率低非结构化数据图片、视频、word、pdf、ppt等文件存储不利于检索、查询和存储半结构化数据转换为结构化存储按照非结构化存储,解决方案：Hadoop（MapReduce技术）流计算（twitter的storm和yahoo！的S4）,大数据核心技术需求,高并发读写,大数据核心技术需求,高效率存储 和访问,高可扩展性和高可用性,低成本建设运维,保证一致性的开销过大，难以实现高并发 存储性能受限于控制器，性能难以保证,关系型表单存储难以适应不同数据类型 上亿行数据的超级达标效率极低,传统基于盘阵的存储设备，造价昂贵，且市场垄断严重，建设成本居高不下，扩容成本尤其高 许可和维护花费高昂,无法简单的通过添加服务节点来扩展数据容量和负载能力，难以进行横向扩展 数据库升级需要停机维护和数据迁移，导致服务中断,不保证遵循ACID原则，提高并发读写性能,Schema-Free存储适应不同数据类型舍弃SQL标准功能，尽量简化数据操作，提升效率MapReduce实现高效访问,基于X86设备，价格低廉开源系统，节省许可费用,支持水平扩展，可简单的通过添加服务节点来扩展数据容量和负载能力数据库升级不影响服务持续,大数据的分析模型,研究对象由组织、用户、大数据和工具构成的运行系统研究内容大数据的构成 大数据的行为 大数据的行为和数据的组织研究方法知识工程解构大数据系统研发工程支撑大数据系统价值工程牵引大数据系统研究目标大数据生产平台大数据开发平台大数据采集平台大数据应用平台研究重点数据分而治之资源组织调度逻辑复制迁移,为什么,是什么,怎么做,大数据变革既有数据观：以变革始,大数据是组织的一种资产,数据资源已经是上升为国家的战略资源。人类已进入“后信息经济时代”，即智慧经济。 智慧经济是一种创新形态的萌生经济，能实现经济与环境、能源、社会最大限度的可持续发展。 大数据是智慧经济的基础。,从哪里来、当前在哪里、要到哪里去,大数据是一种资产,三个小故事：智者善用数据和工具,孟德尔碗豆杂交实验，基于数十年实验数据，经过采集、分析、归纳、推导、预测找到其规律。,（一）使用数据,曹冲称象，大而划之、分而治之。秤是分析，算盘是汇总。,（二）处理数据,平民传奇，分布式文件系统、分布式数据库系统，解决对象的切分与存贮；MR编程模式解决分析与归纳。,（三）构建系统,大数据处理行为技术特征,数据无限分而治之,功能有限复制分发,大数据系统的定义,是一个以人为主导，利用计算机硬件、软件、网络通信设备以及其他办公设备，进行信息的收集、传输、加工、储存、更新、拓展和维护的系统,是一个将各类信息系统产生的数据作为存贮、分析和利用的信息系统，通过借助计算机硬件、软件、网络通信设备以及其他设备，实现对数据的收集、存贮、处理、传递、备份的系统。,管理信息系统,大数据系统,大数据系统的设计目标,大数据系统的逻辑架构,数据域节点子系统任务节点子系统,名称节点子系统,作业节点子系统,数据库主节点子系统,统一协同节点子系统,备份节点子系统,数据调用子系统 数据呈现子系统 数据采集子系统, ERP系统 电子商务网站 ,大数据库系统界面,产品研发成果：,云数据库虚拟化平台截图：,与现有系统的关系,现有系统,大数据系统,数据输入,分布节点1,分布节点2,分布节点3,输出,现有系统,调用,大数据系统,分布节点1,分布节点2,分布节点3,输出,HADOOP,MaHout,主流大数据库,使用现状,大数据系统体系建设规划,搭平台,采数据,建模型,编代码,图呈现,第一阶段一次建逐步扩可查询简应用巧妇有米可炊,第二阶段重复迭代持续可分析深入用巧妇百变花样,搭平台-系统布署规划,采数据-数据采集模型,建模型-建立四大模型,建模型-建模所需基础知识,概率论随机变量数字特征参数估计假设检验,建模型-十大精典算法,建模型-算法的典型应用,关联规则,建模型-算法的典型应用,决策树,编代码-开发环境的安装,图呈现： 图形设计技术,数据描述视觉编码：大小、颜色、纹理、形状；线段、图表、树；听觉编码：声音、语言数据表示 在时空局限下采用滚动、变形、抑制、缩放、快速序列来展现数据。交互 连续、渐进、被动、混合多种交互方式，,大数据展现技术总结： 数据呈现技术是大数据能否让智慧经济走进寻常百姓家的最后一公里，利用信息可视可听使大数据的有价信息以可感性认知的方式呈现出来至关重要。,图呈现： 一图胜千言,图呈现- 图形开发工具,DataWrangler斯坦福大学可视化组（SUVG）设计的基于web的服务的图形化工具计算量大Google Refine用户在电脑上运行这个应用程序后就可以通过浏览器访问之Google Fusion TablesarietyGoogle Fusion Tables的处理大数据量的强大能力，以及能够自由添加不同的空间视图的功能JavaScript InfoVis ToolkitQuantum GIS OpenHeatMapTimeFlow,舆情系统：大数据应用, 全文检索软件 文本挖掘软件 舆情分析软件 突发事件专题追踪与分析软件 舆情简报自动生成软件,六大主要技术组件,47,舆情监控社会传感网络,舆情系统：数据采集模式,一级社会传感网络：活跃的敏感网站，实时监控二级社会传感网络：包含有害信息站点，定时扫描三级社会传感网络：一般性网站，关键词定期巡查,48,舆情系统：突发事件分析,数据实时处理与汇总,在线分析与计算-事件趋势分析,舆情分析,社会网络分析-蒙牛事件涉及组织,社会网络分析-蒙牛事件人物关系网络演化,传播影响分析-蒙牛事件,舆情系统：结果展示,时空大数据聚合应用案例,广西科技投入分析（聚类分析）- 项目投入、民族投入、企业投入- 数据地图、柱状图、趋势图- 多维度统计、多方式展示,大数据支撑行为分析案例,教育云平台分析（行为分析）- 学校分布图- 登录用户统计- 活跃用户统计- 操作统计,实时大数据案例,清华公共安全研究院实时交通应用- 交通路况查询- 车辆行驶模拟,大数据异构政府信息系统集成应用案例,企业征信平台应用- 企业源数据- 企业数据集成视图- 企业数据量化,跨系统数据异常比对,港区公众服务应用截图，数据联合检查,大数据库产品应用,大数据精典案例,2009年，甲型H1N1流感在全球爆发传播，为了发现和控制疫情，各国政府和卫生相关部门付出了巨大努力，但得到的数据仍然滞后一两周，而Google对人们的搜索的历史记录进行处理，建立合理的数学模型后，得到的预测结果与官方的数据相关性高达97%，能够立刻判断出流感是从哪里传播出来的，没有一两周的滞后。Google处理了5000万条历史记录、4.5亿个不同的数学模型。,大数据精典案例,大数据精典案例,Cloudera正在与西奈山医学院合作开发新的生物数据分析方法和系统。Cloudera还与FDA合作侦测多种药物组合的副作用，与埃默里大学合作帮助病历学家更准确地分析医疗影像。Cloudera的客户之一Explorys的业务主要是聚合并分析医疗记录，而英特尔和NextBio则合作使用Hadoop处理基因数据。 Apixio利用Hadoop平台开发了语义分析服务，可以对病人的健康提供医生、护士、及其他相关人士的回答。Apixio试图通过对医疗记录进行先进的技术分析，与一个简单的基于云计算的搜索引擎来帮助医生迅速了解病人相关病史，挽救生命。,大数据精典案例,大数据精典案例,马云成功预测2008 年经济危机“2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货，出去以后再获得数据；我们提前半年时间从询盘上推断出世界贸易发生变化了。”通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。,人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。大数据时代,大数据应用行业分析,应用可能性,电信,政府（公共事业）,交通,金融,医疗,教育,能源（电力/石油）,纵轴契合度：表示该用户的IT应用特点与大数据特性的契合程度；横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性；注：该位置为分析师访谈的综合印象，为定性分析，图中位置不代表具体数值,High,Mid,Low,Low,Mid,High,优先关注行业用户,应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可能性。,值得关注行业用户应有特点与大数据的契合度及应用可能性综合较高,适当关注行业用户两个维度暂时都不具备优势，可适当给予关注,互联网（电子商务）,契合度,流通,零售,制造,大数据挑战安全道德底限,诸多领域的问题亟待解决，最重要的是每个人的信息都被互联网所记录和保留了下来，并且进行加工和利用，为人所用，而这正是我们所担忧的信息安全隐患！,更多的隐私、安全性问题：我们的隐私被二次利用了多少密码和账号是因为“社交网络”流出去的？3Q大战：没有最黑，只有更黑2011年4月索尼的系统漏洞导致7700万用户资料失窃2011年4月，iOS被发现会按照时间顺序记录用户的位置坐标信息2011年CSDN密码泄露事件移动大数据：隐私的黑眼下中国互联网热门的话题之一就是互联网实名制问题，我愿意相信这是个好事。毕竟我们如果明着亮出自己的身份，互联网才能对我们的隐私给予更好保护。,大数据与国家安全,云计算和大数据发展趋势,云计算技术发展趋势,云将推动认知计算的崛起区块链BlockChain让数字时代变得真实可信无服务器云计算清除应用开发的复杂性并降低成本云将为安全赋能向云端迁移的进程加速,大数据技术发展趋势,Hadoop开放源码占据主导内存技术机器学习预测分析智能App物联网大数据解决方案边缘计算自助大数据分析工具,01,02,03,04,路漫漫其修远兮吾将上下而求索the road ahead will be long and our climb will be steep,谢谢观看,