大数据概论ppt课件.pptx
大数据概论,大数据与智能技术学院 任东海,1,第一讲：大数据概述,大数据的概念大数据的来源大数据的特征大数据的影响大数据与云计算、物联网,2,大数据时代背景-第三次信息化浪潮,信息化浪潮 发生时间 标志 解决的问题 代表企业第一次 1980年前后 个人计算机 信息处理 Intel、IBM、苹果、微软、联想第二次 1995年前后 互联网 信息传输 雅虎、谷歌、BAT等第三次 2010年前后 物联网、云计算 信息爆炸 涌现一批新的市场标杆企业 大数据,3,什么是大数据,大数据：“超过典型数据库工具的硬件与软件环境所能获取、存储、管理和分析的数据”，换句话说，“用现有的一般技术难以管理的大量数据”。 “用现有的一般技术难以管理”指的是目前企业数据库主流的关系数据库已无法管理结构复杂的数据；或是因为量的增加，导致查询数据的反应时间超过容许范围等等的庞大数据。,4,数据的产生方式变革,被动式 主动式 感知式运营式系统阶段 用户原创内容阶段 物联网中的自动数据生产方式数据伴随着一定 web2.0时代-用户 大量传感器、摄像头的运营活动而产 原创内容，智能手机生并记录在数据 等移动设备加速内容库中 产生,5,大数据从何而来,网络和社交媒体 网页 收索 博客 推特 图片 音频 视频 点击量,6,商业流程,机器与传感器条码技术 GPS 可携带 健康检测仪 飞机、火车 汽车各种 应用上的传感器 物联网 卫星 医疗图像,低 中 高 种类和速率,体量 高 中 低,大数据的四个特征,巨量性（volume）多样性（variety）快速实时性（velocity）价值密度低（value）,7,大数据特征数据量大,天文学和基因学是最早产生大数据变革的领域，2000年，斯隆数字巡天项目启动时，位于新墨西哥州的望远镜，在短短几周内收集到的数据已经比天文学历史上总共收集的数据还要多；在智利的大型视场全景巡天望远镜于2016年投入使用，其在5天内收集到的信息量相当于10年的信息档案。2003年，人类第一次破译人体基因密码时，用了10年才完成了30亿对碱基对的排序；而在10年之后，世界范围内的基因仪15分钟就可以完成同样的工作量。伴随着各种随时设备、物联网和云计算、云存储等技术的发展，人和物的所有轨迹可以被记录，数据因此被大量生产出来。,8,大数据特征数据类型多样,数据格式（文本、音频、图片、视频、模拟信号等等）多样；数据来源（组织内部运作、组织外部）多样。例如：北京交通智能化分析平台数据来自路网摄像头、公交、轨道交通、出租车、以及省际客运、旅游、停车、租车等运输行业，还有问卷调查和地理信息系统数据。4万辆浮动车每天产生2000万条记录，交通卡刷卡记录每天1900万条，手机定位数据每天1800万条，电子停车收费系统数据每天50万条等等，这些数据在体量和速度上都达到了大数据的规模。如此类型繁多的异构数据，对数据处理和分析技术提出了新的挑战，也带来了新的机遇。,9,大数据特征快速实时性,数据增长速度快、处理数度快、时效性要求高，与传统数据挖掘的最大区别。有的数据爆发式产生，欧洲核子研究中心的大型强子对撞机在工作状态下每秒产生PB级的数据；有的数据是涓涓细流式产生，但是由于用户众多，短时间产生的数据量依然非常庞大，例如日志、gps位置信息等。IBM有一则广告，讲的是“1秒，能做什么”。能检测出台湾的铁道故障并发布预警；能发现得克萨斯州的电力中断，避免电网瘫痪；能帮助一家全球性金融公司锁定行业欺诈，保障客户利益。大数据时代的很多应用，都需要基于快速生成的数据给出实时分析结果，用于指导生产和生活实践。秒级响应。,10,大数据特征价值密度低,大数据看起来很美，但是，价值密度却远远低于传统关系数据数据库中已经有的那些数据。在大数据时代，很多有价值的信息都是分散在海量数据中的。,11,大数据的影响,大数据对科学研究的影响 4种范式：实验、理论、计算、数据大数据对思维方式的影响 “全体而非抽样 ” “效率而非精确” “相关而非因果”,12,大数据的影响,大数据对社会发展的影响 大数据决策成为一种新的决策方式 大数据应用促进信息技术与各行业的深度融合 大数据开发推动新技术和新应用的不断涌现大数据对就业市场的影响大数据对人才培养的影响,13,大数据、云计算与互联网,云计算：一种基于互联网的超级计算模式，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。在远程的数据中心里，成千上万台电脑和服务器连成一片电脑云。 旨在整合和优化各种IT资源并通过网络提供给用户廉价的服务。物联网：物物相连的互联网，利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式连在一起，形成人与物、物与物相连，实现信息化和远程管理控制。,14,大数据、云计算与互联网,15,大数据,云计算,物联网,云计算为大数据提供技术基础，大数据为云计算提供用武之地,云计算为物联网提供海量数据存储能力、物联网为云计算提供广阔应用空间,物联网是大数据的重要来源，大数据技术为物流网数据分析提供支撑,大数据概论-第二讲,大数据处理流程 人人网好友推荐的奥秘行业应用中的大数据,16,大数据处理流程,17,数据采集,传感器、物联网、app等各种途径,人人网好友推荐的奥秘,18,读取网页数据,19,绘制简单的好友关系网络图-子群分割,20,基于好友关系的一种简单推荐,人人网好友推荐逻辑：根据共同好友的数量来进行推荐,21,行业应用中的大数据,智慧城市（包括公共安全、智慧交通、智慧环保等）医疗金融&征信电商&物流通信文娱投资价值判断,22,行业应用-智慧城市,23,行业应用-智慧城市,24,行业应用-智慧城市,25,行业应用-智慧城市,26,行业应用-智慧城市,27,行业应用-医疗,28,行业应用-医疗,29,行业应用-金融,30,行业应用-金融,31,行业应用-电商&物流,32,行业应用-电商&物流,33,菜鸟物流网络,34,阿里平台,Nike发货 郑州-北京,韵达快递员在附近,通知韵达公司让快递员取货,韵达公司收到货物，按规定的时间送到阿里的中转仓,圆通正有干线车辆要发车到北京,通知圆通把nike货物装上车送到北京阿里中转中心,显示顺丰正在要去nike买家小区的周围,通知顺丰公司前去送货,1,2,3,4,5,6,7,8,下单,查询,通知,查询,通知,通知,查询,通知,行业应用-电信,35,行业应用-文娱,36,第三讲：数据可视化,数据可视化的概念可视化的重要作用可视化的基本图表可视化的工具,37,数据可视化的概念,数据可视化是指将大型数据集 中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。利用数据可视化方法，枯燥乏味的数据转变为丰富生动的视觉图像，不仅有助于简化人们的分析过程，在很大程度上提高了分析数据的效率。数据可视化是数据分析流程中的一个重要环节。,38,可视化的重要作用-记录信息,39,40,41,图1.8 人类历史上第一幅城市交通图，呈现了罗马城的交通状况,可视化的重要作用-记录信息,42,可视化的重要作用-信息的推理分析,43,可视化的重要作用-信息的推理分析,44,可视化的重要作用-辅助理解数据,45,可视化的重要作用-辅助理解数据,46,数据可视化的基本图表,柱状图直方图饼图折线图散点图雷达图,47,柱状图,48,直方图,49,饼图,50,折线图,51,散点图,52,雷达图,53,可视化的工具,入门级工具 EXCEL信息图表工具 Google Chart API 、大数据魔镜、Tableau地图工具 Modest Maps、Leaflet高级分析工具 R,54,
