物联网第10章 物联网的数据处理课件.ppt
第10章 物联网的数据处理,10.1 数据中心10.2 大数据与物联网10.3 数据库系统10.4 数据挖掘10.5 搜索引擎,第10章 物联网的数据处理-续,10.6 海量数据存储10.7 云计算10.8 普适计算10.9 数据呈现,10.1 数据中心,10.1.1 数据中心的组成10.1.2 数据中心的分类与分级10.1.3 数据中心的建设,数据中心的定义,可以实现信息的集中处理、存储、传输、交换和管理等功能的基础设施计算机设备服务器网络设备通信设备存储设备,物联网概论-韩毅刚,4,数据中心外部,Google,物联网概论-韩毅刚,5,IDC,物联网概论-韩毅刚,6,数据中心内部,物联网概论-韩毅刚,7,数据中心内部,物联网概论-韩毅刚,8,10.1.1 数据中心的组成,物联网概论-韩毅刚,9,物理组成逻辑组成,数据中心物理组成,计算机设备服务器网络设备通信设备存储设备,物联网概论-韩毅刚,10,数据中心逻辑组成,支撑系统计算设备业务信息系统,物联网概论-韩毅刚,11,数据中心的逻辑组成示意图,物联网概论-韩毅刚,12,10.1.2 数据中心的分类与分级,分类EDCIDC分级国标GB50174-92,物联网概论-韩毅刚,13,数据中心分类,EDC企业数据中心IDC互联网数据中心,物联网概论-韩毅刚,14,分级,国标GB50174-92A（容错型）B（冗余型）C（基本型）国际TIA-942标准TierTierTierTier,物联网概论-韩毅刚,15,10.1.3 数据中心的建设,建筑装修设备安装,物联网概论-韩毅刚,16,数据中心部分机柜,物联网概论-韩毅刚,17,数据中心部分通信设备机柜,物联网概论-韩毅刚,18,走线架,物联网概论-韩毅刚,19,数据中心的电源组,物联网概论-韩毅刚,20,UPC供电系统,物联网概论-韩毅刚,21,发电机供电,物联网概论-韩毅刚,22,空调系统,物联网概论-韩毅刚,23,监控系统,单个机房,物联网概论-韩毅刚,24,消防系统,原理,物联网概论-韩毅刚,25,防雷接地系统,物联网概论-韩毅刚,26,10.2 大数据与物联网,10.2.1 大数据的概念10.2.2 物联网与大数据的关系10.2.3 物联网大数据的特点10.2.4 大数据的分析与处理,27,物联网概论-韩毅刚,10.2.1 大数据的概念,4个“V”Volume（大量）Variety（多样）Value（价值）Velocity（高速），,物联网概论-韩毅刚,28,10.2.2 物联网与大数据的关系,物联网催生了大数据大数据丰富了物联网应用,物联网概论-韩毅刚,29,10.2.3 物联网大数据的特点,1）数据量更大2）数据速率更高3）数据更加多样化4）物联网对数据真实性的要求更高,物联网概论-韩毅刚,30,10.2.4 大数据的分析与处理,1）批量数据处理系统2）流式数据处理系统3）交互式数据处理系统4）图数据处理系统,物联网概论-韩毅刚,31,10.3 数据库系统,10.3.1 数据库的类型10.3.2 数据库的操作10.3.3 数据库与物联网,32,物联网概论-韩毅刚,10.3.1 数据库的类型,物联网概论-韩毅刚,33,关系数据库层次数据库网状数据库,新型数据库,演绎数据库面向对象数据库分布式数据库分布式实时数据库工程数据库时态数据库模糊数据库,物联网概论-韩毅刚,34,10.3.2 数据库的操作,DBMSSQL,物联网概论-韩毅刚,35,DBMS,桌面数据库AccessFoxProdBase客户/服务器数据库SQL ServerOracleSybase,物联网概论-韩毅刚,36,SQL,查询更新添加删除,物联网概论-韩毅刚,37,10.3.3 数据库与物联网,非关系数据库系统物联网数据库特征,物联网概论-韩毅刚,38,非关系数据库系统,非SQL亚马逊的Dynamo脸谱的Cassandra阿帕奇的HBase,物联网概论-韩毅刚,39,物联网数据库特征,数据量大数据异构性强数据关联性复杂分布式存储数据实时性,物联网概论-韩毅刚,40,物联网数据库举例,分布式实时数据库主动数据库,物联网概论-韩毅刚,41,10.4 数据挖掘,10.4.1 数据挖掘的过程10.4.2 数据挖掘的方法10.4.3 物联网中的数据挖掘,42,物联网概论-韩毅刚,10.4.1 数据挖掘的过程,物联网概论-韩毅刚,43,1. 数据处理2. 数据挖掘3. 知识评估与表示,1. 数据处理,1）数据准备2）数据选取3）数据预处理4）数据变换,物联网概论-韩毅刚,44,2. 数据挖掘,1）选择算法2）数据挖掘。,物联网概论-韩毅刚,45,3. 知识评估与表示,模式选择知识评估结果可视化,物联网概论-韩毅刚,46,10.4.2 数据挖掘的方法,集合论方法信息论方法仿生学方法其他方法,物联网概论-韩毅刚,47,数据挖掘的具体方法,1）统计分析方法2）决策树3）神经网络4）遗传算法5）粗糙集6）联机分析处理技术,物联网概论-韩毅刚,48,10.4.3 物联网中的数据挖掘,1. 异构数据的处理2. 分布式数据挖掘,物联网概论-韩毅刚,49,1. 异构数据的处理,结构化数据半结构化数据非结构化数据,物联网概论-韩毅刚,50,2. 分布式数据挖掘,集中式局部式,物联网概论-韩毅刚,51,10.5 搜索引擎,10.5.1 搜索引擎的分类10.5.2 搜索引擎的组成和工作原理10.5.3 面向物联网的搜索引擎,52,物联网概论-韩毅刚,10.5.1 搜索引擎的分类,物联网概论-韩毅刚,53,全文搜索引擎目录索引类搜索引擎元搜索引擎,10.5.2 搜索引擎的组成和工作原理,工作过程组成工作原理,物联网概论-韩毅刚,54,搜索引擎工作过程,搜索信息整理信息，建立索引结果排序,物联网概论-韩毅刚,55,搜索引擎系统结构,物联网概论-韩毅刚,56,搜索引擎的组成,1. 搜索器2. 索引器3. 检索器4. 用户接口,物联网概论-韩毅刚,57,10.5.3 面向物联网的搜索引擎,数据特征搜索引擎特征,物联网概论-韩毅刚,58,搜索引擎特征,1）搜索内容的时空性强2）实体搜索3）查询输入方式多样4）安全和隐私问题5）多媒体搜索,物联网概论-韩毅刚,59,10.6 海量数据存储,10.6.1 磁盘阵列10.6.2 网络存储10.6.3 云存储,60,物联网概论-韩毅刚,10.6.1 磁盘阵列,物联网概论-韩毅刚,61,1RAID级别2. RAID技术特点3. RAID的实现,磁盘阵列,物联网概论-韩毅刚,62,4盘位磁盘阵列存储器,物联网概论-韩毅刚,63,机柜式磁盘阵列,物联网概论-韩毅刚,64,RAID级别,RAID分为 07个级别RAID 10RAID 0与RAID 1的组合RAID 50RAID 0与RAID 5的组合,物联网概论-韩毅刚,65,RAID优点,传输速率高容错,物联网概论-韩毅刚,66,RAID的具体实现,软件RAID硬件RAID,物联网概论-韩毅刚,67,10.6.2 网络存储,1.直接附加存储DAS2.网络附加存储NAS3.存储区域网SAN,物联网概论-韩毅刚,68,1.直接附加存储DAS,直附式存储Direct Attached Storage电缆直接相连,物联网概论-韩毅刚,69,2.网络附加存储NAS,网附式存储Network Attached Storage通过网络接口连接,物联网概论-韩毅刚,70,3.存储区域网SAN,SANStorage Area Network,物联网概论-韩毅刚,71,10.6.3 云存储,概念结构模型,物联网概论-韩毅刚,72,云存储的概念,一种服务模式云计算的延伸,物联网概论-韩毅刚,73,云存储的体系结构,访问层应用接口层基础管理层存储层,物联网概论-韩毅刚,74,10.7 云计算,10.7.1 云计算的概念10.7.2 云计算系统的组成和结构10.7.3 云计算系统实例10.7.4 云计算系统的开发,75,物联网概论-韩毅刚,10.7.1 云计算的概念,物联网概论-韩毅刚,76,定义分类延伸,云计算的定义,一种基于互联网的新的IT服务增加、使用和交付模式,物联网概论-韩毅刚,77,云计算的服务模式,基础设施即服务IaaSInfrastructure as a Service平台即服务PaaSPlatform as a Service软件即服务SaaSSoftware as a Service,物联网概论-韩毅刚,78,云计算的类型,公共云私有云企业云,物联网概论-韩毅刚,79,云计算的延伸,云存储云安全云电视云手机海计算框计算风计算,物联网概论-韩毅刚,80,10.7.2 云计算系统的组成和结构,SOA层中间管理层资源池层物理资源层,物联网概论-韩毅刚,81,云计算体系结构,物联网概论-韩毅刚,82,10.7.3 云计算系统实例,1. 亚马逊云计算2. 微软云计算Windows Azure,物联网概论-韩毅刚,83,1. 亚马逊云计算,弹性计算云EC2Elastic Compute Cloud简单存储服务S3Simple Storage Service简单数据库服务SDBSimpleDB,物联网概论-韩毅刚,84,EC2基本架构,物联网概论-韩毅刚,85,S3基本数据结构,物联网概论-韩毅刚,86,2. 微软云计算Windows Azure,云计算操作系统SQL Azure云计算数据库.NET服务,物联网概论-韩毅刚,87,Windows Azure主要部分,物联网概论-韩毅刚,88,10.7.4 云计算系统的开发,1. 开源云计算系统Hadoop2. 开源云计算系统Spark3. 云计算虚拟化技术4. 云计算仿真器CloudSim,物联网概论-韩毅刚,89,1. 开源云计算系统Hadoop,HDFS分布式文档系统MapReduce分布式平行计算框架Hbase分布式数据库,物联网概论-韩毅刚,90,Hadoop的云计算架构,物联网概论-韩毅刚,91,2. 云计算虚拟化技术,全虚拟化半虚拟化硬件辅助虚拟化,物联网概论-韩毅刚,92,3. 云计算仿真器CloudSim,用户代码层CloudSim层GridSim层SimJava层,物联网概论-韩毅刚,93,CloudSim体系结构,物联网概论-韩毅刚,94,10.8 普适计算,10.8.1 普适计算技术的特征10.8.2 普适计算的组成10.8.3 普适计算的体系结构10.8.4 普适计算的关键技术,95,物联网概论-韩毅刚,普适计算的概念,物联网概论-韩毅刚,96,10.8.1 普适计算技术的特征,物联网概论-韩毅刚,97,信息空间与物理空间间断连接与轻量计算,信息空间与物理空间的融合,物联网概论-韩毅刚,98,10.8.2 普适计算的组成,普适计算设备普适计算网络系统软件人机交互,物联网概论-韩毅刚,99,普适计算系统,物联网概论-韩毅刚,100,10.8.3 普适计算的体系结构,层次模型见仁见智4层模型8层模型,物联网概论-韩毅刚,101,应用环境中的普适计算体系结构,物联网概论-韩毅刚,102,10.8.4 普适计算的关键技术,1.人机接口技术2.上下文感知计算3.服务的组合4.自适应技术,物联网概论-韩毅刚,103,1.人机接口技术,1）接口的自适应性2）不可见的用户接口,物联网概论-韩毅刚,104,2.上下文感知计算,上下文信息“5何”何时、何地、何人、何事、何因5Wwhen , where , who , what, why,物联网概论-韩毅刚,105,3.服务的组合,组合服务的发现服务的匹配服务的选择服务协调器错误检测与修复,物联网概论-韩毅刚,106,4.自适应技术,对用户情境自适应对设备资源自适应对系统资源状态自适应保留系统,物联网概论-韩毅刚,107,10.9 数据呈现,10.9.1 实时推送技术10.9.2 数据可视化10.9.3 HTML510.9.4 数据呈现开发实例,108,物联网概论-韩毅刚,10.9.1 实时推送技术,1.拉取技术2.传统推送技术3.Web实时推送技术,物联网概论-韩毅刚,109,Web实时推送技术,物联网概论-韩毅刚,110,10.9.2 数据可视化,1.数据可视化的过程和评判指标2.数据可视化的常用技术,物联网概论-韩毅刚,111,文本可视化,标签云,物联网概论-韩毅刚,112,网络可视化,中国教育与科研计算机网可视化图,物联网概论-韩毅刚,113,时空数据可视化,流式地图百度迁徙数据,物联网概论-韩毅刚,114,10.9.3 HTML5,HTML是构建以及呈现互联网内容的描述语言HTML广义上指的是包括HTML、CSS和Java Script在内的一套技术组合。,物联网概论-韩毅刚,115,10.9.4 数据呈现开发实例,基于Web的前端数据可视化工具Canvas开发的基本流程,物联网概论-韩毅刚,116,基于Web的前端数据可视化工具,图表类eCharts、iCharts、HighCharts、Google Charts、D3等图谱类Arbor.js、Sigma.js、Processing.js等；三维图形PhiloGL、Three.js等地图类Google Map、百度地图、高德地图、PolyMap等,物联网概论-韩毅刚,117,总结,数据中心数据存储、组织、搜索、挖掘云计算普适计算数据可视化,
