第7章 物联网数据处理ppt课件.pptx
物联网技术（第2版）,第7章 物联网数据处理教学课件,随着物联网技术的广泛应用，将产生大量异构的、混杂的、不完整的数据。当成千上万的物联网终端设备采集到这些数据之后，如何对它进行处理、分析和使用成为物联网应用的关键。通过传感器、RFID标签技术等实时感知海量数据不是物联网的目的，只有从海量数据中通过汇聚、挖掘与智能处理，获取有价值的信息，为不同的应用提供智能服务才是要真正实现的目的。本章基于物联网数据的特点以及数据处理技术的认识，讨论介绍物联网的数据融合、云计算、海量数据存储、数据挖掘与智能决策等内容。,第7章 物联网数据处理,7.1 物联网数据处理的基本概念7.2 物联网数据融合技术7.3 云计算7.4海量数据存储7.5 数据挖掘与智能决策小结与进一步学习建议思考与练习,第7章 物联网数据处理,7.1 物联网数据处理的基本概念,物联网需要完成环境感知、数据传输、协同工作等任务，所以在一段时间内会产生大量的数据。这就需要从大量的数据中提取出有用的信息，因此需要根据不同的物联网应用需求，研究物联网的数据处理技术。所谓物联网数据处理就是将所感知的数据进行存储、融合、挖掘，并用于智能决策与控制。,1.海量所谓海量就是数据量很大，可能是TB级别（1TB=1024GB）甚至是PB级别（1PB=1024TB），导致无法一次性载入内存或者无法在较短时间内处理完成。物联网产生的数据具有海量性特点。2.多态性多态性是指形态多样和状态（选择）多样。在哲学意义上，多态性反映了世界在时间和空间中存在的千姿百态和变化莫测。,7.1.1 物联网数据的特点,研究物联网数据处理技术，首先要了解物联网数据的特点。通过对物联网数据分析可知，主要具有海量、多态、动态和关联等特性。,3.动态性动态指（事情）变化发展的情况。物联网数据的动态性很容易理解。不同的时间、不同的传感器测量的数值都有可能变化。4.关联性关联性是指组织体系的要素既具有独立性，又具有相关性，而且各要素和体系之间同样存在相互关联或相互作用的关系。物联网中的数据之间不可能是相互独立的，存在着一定的关联性。例如，对于生态环境的监控系统所感知的数据，可能要比较同一个传感器在不同时间的温度变化，或者比较同一个时间不同位置传感器节点的湿度变化。因此，物联网中的数据在空间、时间维度上存在着紧密的关联性。,7.1.2 物联网数据处理技术,面对物联网数据海量、多态、动态与关联等特点，物联网数据处理需要涉及如下一些关键技术。1.数据融合数据融合或称信息融合是指利用计算机对按时序获得的若干观测信息，在一定准则下加以自动分析、综合，以完成所需的决策和评估任务而进行的信息处理技术。,7.1.2 物联网数据处理技术,2.云计算云计算是一种基于互联网的计算模式，通过这种计算模式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备，是分布式处理、并行处理和网格计算的发展。3.海量数据存储物联网中产生的海量数据是一些不同于互联网中Web、聊天记录与游戏等数据的，需要可靠安全存储起来。海量数据的存储结构、方式影响物联网系统的可靠性与效率，因此需要深入研究物联网数据存储模式、数据库技术。,7.1.2 物联网数据处理技术,4.数据挖掘与智能决策数据挖掘数据挖掘是物联网数据处理中一个非常重要的方法，而且是一个多步骤过程（它需要为数据挖掘算法访问和准备数据），包括挖掘数据，分析结果和采取合适的行动。智能决策与控制在整个人类的活动中，“感知、通信、计算、智能、控制”构成一个行为过程。智能是运用信息提炼知识、生成策略、认识问题和解决问题的能力；同时又是生命体的能力标志，是人类生成发展能力的最高体现。,7.2 物联网数据融合技术,物联网中感知节点之间、感知节点与汇聚节点以及控制中心之间不仅需要进行通信，还要对通信结果做进一步的分析处理。数据融合是实现物联网的重要技术之一。,7.2.1数据融合的基本概念,在许多应用场合，由单个传感器所获得的信息通常是不完整、不连续或不精确的，此时其他信息源可以提供补充数据。融合多种信息源的数据能够产生一个有关场景的更一致的解释，而使不确定性大大降低。因此，通过多感知节点采集数据，利用数据融合技术达到数据备份与信息的准确性，成为物联网研究的一个重要课题。1数据融合的定义数据融合是利用计算机技术对时序获得的若干感知数据，在一定准则下加以分析、综合，以完成所需决策和评估任务而进行的数据处理过程。,7.2.1数据融合的基本概念,2数据融合研究的主要内容数据融合是针对一个网络感知系统使用多个和（或）多类感知节点（如多传感器）进行的一种数据处理方法，研究内容包含以下几个方面。数据对准。数据相关。数据识别，即估计目标的类别和类型。数据库。性能评估。,7.2.1数据融合的基本概念,3数据融合的体系结构由于数据融合应用领域的不同，其融合系统结构也有所不同。美国国防部实验室联合会数据融合小组（DFS）提出了在军事领域应用的数据融合系统通用体系结构，如图7-1所示。,图7-1 数据融合的一般模型,物联网的建设与发展，为数据融合技术开辟了一个新的应用领域。目前，有关数据融合的各种研究及技术还未成熟，新技术也正在不断涌现。例如，当感知节点具有移动能力时，网络拓扑如何保持实时更新；当环境恶劣时，如何保障通信的安全；如何进一步降低能耗，等等。物联网本身就是一种新技术，其数据融合则更是尚待研究的课题。物联网数据融合的意义和作用物联网数据融合所要解决的关键问题和要求物联网中数据融合的层次结构,7.2.2物联网中的数据融合,7.2.3传感网数据传输及融合算法,传感网中的数据传输方式，有直接传输和多跳传输两种模型。直接传输模型是指传感器节点将采集到的数据通过较大的功率直接一跳传输到汇聚节点上，进行集中式处理。多跳传输模型类似于Ad-Hoc网络，每个节点自身不对数据进行任何处理，而是调整发送功率，以较小功率经过多跳将感知数据传输到汇聚节点中，再进行集中处理。,7.2.3传感网数据传输及融合算法,传感网中的数据融合方式一般是通过网络内部的数据压缩机制，先对采集到的数据或接收到的其他感知节点发送的多个数据进行网内处理，消除冗余信息，然后再传输处理后的数据。多传感器数据融合算法传感网数据融合路由算法按照通信网络拓扑结构的不同，比较典型的数据融合路由协议有：基于数据融合树的路由协议基于分簇的路由协议基于节点链的路由协议,7.2.4 物联网数据管理技术,在物联网实现中，分布式动态实时数据管理是其以数据中心为特征的重要技术之一。该技术通过部署或者指定一些节点作为代理节点，代理节点根据感知任务收集兴趣数据。感知任务通过分布式数据库的查询语言下达给目标区域的感知节点。在整个物联网体系中，传感网可作为分布式数据库独立存在，实现对客观物理世界的实时、动态的感知与管理。这样做的目的是，将物联网数据处理方法与网络的具体实现方法分离开来，使得用户和应用程序只需要查询数据的逻辑结构，而无须关心物联网具体如何获取信息的细节。,7.3 云计算,云计算作为一种新兴的计算模式，已经得到格外关注。面对越来越复杂的计算需求，云计算这一模式将会越来越多地推动企业商业模式的变革和发展。什么是云计算？简单地说，云计算是一种基于互联网的商业计算模型，它是分布式处理（Distributed Computing）、并行处理（Parallel Computing）和网格计算（Grid Computing）等技术的发展及商业实现。,7.3.1 云计算的基本概念,纵观计算模式的演变历史，可以将其归纳为集中计算分布式计算集中计算这样一个过程。为了节省成本和实现系统的可扩展性，提出了云计算的概念。1.云计算的定义云计算是一种基于互联网的计算模式，它可以把计算资源（计算能力、存储能力、交互能力）以服务的方式通过网络提供给用户，如图7-8所示。,图7-8 云计算示意图,7.3.1 云计算的基本概念,2.云计算的基本特征从目前对云计算的认识来看，云计算服务具有以下几个基本特征。虚拟化。高可靠性、可用性和扩展性。按需服务。超大规模。高性价比。3.云计算的类型公用云。私有云。混合云。,7.3.1 云计算的基本概念,4.云计算系统组成提供云计算服务需要一个强大的云网络作为云计算平台。一种通用的云计算系统组成如图7-10所示，用户通过云客户端从服务目录列表中选择所需要的服务，服务请求通过管理系统调度相应的资源，并通过部署工具分发请求、配置Web应用。,图7-10 云计算系统组成,5. 云计算系统的服务层次,7.3.2 云计算关键技术,云计算对应的不是一种技术，而是多种技术的组合。从云计算技术的角度来看，实现云计算需要物理资源、虚拟化资源、服务管理和访问接口等关键技术的支持，如图7-12所示。,图7-12 实现云计算的关键技术,7.3.3 云计算在物联网中的应用,构建智慧地球，将物联网和互联网进行融合，显然不是简单地将实物与互联网进行连接，而是需要进行更高层次的整合，需要更透彻的感知，更全面的互联互通，更深入的智能化。云计算在物联网发展中的作用物联网的云计算系统结构,图7-13 云计算系统结构示意,7.4 海量数据存储,伴随着物联网技术的应用发展，人类产生的信息量越来越多，海量数据存储的矛盾日益凸显。如何经济、有效、合理、安全地存储数据是实现物联网应用系统的一个重要课题。选择一种存储模式、构建一个高性能、高可用的统一存储系统，以其高效率的整体性能、丰富的数据管理功能满足各类存储应用显得格外重要。,7.4.1 物联网数据存储的概念,物联网海量数据的存储需要数据库、数据仓库、虚拟化存储、网络存储、云存储等技术，以及互联网数据中心的支持。1物联网数据存储模式数据的存储和处理主要可分为分布式和集中式两种模式。分布式存储与处理。分布式数据存储与处理是将数据分散存储在多个终端节点上，采用可扩展的系统结构，利用多台存储服务器分担存储和数据处理的负荷，利用位置服务器定位存储信息。集中式存储与处理。集中式计算机网络是一个大型的中央计算机系统，其终端是客户机。数据全部存储在中央系统内，由数据库管理系统进行管理。而且所有的处理都由该大型计算机系统来完成，终端只是用来输入和输出。,7.4.1 物联网数据存储的概念,2数据库与数据仓库数据仓库是指面向主题的、集成的、时变的和非易失性的数据集合，用以支持管理中的决策制订。数据仓库是收集数据信息的存储库，存放在一个一致的模式下，并且通常驻留在单个节点上。3.虚拟化存储存储虚拟化的核心工作是物理存储设备到单一逻辑资源池的映射，通过虚拟化技术，为用户和应用程序提供虚拟磁盘或虚拟卷，并且用户可以根据需求对它进行任意分割、合并、重新组合等操作，并分配给特定的主机或应用程序，为用户隐藏或屏蔽了具体的物理设备的各种物理特性。,7.4.2 网络存储,网络存储（Network Storage）是指基于标准网络协议，通过专用的数据交换设备、磁盘阵列、磁带库等存储介质以及专用的存储软件，利用原有网络构建的一个存储专用网络。1.直接连接存储（DAS）典型DAS结构如图7-17所示。,图7-17直接连接存储示意,7.4.2 网络存储,2.网络附加存储（NAS）NAS是一种以数据为中心的存储结构，网络存储介质直接和网络相连，通过LAN在TCP/IP网络协议上进行通信，如图7-18所示。,图7-18 网络附加存储示意图,7.4.2 网络存储,3.存储区域网络（SAN）SAN 是指存储设备相互连接且与一台服务器或一个服务器群相连的网络。一种典型的SAN存储系统如图7-19所示。,图7-19 SAN存储系统示例,7.4.3 云存储,云存储是在云计算的概念上延伸和发展出来的一个概念，是对现有存储方式的一种变革。它重新定义了在企业内构建、访问和管理存储的方式。1.何谓云存储云存储的概念与云计算类似，是指通过集群应用、网格技术或分布式文件系统等，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问的一种服务系统。云状的网络结构。云状结构的存储系统。云存储不是存储而是服务。,7.4.3 云存储,2.云存储的结构模型云存储系统结构模型由 4层组成，如图7-22所示。,图7-22 云存储系统结构模型,7.4.3 云存储,3.云存储的架构一种云存储简易架构如图7-23所示。,图7-23云存储简易架构框图,7.4.4分布式存储和计算平台,分布式存储和计算平台（Hadoop）是一个分布式系统基础架构，用户可以在不了解分布式底层细节的情况下开发分布式程序。Hadoop作为一个分布式存储和计算平台，主要由分布式文件系统(HDFS)、MapReduce计算框架、分布式数据存储系统(BigTable) 、锁服务（Zookeeper）等组成，其框架如图7-24所示。,图7-24 Hadoop分布式存储和计算平台框架,7.5 数据挖掘与智能决策,在物联网的应用中，感知的数据从大量终端收集到后台数据库，由于环境状况、数据质量等因素的影响，使得对这些数据的管理、分析和使用面临着巨大的挑战。同时，面对物联网中的海量数据，如何提取出有用信息已经引起广泛关注。针对这些问题，数据挖掘与智能决策技术应运而生。,7.5.1 数据挖掘的基本概念,随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据愈来愈多。激增的数据背后隐藏着许多重要信息，人们希望能够通过对其进行更高层次的分析，以便能够更好的利用这些数据。目前的数据库系统只能高效的实现数据的录入、查询、统计等功能，无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。,7.5.1 数据挖掘的基本概念,数据挖掘技术使数据库技术进入了一个更高级的阶段，它不但能够对数据进行查询和遍历，还能够找出数据之间的潜在关系，从而促进信息的价值利用。1.数据挖掘的定义技术层面的定义。商业角度的定义。,7.5.1 数据挖掘的基本概念,2. 数据挖掘研究的内容及本质数据挖掘的目标是从数据库中发现隐含的、有意义的知识。数据挖掘所发现的知识最常见的有以下几类。广义知识。关联知识。分类知识。预测型知识。偏差型知识。,7.5.2数据挖掘的类型及其算法,数据挖掘是从数据中自动地抽取出模式、关联、变化、异常和有意义的结构。数据挖掘通过预测未来趋势及行为，做出前瞻性的、基于知识的决策。数据挖掘技术可以分为描述性技术和预测性技术，描述性技术了解数据中潜在的规律，预测性技术是用历史预测未来的技术。,7.5.2数据挖掘的类型及其算法,根据数据挖掘的任务可分为多种类型，其中比较典型的有：关联分析。基于决策树或神经网络的分类分析。聚类分析。序列分析。离群点分析。预测模型分析等。,7.5.3 数据挖掘的过程,数据挖掘是一个反复迭代的人机交互与处理过程，它作为知识发现的过程如图7-28所示。数据与处理数据挖掘对数据挖掘结果评估与表示,图7-28 数据挖掘的过程,7.5.4 基于大数据的智能决策与控制,大数据是互联网、移动互联网、社交网络和物联网等技术发展的必然，大数据应用成为当前最为热门的信息技术应用领域。1.何谓大数据对于大数据的定义目前尚没有一种通行的标准，不过从数据使用者的角度来讲，大数据可以定义为超过使用者所能处理和分析能力上限的数据。麦肯锡将大数据定义为: 无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。,7.5.4 基于大数据的智能决策与控制,大数据具有以下4 个特点，即4 个“V”：数据体量( Volumes) 巨大。数据类别( Variety) 繁多。价值( Value) 密度低。处理速度( Velocity ) 快。,7.5.4 基于大数据的智能决策与控制,2.智能决策与控制从感知物理世界的原始数据信息，到人类处理物理世界问题的智能行为，形成了一个从感知、通信、计算、挖掘、智能决策到智能控制的闭环过程，如图7-29所示。,图7-29 感知、通信、计算、挖掘、智能决策与控制的逻辑关系,小结与进一步学习建议,物联网通过覆盖全球的传感器、RFID标签技术等实时感知海量数据不是目的，只有从海量数据中通过汇聚、挖掘与智能处理，获取有价值的知识，为不同行业的应用提供智能服务才是要达到的真正目的。本章在讨论物联网数据特点的基础上，主要讨论介绍了物联网数据处理的一些关键技术，包括数据融合、云计算、数据存储、数据挖掘、智能决策与控制等。,1.简述物联网数据的特点。有哪些常用的物联网数据处理技术？2.简述数据融合的原理、方法及分类。3.传感网中的数据融合有哪些技术特征和要求？4.物联网中数据融合的关键问题有哪些，如何解决？5.什么是云计算？目前对云计算的定义主要有哪些表述？各种表述之间的侧重点有什么不同？6.简述云计算的工作原理与关键技术。7.简论云计算与物联网之间的关系。8.物联网数据存储模式有哪些？ 9.什么是数据仓库，它与数据库有何相似和不同之处？10.什么是数据挖掘？它的大致过程是怎样的？,思考与习题,Thank you！,欢迎使用物联网技术,
