第13篇多传感器数据融合课件.ppt
第13章 多传感器数据融合,13.1 多传感器数据融合概述 13.2 多传感器数据融合模型13.3 多传感器数据融合技术13.4 多传感器数据融合应用,13.1 多传感器数据融合概述,多传感器数据是针对一个系统中使用多个（种）传感器这一特定问题而提出的信息处理方法，是将来自多传感器或多源的信息和数据进行综合处理，从而对观测对象形成准确结论的过程。数据融合的目的是基于各独立传感器的观测数据，通过融合导出更丰富的有效信息，获得最佳协同效果，发挥多个传感器的联合优势，提高传感器系统的有效性和鲁棒性，消除单一传感器的局限性。,13.1 多传感器数据融合概述,从生物学的角度来看，人类和自然界中其他动物对客观事物的认知过程，就是对多源数据的融合过程。 人类不是单纯依靠一种感官，而是通过视觉、听觉、触觉、嗅觉等多种感官获取客观对象不同质的信息，或通过同类传感器（如双耳）获取同质而又不同量的信息，然后通过大脑对这些感知信息依据某种未知的规则进行组合和处理，从而得到对客观对象和谐与统一的理解和认识。 这一处理过程是复杂的，也是自适应的，它将各种信息（图像、声音、气味和触觉）转换为对环境的有价值的解释。自动化数据融合系统实际上就是模仿这种由感知到认知的过程。,13.1 多传感器数据融合概述,应用简例多传感器系统可以用于地球环境监测。主要应用于对地面的监视、以便识别和监视地貌、气象模式、矿产资源，植物生长、环境条件和威胁情况(如原油泄漏、辐射泄漏等) 如右图所示,图源：D.L. Hall and J. Llinas, An introduction to multisensor data fusion,13.1 多传感器数据融合概述,数据融合过程主要由数据校准、相关、识别、估计等部分组成。其中校准与相关是识别和估计的基础，数据融合在识别和估计中进行。 校准、相关、识别和估计贯穿于整个多传感器数据融合过程，既是融合系统的基本功能，也是制约融合性能的关键环节。,13.1.1 多传感器数据融合过程,数据检测数据校准数据相关参数估计目标识别行为估计,13.1.2 多传感器数据融合形式,数据级融合,特征级融合,决策级融合,13.2.1 多传感器数据融合结构,串联型融合,13.2 多传感器数据融合融合模型,混联型融合,并联型融合,13.2.1 多传感器数据融合结构,从数据融合的控制关系来看，反馈型多传感器数据融合过程中，传感器或数据融合中心的处理方式及判断规则受数据融合中心最终结论或中间结论的影响。数据处理依赖于一个反馈控制过程，这种反馈可以是正反馈，也可以是负反馈。反馈控制可分为融合结论对传感器的控制、对数据融合中心的控制，以及中间结论对传感器的控制三种。 对传感器的控制多体现在对传感器策略、精度的控制、对传感器跟踪目标的跟踪控制等。对融合中心的控制包括对融合中心判断规则的控制、对融合中心数据融合方式的控制、对融合中心某一参数的控制等。,13.2.1 多传感器数据融合结构,结论对传感器的反馈控制,结论对融合中心的反馈控制,中间结论对传感器的反馈控制,13.2.2 多传感器数据融合模型,多传感器数据融合系统的模型设计是多传感器数据融合的关键问题，取决于实际需求、环境条件、计算机、通信容量及可靠性要求等，模型设计直接影响融合算法的结构、性能和融合系统的规模。 多传感器数据融合模型实际上是一种数据融合的组织策略，根据任务、要求和设计者认识不同，模型设计千差万别。目前流行的有多种数据融合模型，其中JDL数据融合模型最具通用性。,13.2.2 多传感器数据融合模型,JDL模型 JDL数据融合模型如右图所示，数据融合过程包括五级处理和数据库、人机接口支持等。五级处理并不意味着处理过程的时间顺序，实际上，处理过程通常是并行的。,13.2.2 多传感器数据融合模型,Boyd控制环 Boyd控制环包括四个处理环节：(1)观测环节获取目标信息，与JDL模型的数据预处理功能相当。(2)定向环节确定对象的基本特征，与JDL模型的目标评估、态势评估和威胁评估功能相当。(3)决策环节确定最佳评估，制定反馈控制策略，与JDL模型过程优化与评估功能相当。(4)执行环节利用反馈控制调整传感系统状态，获取额外数据等。JDL模型没有这一环节。,13.2.2 多传感器数据融合模型,Waterfall模型 Waterfall 模型的数据融合过程包括三个层次。(1)基于传感模型和物理测量模型对原始数据进行预处理(2)进行特征提取和特征融合以获取信息的抽象表达，减少数据量，提高信息传递效率，第二层次的输出是关于对象特征的估计及其置信度。(3)利用现有知识对对象特征进行评价，形成关于对象、事件或行为的认识。传感器系统利用第三层次形成的反馈信息不断调整自身状态和数据准备策略，进行重新设置和标定等，提高传感信息的利用率。 。,13.2.2 多传感器数据融合模型,Dasarathy 模型 Dasarathy 模型充分注意到传感器数据融合中数据融合、特征融合和决策融合三者往往交替应用或联合使用的事实，根据所处理信息的类型对数据融合功能进行了归纳，明确了五种可能的融合形式，如表所示。,13.2.2 多传感器数据融合模型,OMNIBUS模型 是Boyd控制环、Dasarathy模型和 Waterfall模型的混合，既体现了数据融合过程的循环本质，用融合结论调整传感器系统的状态，提高信息融合的有效性，又细化了数据融合过程中各个环节的任务，改善了数据融合实现的可组合性。,13.2.2 多传感器数据融合模型,多传感器集成融合模型,根据传感器所提供信息的等级参加不同融合中心的数据融合，低等级的传感器输出原始数据或信号，高等级的传感器输出特征或抽象符号信息，融合结论在最高等级的融合中心产生，辅助信息系统为各融合中心提供资源，包括各种数据库、知识表达、特征解析、决策逻辑等。,13.3 多传感器数据融合技术,13.3.1 多传感器数据融合算法的基本类型13.3.2 Kalman滤波13.3.3 基于Bayes理论的数据融合13.3.4 基于神经网络的数据融合13.3.5 基于专家系统的数据融合13.3.6 基于聚类分析的数据融合,13.3.1 多传感器数据融合算法基本类型,物理模型 参数分类技术基于认知的方法,13.3.1 多传感器数据融合算法基本类型,物理模型 根据物理模型模拟出可观测或可计算的数据，并把观测数据与预先存储的对象特征进行比较，或将观测数据特征与物理模型所得到的模拟特征进行比较。比较过程涉及到计算预测数据和实测数据的相关关系。如果相关系数超过一个预先设定的值。则认为两者存在匹配关系(身份相同)。 这类方法中，Kalman滤波技术最为常用。,13.3.1 多传感器数据融合算法基本类型,参数分类技术 参数分类技术依据参数数据获得属性说明，在参数数据(如特征)和一个属性说明之间建立一种直接的映像。参数分类分为有参技术和无参技术两类，有参技术需要身份数据的先验知识，如分布函数和高阶矩等；无参技术则不需要先验知识。 常用的参数分类方法包括Bayesian估计，DS推理，人工神经网络，模式识别，聚类分析，信息熵法等。,13.3.1 多传感器数据融合算法基本类型,基于认知的方法 基于认知的方法主要是模仿人类对属性判别的推理过程，可以在原始传感器数据或数据特征基础上进行。 基于认知的方法在很大程度上依赖于一个先验知识库。有效的知识库利用知识工程技术建立，这里虽然未明确要求使用物理模型，但认知建立在对待识别对象组成和结构有深入了解的基础上，因此，基于认知的方法采用启发式的形式代替了数学模型。当目标物体能依据其组成及相互关系来识别时，这种方法尤其有效。,13.3.2 Kalman滤波,Kalman滤波 Kalman滤波实时融合动态的低层次传感器冗余数据，只需当前的一个测量值和前一个采样周期的预测值就能进行递推估计。如果系统具有线性动力学模型，且系统噪声和传感器噪声可用白噪声模型来表示，Kalman滤波为融合数据提供了统计意义下的最优估计。,13.3.2 Kalman滤波,离散序列的一阶递推估计模型如图所示,13.3.2 Kalman滤波,Kalman滤波,13.3.2 Kalman滤波,Kalman滤波 Kalman滤波可以实现不同层次的数据融合。集中融合结构在系统融合中心采用Kalman滤波技术，可以得到系统的全局状态估计信息。传感器数据自低层向融合中心单方向流动，各传感器之间缺乏必要的联系。分散融合结构在对每个节点进行局部估计的基础上，接受其它节点传递来的信息进行同化处理，形成全局估计。分散融合结构网络中，任何一个节点都可以独立做出全局估计，某一节点的失效不会显著地影响系统正常工作，其它节点仍可以对全局做出估计，有效地提高了系统的鲁棒性和容错性。,13.3.3 基于Bayes理论数据融合,利用Bayes方法进行数据融合的过程如图所示： (1)将每个传感器关于对象的观测转化为对象属性的说明:(2)计算每个传感器关于对象属性说明的不确定性: (3)计算对象属性的融合概率：,13.3.3 基于Bayes理论数据融合,如果 相互独立则： (4)应用判定逻辑进行决策。若选取 的极大值作为输出，这就是所谓的极大后验概率（MAP）判定准则：运用Bayes方法中的条件概率进行推理，能够在出现某一证据时给出假设事件在此证据发生的条件概率，能够嵌入一些先验知识，实现不确定性的逐级传递。但它要求各证据之间都是相互独立的，当存在多个可能假设和多条件相关事件时，计算复杂性增加。另外，Bayes方法要求有统一的识别框架，不能在不同层次上组合证据。,13.3.4 基于神经网络数据融合,人工神经网络源于大脑的生物结构，神经元是大脑的一个信息处理单元，包括细胞体、树突和轴突，如图所示。,13.3.4 基于神经网络数据融合,神经网络 神经元利用树突整合突触所接收到的外界信息，经轴突将神经冲动由细胞体传至其他神经元或效应细胞。神经网络使用大量的处理单元(即神经元)处理信息，神经元按层次结构的形式组织，每层上的神经元以加权的方式与其它层上的神经元连接，采用并行结构和并行处理机制，具有很强的容错性以及自学习、自组织及自适应能力，能够模拟复杂的非线性映射。,13.3.4 基于神经网络数据融合,常用的人工神经元模型（PE模型）,典型的多级前馈感知模型,13.3.4 基于神经网络数据融合,神经网络的结构、功能特点和强大的非线性处理能力，恰好满足了多源信息融合技术处理的要求，人工神经网络以其泛化能力强、稳定性高、容错性好、快速有效的优势，在数据融合中的应用日益受到重视。如果将数据融合划分为三级，并针对具体问题将处理功能赋予信息处理单元，可以用三层神经网络描述融合模型。第一层神经元对应原始数据层融合。第二层完成特征层融合，并根据前一层提取的特征，做出决策。对于目标识别，输出就是目标识别结论及其置信度；对于跟踪问题，输出就是目标轨迹及误差。输出层对应决策融合，决策层的输入输出都应该为软决策及对应决策的置信度。 融合模型的全并行结构对应神经网络的跨层连接。决策信息处理单元组的输出可以作为原始数据层数据融合单元组的输入，对应数据融合模型的层间反馈。数据融合模型的内环路对应前向神经网络中层内的自反馈结构。不论在数据融合的哪个层次，同层各个信息处理单元组或同一信息处理单元组的各个信息处理单元之间或多或少地存在联系。,13.3.4 基于神经网络数据融合,人工神经网络信息融合具有如下性能：(1)神经网络的信息统一存储在网络的连接权值和连接结构上，使得多源信息的表示具有统一的形式，便于管理和建立知识库。(2)神经网络可增加信息处理的容错性，当某个传感器出现故障或检测失效时，神经网络的容错功能可以使融合系统正常工作，并输出可靠的信息。(3)神经网络具有自学习和自组织功能，能适应工作环境的不断变化和信息的不确定性对融合系统的要求。(4)神经网络采用并行结构和并行处理机制，信息处理速度快，能够满足信息融合的实时处理要求。,13.3.5 基于专家系统数据融合,专家系统(Expert system)是一个具有大量专门知识与经验的程序系统，根据某领域一个或多个专家提供的知识和经验，进行推理和判断，模拟人类专家的决策过程，以便解决那些需要人类专家处理的复杂问题。专家系统具有如下特点： (1)启发性：专家系统能运用专家的知识和经验进行推理、判断和决策。 (2)透明性：专家系统能够解释本身的推理过程和回答用户提出的问题，用户能够了解推理过程，提高对专家系统的信赖感。 (3)灵活性：专家系统能不断地增长知识，修改原有知识，不断更新，不断充实和丰富系统内涵，完善系统功能。,13.3.5 基于专家系统数据融合,一个典型的专家系统由知识库、推理器和接口三部分组成，如图所示。 知识库组织事实和规则。 推理器籍由知识库中有效的事实与规则，在用户输入的基础上给出结果。 接口是用户与专家系统间的沟通渠道，是人与系统进行信息交流的媒介，为用户提供了直观方便的交互作用手段。,13.3.5 基于专家系统数据融合,建立专家系统首先要确认需解决的问题，根据需求明确相关的知识并将其概念化，由这些概念组成一个系统的知识库。其次是制定涵盖上述知识的规则，建立专家系统的过程如图所示 。,测试用于检验专家系统各个环节的完整性。在专家系统的建立过程中，需求、概念、组织结构与规则是不断完善的，往往需要不断更新。建立专家系统的关键在于知识的获取与知识表达。,13.3.6 基于聚类分析数据融合,对于没有标示类别或没有明确特征的数据样本集，可以根据样本之间的某种相似程度进行分类，相似的归一类，不相似的归为另一类或另一些类，这种分类方法称为聚类分析，如图所示。 聚类分析法试图根据传感数据的结构或相似性将数据集分为若干个子集。将相似数据集中在一起成为一些可识别的组，并从数据集中分离出来，众多的不同特征可用不同的聚类来表征。,13.3.6 基于聚类分析数据融合,进行聚类分析时，首先需要确定一种规则来确定数据集的分离原则，寻找各个类之间的相似性是常用的办法。对于两个给定的数据样本 和 ，几种常见的相似性度量如： 点积： 相似性比： 欧几里德距离： 加权欧几里德距离： 规范化相关系数：,13.3.6 基于聚类分析数据融合,在不规则粒子的测量中，人们并不关心粒子的直径究竟是多少，而是关心粒子的种类及其统计特性（平均直径、方差等）。聚类分析适于解决这类问题。 对于任意不规则粒子的情形，可以通过考察粒子在大小分布上的相似程度来进行粒子识别。 聚类分析算法能够挖掘数据中的新关系，可以用于目标识别和分类。但在聚类过程中加入了启发和交互，带有一定的主观倾向性。一般说来，相似性度量的定义、聚类算法的选择、数据排列的次序等都可能影响聚类结果。,13.4 多传感器数据融合的应用,13.4.1 人体对气温的感受13.4.2 管道泄漏检测中的数据融合13.4.3 医学咨询与诊断专家系统13.4.4 多传感器数据融合技术的局限性,13.4.1 人体对气温的感受,布尔逻辑温度表示,温度信息模糊表示,湿度信息模糊表示,13.4.1 人体对气温的感受,13.4.2 管道泄漏检测中的数据融合,当管道发生泄漏时，由于管道内外的压差，泄漏处流体迅速流失，压力迅速下降，同时激发瞬态负压波沿管道向两端传播。在管道两端安装传感器拾取瞬态负压波信号可以实现管道的泄漏检测和定位，如图所示。,其中：a是负压波在管道中的传播速度；t为两个检测点接收负压波的时间差；L为所检测的管道长度,13.4.2 管道泄漏检测中的数据融合,式中：表示负压波的传播速度，K为介质的体积弹性系数，表示介质密度，E为管材的弹性系数，D为管道直径，e为管壁厚度， C1表示与管道工艺参数有关的修正系数。,负压波在管道中的传播速度受传送介质的弹性、密度、介质温度及管材等实际因素的影响，并不是一个常数，如下公式所示，显然，温度变化将影响传送介质的密度，负压波在管道中的传播速度不再是一个常数，为了准确地对泄漏点进行定位，需要利用温度信息校正负压波的传播速度。,13.4.2 管道泄漏检测中的数据融合,泄漏点的定位与管道两端获取负压波信号的时间差有关，提高泄漏点的定位精度，不仅需要在负压波信号中准确捕捉泄漏发生的时间，还需要将两端获取的负压波信号建立在同一个时间基准上 ，不仅如此，由于不可避免的现场干扰、输油泵振动等因素的影响，负压波信号被淹没在噪声中，准确捕捉泄漏发生的时间点并不是一件容易的事，在小泄漏情况下更是如此。,13.4.2 管道泄漏检测中的数据融合,根据质量守恒定律，没有泄漏时进入管道的质量流量和流出管道的质量流量是相等的。如果进入流量大于流出流量，就可以判断管道沿线存在泄漏。对于装有流量计的管道，利用瞬时流量的对比有助于区分管道泄漏与正常工况：管道发生泄漏时，上游端瞬时流量上升、压力下降，下游端瞬时流量下降、压力下降；正常工况下，两端流量、压力同时上升或下降。,13.4.2 管道泄漏检测中的数据融合,管道运行时，正常的调泵、调阀所激发的声波信号可能与泄漏激发的负压波信号具有相同特征，造成泄漏检测的错误判断。在管道的两端各增加一个传感器，可利用辨向技术正确识别泄漏，如图13.30所示。调泵、调阀所激发的声波信号先到达传感器A，后到达传感器B，而泄漏激发的负压波信号则先到达传感器B，后到达传感器A。两个传感信号的相关处理可以准确区分信号来源。,13.4.2 管道泄漏检测中的数据融合,管道泄漏检测系统的多传感器数据融合结构如图所示,13.4.3 医学咨询与诊断专家系统,右图所示是斯坦福(Stanford)大学建立的细菌感染疾病诊断和治疗计算机咨询专家系统（MYCIN系统），由咨询、解释和规则获取3个子系统组成。系统所有信息都存放在2个数据库中：静态数据库存放咨询过程中用到的所有规则，它实际上是专家系统的知识库；动态数据库存放关于病人的信息，以及到目前为止咨询中系统所询问的问题。每次咨询，动态数据都会更新一次。MYCIN系统的决策过程主要依据医生的临床经验和判断、试图用产生式规则的形式体现专家的判断知识，以模仿专家的推理过程.,13.4.3 医学咨询与诊断专家系统,中医诊断的信息融合过程如图所示，中医诊断的信息融合过程涉及视觉、嗅觉、听觉、触觉四种不同的传感器,13.4.4 数据融合技术的局限性,多传感器数据融合结果并不能代替单一高精度传感器测量结果。,多个传感器的组合可以增强系统的健壮性，但这些传感器并不一定能检测到系统所感兴趣的目标特征。例如列车运行过程中，列车的载重情况、运行速度、振动特性等对诊断列车轮系工作状态提供了有价值的信息，但这些数据却无法直接给出轴瓦的工作温度。采用一个温度传感器直接测量温度要简单易行得多。,13.4.4 数据融合技术的局限性,数据融合处理不可能修正预处理或单个传感器处理时的错误。,数据融合处理不能弥补处理过程中造成的信息损失。当信号的特征没有被正确提取时，数据融合得到的结论肯定是错误的，数据融合不可能修正这些特征。例如在管道泄漏检测中，如果负压波信号中泄漏发生的时间特征点没有准确获得，泄漏定位的准确性就没有保证，其它的技术措施如时间对准、流量平衡等都不可能改变这种结果。,143.4.4 数据融合技术的局限性,数据融合过程中希望能用一种简单的方式来描述传感器性能。,传感器模型的不准确将导致融合结果错误，这种错误在后续处理中也是无法修复的。例如利用光吸收机理测量粉尘时，没有办法建立粒子尺寸、构成、浓度等与光吸收特性关系的数学模型，而是利用现场标定的方法确定光吸收程度与粉尘浓度之间的关系，这种相对关系用任何融合技术都无法改变。用模型来准确描述传感器的性能是非常困难的。,13.4.4 数据融合技术的局限性,由于数据来源不同，一种单一的融合算法可能难以实现预想的融合效果，往往需要综合各门学科的多种技术，如信号处理，图像处理，模式识别，统计估计，自动推理理论和人工智能等。对于给定的数据如何选择合适算法来进行有效的信息融合是数据融合技术发展所面临的挑战。,13.4.4 数据融合技术的局限性,并未形成基本的理论框架和有效的广义融合模型及算法，绝大部分工作都是围绕特定应用领域内的具体问题来展开的。也就是说，目前对数据融合问题的研究都是根据问题的种类，各自建立直观融合准则，并在此基础上形成所谓最佳融合方案。充分反映了数据融合技术所固有的面向对象的特点，难以构建完整的理论体系。这妨碍了人们对数据融合技术的深入认识，使数据融合系统的设计带有一定的盲目性。,13.4.4 数据融合技术的局限性,缺乏对数据融合技术和数据融合系统性能进行评估的手段。如何建立评价机制，对数据融合系统进行综合分析，对数据融合算法和系统性能进行客观准确的评价，是亟待解决的问题。,13.4.4 数据融合技术的局限性,随着新型传感器的不断涌现，以及现代信号处理技术、计算机技术、网络通信技术、人工智能技术、并行计算的软、硬件技术等相关技术的飞速发展，多传感器数据融合必将成为未来现代传感系统的重要技术支撑。,思考题：1什么是多传感器数据融合？多传感器数据融合的实质是什么？2多传感器数据融合与信号处理的区别是什么？3比较不同数据融合形式的特点、结构和适应性，并用实例说明。4总结不同数据融合方法的基本思想、组织结构和适用条件。5阅读相关文献，收集三个本章没有介绍的多传感器数据融合方法和应用案例。6为什么多传感器数据融合技术存在局限性？7试举一例，说明多传感器数据融合的机理、过程、算法结构，分析传感器数据融合的效果。,参考资料,（插 图）,
