信息融合技术分析ppt课件.ppt

《信息融合技术分析ppt课件.ppt》由会员分享，可在线阅读，更多相关《信息融合技术分析ppt课件.ppt（68页珍藏版）》请在三一办公上搜索。

1、智能信息处理系列讲座信息融合技术(Information Fusion),合肥工业大学 图像信息处理研究室Tel:2901393 Email: http:/,胡 良 梅,主要内容,信息融合概述D-S证据理论应用实例研究现状和发展方向参考文献,色、 香、 味 （视觉、嗅觉、味觉、经验知识）,望、闻、问、切（视觉、听觉、触觉、专家知识）,人脑的信息融合功能,人类本能地具有将人体的各种功能器官（眼、耳、鼻、四肢）所探测的信息（景物、声音、气味和触觉）与先验知识进行综合的能力，以便对周围的环境和正在发生的事件做出估计。这一处理过程是复杂的，也是自适应的，它将各种信息（图像、声音、气味、物理形状、描述）

2、转化成对环境的有价值的解释 。,1.信息融合概述,融合（Fusion) 采集并集成各种信息源、多媒体和多格式信息，从而生成完整、准确、及时和有效的综合信息过程研究领域：智能信息处理技术优势应用综合性横断学科,技术优势,可扩展系统的时间和空间覆盖范围可增加系统的信息利用率可提高经融合的信息的可信度和精度可增强对目标物的检测与识别能力可降低系统的投资,应用,军事应用 自动目标识别、自动导航、遥感、战场监视和自动危险识别系统 非军事应用 智能交通系统；工业过程监视； 工业机器人及智能仪器系统； 金融系统；图像分析与理解；医学应用； 自动目标识别（包括生物特征认证）,综合性横断学科,数字信号处理统计估

3、算控制理论人工智能经典数学方法,1.1 基本原理,充分利用多个传感器资源，通过对这些传感器及其观测信息的合理支配和使用，把多个传感器在时间或空间上的冗余或互补信息依据某种准则来进行组合，以获得被测对象的一致性解释或描述，使该信息系统由此而获得比它的各组成部分的子集所构成的系统更优越的性能,其它术语：相关(Correlation)、合成(Integration)、混合(Commixture)、合并(Merging)、协同(Synergy),生物特征识别系统,多传感器，即利用不同的传感器来提取同一生物特征的信号；多种生物特征系统，如人脸和指纹的结合；同一生物特征的不同部分，如双手、十指或两只虹膜的

4、结合；同一生物特征的不同样本，如同一手指的不同指印；同一生物特征输入信号的多个特征和匹配算法的结合,多模态,1.2 信息融合的方法和技术,相关技术估计理论识别技术(1)物理类型类识别技术(2)参数分类识别技术(3)认知模型类识别技术,Texonomy of detection,classfication, and identification algorithms,1.3 融合的层次结构,数据层融合特征层融合(1)目标状态融合(2)目标特性融合决策层融合其它,数据层融合,直接在采集到的原始数据层上进行融合，在各种传感器的原始测报未经预处理之前就进行数据的综合与分析。 低层次的融合应用：多源图像

5、复合、图像分析与理解、同类（同质）雷达波形的直接合成方法：经典的检测和估计方法难点：图像配准（Registration）,特征层融合,目标状态融合目标特性融合,先对来自传感器的原始信息进行特征提取（特征可以是目标的边缘、方向、速度等），然后对特征信息进行综合分析和处理,目标状态融合,应用：目标跟踪领域方法：卡尔曼滤波和扩展卡尔曼滤波,目标特性融合,应用：模式识别问题方法：模式识别的相应技术（如参数模板法、 特征压缩和聚类算法、K阶最近邻、神经网络、模糊积分）,决策层融合,每个传感器在本地完成预处理、特征抽取、识别或判决等处理，建立对所观察目标的初步结论，然后通过关联处理、决策层融合判决，最终获

6、得联合推断结果方法：贝叶斯推断、DS证据推理理论、模糊集理论、专家系统方法、人工神经网络应用：目标识别,说明：,对于特定的应用选择在哪一个层次进行融合是一个系统工程问题，需要综合考虑通信带宽、信源的特点、可用的计算资源等方面的因素影响。不存在能够适用于所有情况或应用的普遍结构。,生物特征认证系统,FU：fusion moduleMM：matching moduleDM：decision module,多模态,特征层融合,信度层融合,决策层融合,1.4 体系结构,集中式融合（centralized fusion)多个传感器提供的数据在融合处理器中进行关联、相关、跟踪、估计分类等操作自主式融合（a

7、utonomous fusion）每个传感器独立地进行输入信号的特征提取、目标分类、确认和跟踪，将输入到融合处理器混合式融合（hybrid fusion）,集中式融合,每个传感器向融合处理器提供预处理的数据。再对数据进行关联或相关以确定哪些传感器的观测是针对同一物理实体或目标的。一旦做出观测数据的关联，就对数据进行融合,自主式融合,每个传感器进行单源（Single Source）位置估计，得到一个状态向量，即每个传感器都根据它自己的观测数据对目标的位置和速度做出一个估计。然后根据这些状态向量通过信息融合程序获得基于多传感器的联合状态向量估计。,混合式融合,具有最大的灵活性，但要求对融合过程进行

8、全局的监视以及在原始数据融合和状态向量融合之间进行选择和切换。,说明,如何在这几种体系结构中进行选择从原则上说是系统工程问题。不存在对于任何一个具体的信息融合应用都满足最优化要求的单一结构，在进行融合体系结构的选择时必须综合考虑计算资源、可用的通信带宽、精度要求、传感器的能力以及可用的资金成本等多方面的因素,2. D-S证据理论,D-S证据理论是在A. P. Dempster于1967年提出的“上、下概率”及其合成规则的基础上，由G. Shafer在其1976年出版的专著证据的数学理论中建立的，20世纪80年代，它就在人工智能领域引起了广泛的应用，逐渐发展为一类重要的不确定性推理方法，可用于目

9、标检测、分类和识别。,基本概念,基本概率赋值置信度似真度,鉴别框架,命题A的D-S不确定性区间,Dempster准则,例：,D-S证据理论的特点,依靠证据的积累，不断地缩小假设集 能够将“不知道”和“不确定”区分开来 要求每个证据是相互独立的 关键：每个证据体对命题的基本概率赋值,3. 应用实例,图像融合多模态生物特征识别形状识别,3.1 图像融合,采用特定的算法将两幅或多幅图像中的信息合并起来，生成新的图像。如可见光图像和红外图像的融合、以及可见光或红外遥感图像与合成孔径雷达图像的结合等。包括像素层、特征层和决策层的融合。,图像融合算法考虑如何结合来自源图像的信号，像素或特征从而产生一幅融合

10、的图像，是图像融合系统的核心。其他处理过程也会系统的成功与否及其性能产生决定性的影响。 Image registration，Pre-processing，Post-processing,基于小波变换的特征层图像融合实例,基于小波变换的图像融合（Wavelet fusion）,Image1 Image2 Fused Image,读目标图像，得T(r,g,b),读源图像，得S(r,g,b),将RGB值转换成互不关联的luv空间值，记作T(l,u,v),将RGB值转换成互不关联的luv空间值，记作S(l,u,v),对S(l,u,v)进行亮度处理再采样，并计算每一采样点在其7x7邻域内的平均值和标准

11、偏差,匹配,匹配后目标图像的luv值f(l,u,v)=T(l),S(u),S(v)并转换成RGB，得伪彩色图像,计算每一像素在其7x7邻域内的平均值和标准偏差,流程图,夜视图像彩色化融合算法,目标图像a,源图像1,伪彩色图像1,实验结果,常用的图像融合算法,像素级加权平均法 多分辨率方法之金字塔分解高斯金字塔拉普拉斯金字塔对比度金字塔融合低通比率金字塔融合 多分辨率方法之小波变换方法,图像融合：图像分割,胡良梅,高隽,安良,胡勇.基于D-S证据理论的模糊聚类图像融合分割. 合肥工业大学学报，27(7): 721-724,2004 安良.模糊理论及其在图像分割中的应用研究. 合肥工业大学计算机与

12、信息学院硕士学位论文. 2003 思路：对图像的点灰度特征和块灰度特征分别进行模糊C均值聚类，将各自的模糊隶属度转化为单一假设或复合假设并得到其基本概率赋值，再利用D-S证据理论进行融合分割。实验结果表明该算法的分割效果优于传统的模糊聚类分割算法。,基于D-S证据理论的模糊聚类图像分割算法,FCM,FCM,Image Fusion：Edge detection,HU Liangmei, GAO Jun, HE Kefeng, XIE Zhao. Image Fusion Using D-S Evidence Theory and ANOVA Method. Proceedings of the

13、 2005 IEEE International Conference on Information Acquisition，Hong Kong and Macau, China, June 27 - July 3, 2005:427-431Problem： ANOVA method is somehow sensitive to threshold coefficient k and might not eliminate this uncertainty from information of single original image alone,Edge detection based

14、 on D-S Evidence Theory and ANOVA Method,Experimental result,two original out-of-focus clock images,多模态生物特征认证,胡勇, 高隽, 胡良梅. 一种基于手形和指纹的多模态生物特征识别系统. 第十三届全国神经网络学术大会，北京：人民邮电出版社，2003，360363 思路：以指纹图像的方向场和手形图像的特征为基础构建了一种多模态生物特征识别系统。该系统分别使用硬C均值聚类和模糊Knn方法作为识别层。以决策模板方法对多模态的信息进行融合。仿真实验结果表明，该系统具有较高的识别率和拒伪率。,基于指纹

15、和手形的多模态生物特征识别系统框图,多分类器的形状识别,HU Liangmei, GAO Jun, WANG Andong, HU Yong. A Neural Network Shape Recognition System Based on D-S Theory. The IEEE 6th International Conference On Intelligent Transportation Systems, Shanghai, China, 524-528, Oct. 12-15, 2003Key Words: D-S Theory, RBFN, Shape Recognition

16、,Network structure,Layer L1 ,composed of n units, computes the similarity of the input pattern X and n prototype patterns. Layer L2 computes the BBA(Basic Belief Assignment) associated with prototype pattern i.Layer L3 combines the n BBAs according to Dempsters Rule.,神经网络分类器,基于D-S证据理论的,4 研究现状和发展方向,4

17、.1 研究现状国际：从1973年开始迅速发展。1985年以来，先后出版了10余部有关信息融合方法的专著。国内：80年代末开始出现有关多传感器信息融合技术研究的报导 。90年代初，这一领域在国内才逐渐形成高潮。,美国是信息融合技术起步较早、发展最快的国家,1984年成立了信息融合专家组。1988年，美国国防部把信息融合技术列为九十年代重点发展研究开发的二十项关键技术之一，且列为最优先发展的A类。1998年成立的国际信息融合学会（International Society of Information Fusion，ISIF）总部设在美国，每年举行一次信息融合国际学术大会。美国国防部自从在海湾战争

18、实际体会到了信息融合技术的巨大潜力之后，更加重视信息自动综合处理技术的研究，在C3I（Command, Control, Communication and Intelligence）中增加了计算机，建立以信息融合中心为核心的C4I(Command, Control, Communication, Computation and Identification)。,其它西方国家也普遍重视信息融合技术的研究,英国陆军开发了诸如炮兵智能信息融合系统（AIDD）、机动和控制系统（WAVELL）等，并于1982年提出研制“海军知识库作战指挥系统”；1987年又与西德等欧洲五国制定了联合开展“具有决策控制

19、的多传感器信号与知识综合系统（SKIDS）”的研究计划。法、德等北约国家在这方面的研究工作也十分活跃，如汤姆逊公司已将信息融合技术应用于MARTHA防空指挥控制系统中。德国已在“豹2”坦克的改进计划中采用了信息融合、人工智能等关键技术。,4.2 发展方向,建立信息融合的基本理论，编撰信息融合辞典，规范领域术语和定义； 研究并完善兼有鲁棒性和准确性的融合算法；以模糊理论、神经网络、证据理论为代表的智能方法将是信息融合中比较有发展前途的几种数学工具；大系统中的信息融合技术，如算法分类和层次划分问题等； 发展并完善JDL模型，以解决现有JDL模型所不能处理的非军事应用问题；,4.2 发展方向（续）,

20、信息融合中的数据库和知识库技术的研究；针对具体应用问题，建立信息融合中的数据库和知识库，研究高速并行推理机制，是信息融合技术工程化及实际应用中的关键问题，是未来的研究重点之一。 建立系统设计的工程指导方针，研究信息融合系统的工程实现；信息融合系统是一个具有强烈不确定性的复杂大系统，如何根据现有理论、技术、设备，保证融合系统的精确性、实时性以及低成本是未来研究的重点之一。,4.2 发展方向（续）,建立信息融合系统的设计和评估方法。 应用领域的扩展；现有资料表明，信息融合已经成为智能信息处理的一种通用工具和思维模式，除了目前在军事、医学、地理科学、机器人、工程等的广泛应用外，在包括现代制造领域、农

21、业应用领域、经济商业领域等其它领域的应用是信息融合的一个重要发展趋势。 交叉学科的交流是未来信息融合技术研究的热点。作为现代信息技术与多学科交叉、综合、延拓产生的新的系统科学研究方向，信息处理及人工智能等领域的很多新技术都可以借鉴到信息融合的研究领域。,参考文献,高隽编著，智能信息处理方法导论.北京：机械工业出版社，2004Lawrence A. Klein. Sensor and Data Fusion Concepts and Applications. SPIE Optical Engineering Press, 1999 何友, 王国宏, 陆大淦, 彭应宁. 多传感器信息融合. 北京: 电子工业出版社, 2000 David L. Hall, James Llinas. An introduction to Multisensor Data Fusion. Proceedings of the IEEE. 1997, 85(1): 6-23 郁文贤, 雍少为, 郭桂蓉. 多传感器信息融合技术评述. 国防工业大学学报, 1994, 16(3):1-11,Thank you！,胡良梅Telephone number: 2901393E-mail: L 2005.3,