图像融合及应用ppt课件.ppt

电子科技大学 光电信息学院 二一年5月6日,彭真明Email:pengzm_,第九章 图像融合及应用,C9 Image Fusion and its Application,主要内容,信息融合概述图像融合简介图像配准方法图像融合方法融合效果评价,主要内容,信息融合概述图像融合简介图像配准方法图像融合方法融合效果评价,1.什么是信息融合(information Fusion)？,数据融合技术是随雷达信息处理及C3I系统的发展而发展起来的。它对各种数据源进行综合、过滤、相关、识别和融合，得出战场态势图、进行态势威胁与判别，制定出作战行动方案，供指挥员决策参考。数据融合的过程就是各种信息源处理、控制及决策的一体化过程。,C3I Command（指挥），Control（控制）、Communication（通信），intelligence（情报）。3I系统，1953年首先在美国研制和建立，由于其对提高军队指挥效能和作战能力具有重要作用，因而受到世界各国高度重视。C4IC3I+Computers,一、信息融合概述,2.什么是图像融合？,图像融合(Image Fusion)是用特定的算法将两幅或多幅图像综合成一幅新的图像。融合结果由于能利用两幅(或多幅)图像在时空上的相关性及信息上的互补性，并使得融合后得到的图像对场景有更全面、清晰的描述，从而更有利于人眼的识别和机器的自动探测。,一、信息融合概述,起源：20世纪70年代初,3.图像融合技术的研究现状及发展,一、信息融合概述,20世纪70年代初，美国研究机构发现，利用计算机技术对多个独立的连续声纳信号进行融合后，可以自动检测出敌方潜艇的位置。这一尝试使得信息融合作为一门独立的技术首先在军事应用中得到青睐。,发展：20世纪80年代20世纪末,3.图像融合技术的研究现状及发展,一、信息融合概述,20世纪80年代后，对信息融合技术的研究更加活跃；国际上，关于信息融合的专著论文等数量可观；图像融合在军事和民用等诸多领域得到广泛的应用。,完善：20世纪末今,3.图像融合技术的研究现状及发展,一、信息融合概述,由于其研究领域覆盖范围的广泛性、多传感器数据形式的多样性以及融合处理的多样性和复杂性，信息融合理论至今尚未形成系统的理论框架和有效的通用融合模型和算法。大部分研究工作都是针对特定应用领域的问题来展开的。,国内出版物,参考书,国内出版物,1覃征等,数字图像融合,西安交通大学出版社,2005年2张永生等,天基多源遥感信息融合理论算法与应用系统,科学出版社,20053韩崇昭等,多源信息融合,清华大学出版社,20064那彦,焦李成等,基于多分辨分析理论的图像融合方法(研究生系列教材),西安电子科技大学出版社,20075李振华等,图像融合理论与应用,高等教育出版社,20076 胡良梅等,基于信息融合的图像理解方法研究,合肥工业大学 出版社,2007.7郭雷,李晖晖等,图像融合,电子工业出版社,20088 刘卫光等,图像信息融合与识别,电子工业出版社,2008,4.图像融合的应用领域,一、信息融合概述,近年来，图像融合(Image Fusion)技术得到迅猛发展，在遥感探测、安全导航、医学图像分析、反恐检查、环境保护、交通监测、清晰图像重建、灾情检测与预报等领域都有着重大的应用价值。,医学图像分析：,一、信息融合概述,一、信息融合概述,医学图像分析：,PET,CT,Fused image,遥感遥测：,一、信息融合概述,Spatial,Spectral,+,panchromatic&high geometric resolution,multi-/hyperspectral image&low geometric resolution,multi-/hyperspectral&high geometric resolution,遥感遥测,Surveillance and Targeting,Navigation,Satellites,Guidance/Detection Systems,一、信息融合概述,主要内容,信息融合概述图像融合简介图像配准方法图像融合方法融合效果评价,1、不同成像传感器图像的融合,电视图像(TV/Visible Image),红外/紫外图像(Infrared/UV Image),合成孔径雷达(Synthetic Aperture Radar，SAR),超声图像(Ultrasonic Image),X-RAY,CT,PET,核磁共振(Magnetic resonance imaging,MRI),二、图像融合简介,因此，红外图像融合包括与不同成像传感器图像的融合，及不同波段的红外图像的融合。,2、图像融合的层次（或级）像素（pixels)级融合 对应像素的融合。特征(Feature)级融合 对应特征的融合 决策(decision-making)级融合 在、级基础上，通过分类、识别和综合评价，进行的最后决策。,二、图像融合简介,像素级融合,决策级融合,特征级融合,二、图像融合简介,可见光图像,远红外图像,融合结果一,融合结果二,二、图像融合简介,可见光图像,红外图像,融合结果一,融合结果二,二、图像融合简介,Focus on right part,Focus on left part,Image taken using auto focus function,Fused image,二、图像融合简介,3、图像融合的基本流程,图像预处理,二、图像融合简介,主要内容,信息融合概述图像融合简介图像配准方法图像融合方法融合效果评价,IR,MMW,RADARSAT,IRS,Multi-modality Registration Examples,2 图像配准简介 图像配准是是像素级图像融合的先决条件，从不同探测器、不同时间、不同角度所获得的两幅或多幅图像在空间上的最佳匹配。其中一幅是参考图像数据，其它图像作为待配准图像与之匹配。,图1 待配准图像,图2 参考图像,三、图像配准(Image Registration),三、图像配准,配准原理,图1与图2之间存在一个缩放、旋转、平移的关系，图像配准的目标就是找到这三种变换的对应关系。即：,其中g表示二维空间坐标变换。配准的目的就是要找出最佳坐标，灰度变换参数。,Figure 3:Feature Detection,Figure 4:Feature Matching(Images adapted from Zitova,2003),Image Registration,Image Registration,Figure 5:Transformation Model Estimation,Figure 6:Image Resampling and Transformation(Images adapted from Zitova,2003),配准步骤 图像配准的过程也就是“确定空间变换模型求解变换模型参数”的过程。1.搜索空间2.特征空间 3.搜索策略 4.相似性度量,搜索空间是待配准的图像坐标之间所有可能的变换关系。例如：刚体变换仿射变换投影变换非线性变换等,三、图像配准,配准步骤 图像配准的过程也就是“确定空间变换模型求解变换模型参数”的过程。1.搜索空间2.特征空间 3.搜索策略 4.相似性度量,三、图像配准,从待配准的图像中提取出来用于匹配的特征，包括边缘、轮廓、面目标拐角、曲线上的交叉点和高曲率的点等地物特征以及人工选取的配准控制点等外部特征。,配准步骤 图像配准的过程也就是“确定空间变换模型求解变换模型参数”的过程。1.搜索空间2.特征空间 3.搜索策略 4.相似性度量,在搜索空间寻找最佳的变换模型参数的过程中所采用的方法。,三、图像配准,配准步骤 图像配准的过程也就是“确定空间变换模型求解变换模型参数”的过程。1.搜索空间2.特征空间 3.搜索策略 4.相似性度量,衡量搜索空间中不同的参数变换模型的优异程度。,三、图像配准,图像几何变换 对图像进行重新采样和插值 配准实例,待匹配图像 参考图像,匹配图像 与参考图像的叠加效果,三、图像配准,通过相关判据求出匹配点求解仿射变换参数,特征点,匹配点,三、图像配准,(c),Original images,Results,Example 1,Original images,Results,Example 2,主要内容,信息融合概述图像融合简介图像配准方法图像融合方法融合效果评价,简单组合式图像融合方法,逻辑滤波器法,数学形态法,图像代数法,空间域融合方法,HIS变换,PCA变换,高通滤波法(HPF),塔式分解法,变换域融合方法,小波变换法,四、图像融合方法,常用的融合方法,四、图像融合方法,1、空间域融合方法,常见的融合规则：,对应像素取最大值 对应像素取最小值 对应像素取平均值 加权平均法 逻辑运算,简单组合融合（取小）,融合实例,对应像素取平均,融合实例,对应像素加权平均,融合实例,RGB-IHS变换法。,Brovery 变换法。,四、图像融合方法,2、颜色空间变换法,IHS(Intensity，Hue，Saturation),四、图像融合方法,(1)RGB-IHS变换法,I,R,G,IHS柱形空间,对任何3个0,1范围内的R、G、B值都可以用下面的公式转换到对应IHS模型中的I、H、S分量：,（5）RGB-IHS变换法,高空间分辨率全色影像 P代替I分量。,逆变换过程中可有不同的变换模式,HIS变换过程也有多种模式,因此该方法有多种模型。,四、图像融合方法,(1)RGB-IHS变换法,(2)Brovery 变换法,Brovery 变换是一种颜色归一化变换方法，它将RGB影像进行多光谱波段颜色归一化，并将高分辨率全色影像与各个波段灰度值分别相乘得到融合影像。,融合后的第 i个波段影像的灰度值,原波段影像的灰度值,高分辨率影像的灰度值,四、图像融合方法,四、图像融合方法,3、小波变换法,首先，将已经配准后的两幅（或多幅）图像分别进行小波变换，分解为小波系数；然后，将其对应的小波系数依据一定的准则进行融合，最后，将融合的系数进行逆变换，进行图像重构，即可获得融合后的图像。该方法充分利用了小波分解的多尺度、多分辨特性。,低频,四、图像融合方法,小波变换示意图,Wavelet Transform,小波变换示意图,四、图像融合方法,小波1级及2级分解图示,小波变换图像融合流程,四、图像融合方法,融合规则 多数融合算法都是基于这样的假设，即图像中的特征都表现在小波系数绝对值大的地方，因此出现了一些基本规则：,四、图像融合方法,取最大值加权平均法 方差协方差准则 梯度准则局部能量法,小波变换图像融合Malab 代码,四、图像融合方法,X,map=imread(E:Fusion_imgTV_002.bmp);X1=X;map1=map;subplot(2,2,1);image(X1);colormap(map1);title(电视图像);X,map=imread(E:Fusion_imgIR_002.bmp);X2=X;map2=map;subplot(2,2,2);image(X2);colormap(map2);title(红外图像);c1,l1=wavedec2(X1,1,sym4);c2,l2=wavedec2(X2,1,sym4);c=0.5*(1.2*c1+0.8*c2);XX=waverec2(c,l1,sym4);,subplot(2,2,3);image(XX);title(融合结果一);Csize1=size(c1);for i=1:Csize1 c1(i)=0.8*c1(i);endCsize2=size(c2);for j=1:Csize2 c2(j)=1.2*c2(j);end c=0.6*(c1+c2);XXX=waverec2(c,l2,sym4);subplot(2,2,4);image(XXX);title(融合结果二);,小波单尺度分解融合举例,四、图像融合方法,Panchromatic Image,Multispectral Image,Basis:IHS transform and filtering in the Fourier domain.,4、Ehlers Fusion,四、图像融合方法,Original panchromatic image,Panchromatic Spectrum,四、图像融合方法,4、Ehlers Fusion,Filtered Panchromatic Spectrum,Filtersetting effects,Filtered panchromatic image,Fused image,Effects in the spatial domain,Filtered Panchromatic Spectrum,Filtersetting effects,Filtered panchromatic image,Fused image,Effects in the spatial domain,Filtered Panchromatic Spectrum,Filtersetting effects,Filtered panchromatic image,Fused image,Effects in the spatial domain,主要内容,信息融合概述图像融合简介图像配准方法图像融合方法融合效果评价,五、融合效果评价,经过各种方法融合后的图像质量，需要客观的评价，评价方法大致可以分为：主观评价定量评价,依靠人的主观感觉对融合图像效果进行评价。由于受到人的视觉特性、心理状态、感兴趣目标不同等因素的影响，采用主观评价方法对图像融合效果进行客观的评价十分困难。,五、融合效果评价,经过各种方法融合后的图像质量，需要客观的评价，评价方法大致可以分为：主观评价定量评价,定量评价可以对图像融合质量进行客观定量的分析，通过不同的评价指标来区分融合结果的优劣。,其中：,五、融合效果评价,一般定量评价采用的指标：,1、熵：,2、交叉熵：,3、交互信息量：,4、空间频率：,图像融合实例 不同小波，采用能量法：,(a)可见光图像(b)红外图像,五、融合效果评价,(c)Haar小波(d)W5/3小波,(e)Daubechies9/7小波,图(a)为一幅花丛可见光图像，没有目标；图(b)是该场景的红外图像，一支隐藏的手枪(目标)清晰可见，融合的目的是提高图像的信息量。从图(c)，(d)，(e)可以看到，融合后，目标和目标的背景都得到了很好的保留。,五、融合效果评价,从表中可以看到，采用Daubechies9/7小波进行融合实验得到的融合图像，具有更多的信息量，与源图像对应像素的差异最小，相关性更强，细节更丰富，因此综合指标是最佳的。,五、融合效果评价,定量评价指标：,附：图像融合的发展方向,1、配准方法的研究,2、融合方法的研究,3、快速并行算法的研究,如新的相似准则(Hausdorff距离)，弹性配准方法等。,如脉冲耦合神经网络(PCNN)法，Kalman滤波，第二、三代小波变换法及新的特征融合技术等。,多传感器信息融合的快速并行算法等。,Edge Detection,-,-,-,附：图像融合的发展方向,Highpass Filtering,Correlation,附：图像融合的发展方向,主要内容,信息融合概述图像融合简介图像配准方法图像融合方法融合效果评价,Any queastions!,