图像信息融合ppt课件.ppt

《图像信息融合ppt课件.ppt》由会员分享，可在线阅读，更多相关《图像信息融合ppt课件.ppt（60页珍藏版）》请在三一办公上搜索。

1、遥感信息融合,教学内容,1、概述,2、遥感图像融合方法,3、像元级融合算法,一、概述,在实际的遥感应用中会涉及到各种各样的遥感数据;,融合的目的在于提高图像的信息可用程度，同时增加对研究对象识别的可靠性，或者为进一步的专题信息的高效提取奠定基础。,图像融合是通过一定的算法将两个以上的图像数据结合在一起生成一个新的图像 ;,任何一个单一遥感器的遥感数据都不能全面反映目标对象的特征，也就是都有一定的应用范围和局限性;各类非遥感数据（包括地学常规手段获得的信息）也有它自身的特点和局限性,20世纪70年代:多源相关多传感器融合多数据融合概念;,20世纪80年代:数据融合;,20世纪90年代以后:应用范

2、围得到拓展,由军事领域进入其它应用领域,如:遥感图像处理、智能机器人、军事、医学、控制等领域得到了广泛的应用。,发展历程,图像融合是数据的融合重要的分支之一。,数据融合的定义,概念(军事领域，美国国防部): 数据融合是一个对多源数据进行多层次、多方面自动检测、联合、相关、估计和结合的过程。这个定义是数据融合的广泛定义. 1)强调了融合的多元性; 2)强调融合的过程性。,目前定义: 数据融合是一个公共的规范框架，框架包含用于联合源于不同传感器的数据的方法和工具。 融合的目的是得到更高质量的信息，对信息质量的评价随着应用的不同而异。,遥感图像融合,一般多指将不同类型传感器获取的同一地区的图像数据进

3、行几何配准，然后采用一定的算法将各图像数据中所含的信息优势或互补性有机地结合起来产生新图像数据的技术。,着重于把那些在空间或时间上冗余或互补的多源数据，按一定的规则（或算法）进行运算处理，获得比任何单一数据更精确、更丰富的信息，生成一幅具有新的空间、波谱、时间特征的合成图像。,1）遥感图像融合的三个层次,像元级融合,是指直接在采集的原始数据层上进行融合。它强调不同图像信息在像元基础上的综合，先对栅格数据进行相互的几何配准，在各像元一 一对应的前提下进行图像像元级的合并处理，以改善图像处理的效果，使图像分割、特征提取等工作在更准确地基础上进行，并可能获得更好的图像视觉效果。,最低层次的融合。是基

4、于最原始的图像数据，能更多地保留图像原有的真实感，提供其他融合层次所不能提供的细微信息，因而被广泛应用。 。,特征级融合,是指运用不同算法，首先对各种数据源进行目标识别的特征提取如边缘提取、分类等，即先从初始图像中提取特征信息空间结构信息如范围、形状、领域、纹理等；然后对这些特征信息进行综合分析与融合处理。,特征级不要求数据来自同类的数据源，因此理信息的覆盖范围更大，比如可以将遥感图像信息和地面信息融合。特征级融合是中等层次的融合，它首先将各种待融合的数据分别按照各自的处理方法进行待征提取，然后对提取出的特征进行融合。特征层处理的特点相当于对原始的信息进行了一次压缩处理，因此该种方法在预处理阶

5、段处理的信息量比像元级融合更大，融合中的计算量比像元级融合低，缺点是丢失了部分信息，因此精度比像元级融合差。,决策级融合,是指在图像理解和图像识别基础上的融合。是经“特征提取”和“特征识别”过程后的融合。首先从待处理的图像（原始图像、像元级或特征级图像）分别进行信息提取（分类），再将得到的增值信息或分类结果通过一定的决策规则进行融合来解决不同数据所产生的结果的不一致性，从而提高对研究对象的辩识程度。它是一种高层次的融合，往往直接面向应用，为决策支持服务。,图像融合的三个层次,2）遥感图像融合的技术,同一传感器遥感数据的融合,同一传感器对同一地区在不同时间扫描所得数据的融合；同一传感器在不同的波

6、段所得数据的融合；同一传感器在不同的偏光下所得数据的融合；同一传感器在不同的高度下所得数据的融合；,不同传感器遥感数据的融合,遥感与非遥感数据的融合,3）遥感图像融合的目的,1、提高空间信息、光谱信息,2、动态变化监测,3、增强特征,4、提高分类识别精度,5、信息互补,二、遥感图像融合方法,1）像素级的图像融合算法,1、代数法,（1）加法 像素级融合的最直接的方法就是对待融合的多幅图像直接进行平均运算。在数学上可以证明，多幅图像平均的结果是使图像的方差降低，这虽然有利于降低图像的噪声，但同时也使得图像的边缘、轮廓等重要信息变得模糊。,（2）减法 可以用于：区分不同的地物。假如物体甲对不同频率电

7、磁波的反射能力基本相同，而物体乙却有差异，那么对这两种物体的遥感图像进行相减操作，就可以提供一些区分这两类物体的信息；提取地物变化的趋势。将同一地区不同时间的遥感图像进行相减，可以从中得出这一地区地物光谱变化的信息。,（3）比值变换融合,比值变换融合算法： B1/（B1+B2+B3）D=DB1 B2/（B1+B2+B3）D=DB2 B3/（B1+B2+B3）D=DB3式中：Bi（i=1,2,3）-多光谱图像； D高分辨率图像； DBi（i=1,2,3）-比值变换融合图像；,例：TM和SPOT影像融合,（4）乘积变换融合 乘积变换融合算法按下式进行： DBi=DBi 通过变换融合得到的融合图像其

8、亮度成分得到增加。,（5）加权平均法 在加权平均法中，通过加权系数的最佳选取，可以达到最大限度的信息互补，加权系数可以通过计算输入图像的协方差矩阵的主元素对应的特征向量得到，与加法类似，这种方法也存在使图像边缘变模糊的情况。,2、变换域法,通过将图像变换到频域或其它变换域进行处理，如通过滤波方法、离散余弦变换等。,根据图像频谱的概念，高频部分对应图像中灰度急剧变化的部分，低频部分对应灰度变换缓慢的部分。对一幅遥感图像来说，高频分量包含了图像的空间结构，低频分量则包含了光谱信息，这一概念是多种变换域融合方法的基础，在金字塔算法和小波分解算法中，都使用了这个概念。,图像处理过程,（1）首先将待融合

9、的图像进行几何校正，分辨率配准。,（2）将高空间分辨率的全色图像进行高通滤波处理，提取出高分辨率图像的空间结构信息；,（3）将提取出的空间结构信息分别与高光谱图像的各波段进行融合处理（采用直接相加的方法）；,（4）将融合的结果重新进行假彩色合成；,3、色彩空间法与色彩映射法,彩色的数字表达可以使用不同的表达方法，如常用的红（R、G、B）系统和IHS系统。色彩空间法可以根据需要在不同色彩空间进行变换，主要包括IHS变换方法等；色彩映射法主要是指假彩色合成方法，它是利用人眼对色彩变化的分辨率比对灰度等级变化率更为敏感的原理，利用某种假彩色技术，将蕴藏在原始图像中的灰度信息用彩色信息表达，使得人对图

10、像细节有更为细致的认识。,4、多分辨率分析法,包括金字塔方法和小波分析方法等。一幅图像的金字塔分解是由一系列低通和带通结果伴随着抽样形成的，利用某种规则可以从源图像的金字塔分解中形成一个新的金字塔系数，再对其进行重构形成新的融合图像。常用的有高斯金字塔、拉普拉斯金字塔、比率低通金字塔、对比度金字塔等。,神经网络方法、证据理论方法、模糊数学的方法、推理理论方法等。,5、智能化方法,2）特征级、决策级融合方法,信息的不确定性：,1）随机性-随机数学,2）模糊性-模糊数学,3）不确定-证据理论,1）贝叶斯理论,假设各传感器系统提供的决策相互独立，就可以将这些决策看作一个样本空间的划分，使用Bayes

11、条件概率公式确定系统的决策问题。 设系统可能的决策为A1，A2Am，当某一传感器对系统进行观察时，得到观察结果为B，如果能够利用系统的先验知识及该传感器的特性得到各先验概率P（A）和条件概率P（B/A,)，则利用Bayes条件概率公式，根据传感器的观测将先验概率更新为后验概率p(A/B)：,缺点是：先验概论的确定困难；当有多个观测源和多个观测证据时，由于涉及到多个条件相关事件的概率，计算较为复杂；Bayes理论不能很好的表达总体的不确定性。,2）证据理论,证据理论是研究认识不确定问题的另一种理论，与Bayes理论不同，它认为对于概率推断的理解，不仅要强调证据的客观性，也要强调证据的主观性，概率

12、是人在证据的基础上构造出的对一命题的信任程度，证据理论可以根据各源信息对系统整体进行归纳与估计，做出正确的决策。证据理论允许把整个问题和证据分为若干子问题和子证据，在对子问题和子证据处理的基础上，利用Dempster组合规则，得到整体的解。,3）模糊综合评判方法,又称模糊综合决策，是利用模糊集理论对受多种因素影响的事物或现象做综合评判的方法，是事物评判过程中的一种多因素识别和判别过程。,要进行模糊综合评判，首先必须确定:（1）因素集U=u1，u2.，um；（2）评语集V=v1，v2，vn；（3）评判矩阵R = rij mn，其中rij表示从第i个因素角度做出第j个评语的可能程度。,4）神经网络

13、方法,神经网络能够实现一种特殊的非线性变换，把输入空间变换到隐层输出所形成的空间，使得在这个空间中其后的分类问题变得比较容易。这种变换是把一种特殊的特征提取准则最大化，可以看作是特征提取器的一种。而且神经网络的并行处理能力使得它计算速度快，可以对各种不同传感器的不同类型数据进行非线性并联并融合成一个矢量，神经网络在信息融合中有着广阔的应用前景。,3）融合效果评价,主观评价：目前主要是采用目视判读方法。,1）结果图像被降解到它原来的分辨率时，必须和原来的图像保持一致；2）结果图像应当和高分辨率图像尽可能一样；3）结果图像的光谱特性应当和多光谱图像尽可能一致。,图像的主观评价标准,客观评价,评价参

14、数,1）灰度平均值与方差,2）图像的信息熵,3）相关系数,三、像元级融合常用算法,1）HIS变换,2）主分量变换,3）比值变换,4）乘法变换,5）小波变换,1、预处理技术,目的：, 消除各种原因所引起的图像几何畸变，使得地物与遥感图像像元保持正确的对应关系；, 解决待融合图像之间（如TM图像与SPOT图像）的分辨率不同的问题；, 待融合图像的灰度级范围可能不一致，如果直接进行融合将造成光谱失真。,主要技术：, 几何校正, 分辨率配准,图像配准指的是从不同传感器、不同时间、不同角度获得的两幅或多幅图像进行的最佳匹配。同一地物在不同对象上的对应关系。,待融合图像的分辨率相同，但图像之间存在相对偏移

15、或几何畸变；,待融合图像的分辨率不同；,分辨率配准-插值；,插值图像放大示意图,？插值的对象？,黑点：原始图像的像素,白点：插值所得的像素,？插值前后图像信息量的变化？, 图像的灰度直方图匹配,直方图匹配就是首先把原图像的直方图变换为某种特定形态的直方图，然后按照己知指定形态的直方图来调整原图像各像素的灰度级，最后得到一个直方图匹配的图像。,2、加权融合,基于像元的加权融合对两幅图像Ii，Ij按下式进行： Iij=A（PiIi+PjIj）+B其中：Pi，Pj为两个图像的权，其值由下式决定：,ri,j为两幅图像的相关系数：,融合过程（SPOT全色和TM多光谱为例）,1）对两幅图像进行几何配准，并

16、对多光谱图像重采样使之与全色图像分辨率相同；,2）、分别计算全色波段与多光谱波段图像的相关系数,3）用全色波段图像和多光谱波段图像按下式组合,3、基于IHS变换的融合,IHS变换就是RGB空间与IHS空间之间的变换,RGB是最常用的色彩模型，面向硬件的，几乎所有的显示器都采用了这种色彩空间，正交坐标系统，优点是简单，其它的颜色空间必须转换到RGB空间才能显示。RGB彩色立方体。,IHS定义了一个柱形彩色空间。明度I、色度H饱和度S；,转换的必要性：人的眼睛不能直接感觉红、绿、蓝三色的比例，只能通过感知颜色的亮度、色调以及饱和度来理解颜色，而色调、饱和度与红、绿、蓝三基色之间的关系不是线性的，因

17、此RGB空间中对图像的增强较难控制，需要转换到IHS空间中来。,I（Intensity）主要表现图像的空间结构的信息，由图像的地物反射能量决定；,色度H（Hue）是指组成色彩的主波长，由红绿蓝色的比重所决定；,饱和度S（Saturation）它与色度合称为色品，主要反映地物的光谱信息。,IHS和RGB的转换算法,球体变换,S=0，当D=d,H=0, 当S=0H=60(2+B-G)，当R=D，S0H=60(4+R-B)，当G=D，S0H=60(6+G-R)，当B=D，S0,D=max(R,G,B),d=min(R,G,B),sub=D-d,柱体变换,三角变换,当RBG时,当GRB时,当BGR时,

18、单六角椎变换,D=max(R,G,B),d=min(R,G,B),sub=D-d，I=D,IHS融合实例：TM+SPOT,1）将三个波段数据（通常为低分辨率、多光谱图像）进行插值放大，使其分辨率与高分辨率图像保持一致,2）将三个波段的数据应用指定的变换公式从RGB空间变换到IHS空间；,3）将原I分量用另一高分辨率图像I 替换；,4）将I、H、S应用逆变换公式从HIS空间逆变换到RGB空间，生成融合图像 。,3IHS融合变换的缺点,（1）不可避免地出现光谱特征扭曲。,（2）多光谱图像参与变换的只能是三个波段。,4、基于PCA变换的融合,主分量变换又称为K-L变换，Hotelling变换，是一种

19、基于目标的统计特性的最佳正交变换。解决多个变量的情况是经常会遇到的；是一种降维处理技术，用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息，同时它们之间又是彼此独立的。,PCA变换的性质,（1）变换后的各分量正交或不相关,（2）变换后的各分量的非零平方期望或方差更加不均。,（3）能量向主分量集中。,PCA变换实例：TM+SPOT,步骤：,（1）待融合图像首先进行几何校正。校正好的图像要进行精确配准，要求误差在一个像素之内。,（2）计算n波段TM图像的相关矩阵,（3）计算上述矩阵的特征值与各特征值对应的特征向量；,（4）将特征值按从大到小的顺序排序，相应的特征向量也要跟着变动，将最终的结果记为,（5）计算各主分量,（6）将SPOT图像和第一主分量图像进行灰度直方图匹配，然后将第一主分量用SPOT图像替换；,（7）作逆主成分变换即得到融合后的图像。,TM5(R)4(G)3(B)图像,SPOT图象,TM图像第一主分量,主成分融合图像,1、各波段数据的统计特征分析,信息量最丰富前三个波段是?,2、各波段数据的相关分析,相关性最大的波段是?,3、各波段数据的主成分分析,PCA融合方法结果统计量,