第15章多光谱图像融合技术与ppt课件.ppt

第15章 多光谱图像融合技术与系统,为什么进行图像融合？,为什么进行图像融合？,为什么进行图像融合？,为什么进行图像融合？,为什么进行图像融合？,为什么进行图像融合？,多光谱图像融合的概念,多光谱图像融合是为了克服单一光谱成像系统图像信息不够丰富的缺点，利用不同光谱图像的冗余特性和互补特性重新进行信息组合，获得能反映各种光谱特点的图像的过程。,多光谱图像融合的基本步骤,(1)图像预处理包括图像归一化(灰度均衡、重采样、灰度插值)、图像滤波增强图像的色彩和图像的边缘等,多光谱图像融合的基本步骤,(2)图像配准图像配准是要将各幅参与融合的图像进行空间配准。图像配准可分为相对配准和绝对配准。相对配准指从同一类的多个图像中选择某一(波段)图像作为参考图像，然后将其他(波段)图像与参考图像进行配准。绝对配准则指以同一空间坐标系为参考系，将需融合的多幅图像都与此参考系进行配准。,多光谱图像融合的基本步骤,(3)图像融合，主要目的：(a)增加图像中有用信息的含量，改善图像的清晰度，增强在单一传感器图像中无法看见/看清的某些特性；(b)改善图像的空间分辨率，增加光谱信息的含量，为改善检测/分类/理解/识别性能获取补充的图像信息；(c)通过不同时刻的图像序列融合来检测场景/目标的变化情况；(d)通过融合多个二维图像产生具有立体视觉的三维图像，可用于三维重建或立体摄影、测量等；(e)利用来自其它传感器的图像来替代/弥补某一传感器图像中的丢失/故障信息。,多光谱图像融合的基本方法,像素级融合特征级融合决策级融合,1.加权融合,设A(x,y)和B(x,y)分别为两幅图像A和B的像素点，经融合后得到的融合结果图像为F(x,y)，那么对源图像的像素灰度值加权融合的过程可以表示为：,1.加权融合,通过主成分分析(PCA)法选择权值(1)计算两幅图像矩阵的协方差,1.加权融合,计算该协方差矩阵的特征值1和 2,2.基于金字塔分解的图像融合算法,基于金字塔分解的图像融合算法的融合过程是在不同尺度、不同空间分辨率和不同分解层上分别进行的 常用的金字塔分解技术有：Laplace金字塔、低通比率金字塔、梯度金字塔等,Laplace金字塔,Laplace金字塔,（a）对图像进行Guass金字塔分解 设源图像G0为高斯金字塔的底层（第0层），则高斯金字塔的第Gl层图像为：,Laplace金字塔,（b）由Guass金字塔建立Laplace金字塔,Laplace金字塔,(c)对两幅图像的Laplace金字塔分解图像进行融合,Laplace金字塔,（d）由Laplace金字塔重建图像,3.基于小波变换的图像融合算法,A图像,B图像,融合算法,融合图像,小波变换,小波变换,融合小波系数,小波重构,3.基于小波变换的图像融合算法,二维图像的小波分解：,二维图像的小波重构：,融合结果,原始微光 原始红外 加权平均 基于Laplace金字塔分解,融合结果,原始微光 原始红外基于低通比率金字塔分解 基于小波变换,融合结果,4.彩色图像融合,(1)直接映射法(2)TNO融合法(3)MIT融合法(4)基于空间色彩传递的图像融合方法(5)基于空间色彩传递的图像融合方法,直接映射法,红外图像送入R通道，将可见光图像分别送入G和B通道。优点：算法简单，利于实时处理缺点：融合图像的色彩不自然,直接映射法结果,TNO融合法,（1）确定两幅源图像的共有部分（2）每幅源图像中分别减去共有部分，得到每幅图像的独有部分（3）用两幅图像分别减去另一幅图像的独有部分得到细节增强图像（4）将所得的结果送入不同的颜色通道进行显示优点：TNO融合法运算速度快，利于实时处理缺点：融合图像的色彩不自然，不符合人的视觉感受,MIT融合法,MIT融合法是由麻省理工学院Waxman等人提出的。MIT融合法以中心-环绕分离网络为基础，应用生物视觉拮抗（Opponent）特征融合红外和可见光图像，算法内部对融合结果的颜色进行了重新映射，使得融合图像具有适合人眼观察的自然色彩。,基于 空间色彩传递的图像融合方法,（1）由RGB空间变换到LMS空间的过程,对LMS空间作对数变换，从而降低LMS空间数据的偏斜程度：,基于 空间色彩传递的图像融合方法,基于 空间色彩传递的图像融合方法,对logLMS空间进行正交化处理，从而变换到l空间：,基于 空间色彩传递的图像融合方法,首先按照直接映射法将不同光谱图像映射到RGB空间，产生直接映射彩色融合图像将RGB空间数据转换到空间 选择一幅参考的彩色图片，将其转换到空间，分别计算源图像和参考图像在l空间的均值和标准方差,基于 空间色彩传递的图像融合方法,然后，按照如下方式进行色彩传递 对目标融合图像的空间数据进行空间的逆变换，获得目标融合图像的RGB空间数据，即为最终融合图像数据,基于 空间色彩传递的图像融合方法,实验结果,实验结果,