高光谱遥感数据的特征选择与提取.ppt

1,第五章 高光谱遥感数据的特征选择与提取,本章主要介绍高光谱遥感数据的可分性标准，光谱特征选择，光谱自相关性分析，特征提取以及投影变换等内容。,2,高光谱遥感数据有助于我们完成更加细致的遥感地物分类和目标识别，然而波段的增多也必然导致信息的冗余和数据处理复杂性的增加。具体表现在：（1）数据量急剧增加：波段的增加，使得高光谱数据比传统数据多1-2个数量级，表现在显示，存储，管理方面相当繁琐（2）计算量增大：数据的膨胀导致计算机处理载荷大幅度增加，寻找有效地降维空间手段是必要的（3）统计参数的估计误差增大：利用统计方法为了达到比较精确的估计，样本个数一般是波段数的100倍以上，这在高光谱数据中往往无法实现，因此，导致了分类精度的普遍下降。,3,当光谱维数增加的时候，特征组合形式成指数倍增加，例如原始波段为N，优选后的光谱波段是M，那么光谱特征组合数为：N!/(N-M)!/M!。显然这个数目很巨大，直接导致了运算效率下降，因此，如何优化光谱特征空间，进行光谱选择非常重要。,问题提出？,4,该图列出了波段数增加时，不同的样本个数与类别可分性的变化,5,为了进行最优选择，我们需要一个准则来衡量。如果特征可以进行分类，那么我们利用分类的错误概率来作为特征选择的准则。前人的研究表明：可分性越高的特征，分类错误的概率越低，选择的特征越优。最优特征分类错误概率可分性,5.1 最优特征的选择可分性,6,可分性准则,选择可分性准则必须综合考虑两个策略：一、选择各类平均可分性最大的特征二、选择最难分的类别具有的可分性最大的特征第一个策略能均衡照顾到各类的可分性；第二个策略能照顾到最难分的类别。,7,设计光谱可分性的准则必须满足三个方面的要求（黄凤岗等，1998）：（1）与错误概率具有单调关系。这样准则取最大值的情况下，所得到的错误概率应该是最小的。（2）度量特性。设定两类地物类别i，j的度量特性为，越大，两类特征的分离程度越大。（3）单调性。新加入的特征，准则函数的值并不减小。,光谱可分性准则,8,满足这个策略的可分性准则有很多，归纳起来可以分为以下四种准则：（1）各样本之间的平均距离；（2）类别间的相对距离；（3）离散度；（4）J-M距离；,可分性准则所描述的指标,9,（1）各类样本间的平均距离,各类样本之间的距离越大，类别可分性越大，因此可以利用各类样本之间的距离的平均值作为可分性的准则。例如：常用的距离函数有欧氏距离，马氏距离，明氏距离等。但是，很多情况下，类别之间的平均距离并不一定代表了类别之间的可分性。如下图所示,10,两种分布的可分性比较,类别间的距离平均值不能完全反映类别的可分性,11,（2）类别间的归一化距离,根据费歇尔准则，分类时总是希望类内的离散度尽量小，类间的离散度尽量大，那么根据这个定律，可以作为相对距离的一个度量，度量的公式为归一化距离：,12,13,当我们用这个距离公式衡量类别的可分性的时候，存在这样的情况，无法衡量两类的差别：,14,（3）离散度,离散度可以克服当两个类别均值相等时，不能有效区分类别的局限，离散度表达式为：当类别多于两个时，可以用平均离散度来衡量类别可分性。,15,尽管离散度克服了类均值相等给归一化距离带来的麻烦，但是并非最优的类别可分性度量，当样本的分布存在的情况如下图所示的时候，离散度并不能有效的反映可分性（b的可分性显然要高于a）,16,（4）J-M 距离（Jeffries-Matusita）,J-M距离基于条件概率理论，其表达式可以近似为：P代表第i个像元属于w的条件概率。,17,总结,1）可分性准则中J-M距离的可分性效果是最好的，J-M距离实际上就是两类概率密度函数之差，基于先验概率和样本分布。2）离散度的可分性效果总体不如J-M距离，但是当各类模式分布相对集中，模式距离没有超出临界值时，也比较有效。3）归一化距离的衡量有效性又次之。加入样本均值十分接近，或者过于分散，会丧失有效性。4）各样本距离的平均值用来衡量可分性，效果最差。只有当样本的各个分布一致，且既不太离散也不太集中的特殊情况下，才有效。,18,5.2 光谱特征选择,19,通过特征选择，可以强化最具可分性的光谱波段，这里分为：光谱特征位置搜索和光谱距离统计。光谱特征位置搜索：根据专家对特定地物的物理化学性质和光谱特性分析，选择最具有排他性的光谱特征波段。光谱距离统计：在光谱可分性距离的统计准则下，选择光谱波段子集，使得在某一个光谱可分性距离统计准则下，其统计差异最大或者最优。,20,1.光谱特征位置搜索,特征位置通常是要确定特征吸收波段的位置分为以下三个部分：1）包络线去除（包络线归一化）包络线从外观上面来看，相当于光谱曲线的“外壳”，我们用连续的这种折线段来近似表示光谱曲线的包络线。,21,手工搜索：利用定义手工逐点直线连接突出的“峰”值点，并使得折线在“峰”值点的外角180度，然后用实际光谱波段值去除相应的波段值，这样归一化后，峰值点均为1，非“峰”值点均小于1。这样就很容易测定吸收特征参数。,22,计算机搜索：,23,由包络线去除法调整的明矾石光谱曲线,24,包络线去除前后的光谱反射率曲线对比,25,举例说明：经过包络线去除后，可以有效的区分高岭石与白云石的有效区间，这里挑选5个特征波段:B1(2.16)B2(2.18)B3(2.21)B4(2.32)B5(2.38),2）选择特征波段区分地物,26,以上的五个特征可以构成一个凸面几何空间，高岭石与白云石在这个投影变换后的特征空间集中在两个彼此分离的区间，两者能够完全区分,27,3）基于特征位置进行彩色合成,高光谱影像具有上百个通道，但是彩色合成只有三个通道，因此选择RGB的合成方案非常重要。利用特征位置，可以缩小候选区域，突出感兴趣像元光谱的提取以及感兴趣区域的划分。,28,下图是一种地物的光谱曲线，在1.4微米附近有一个特征吸收峰，如果在此特征吸收波段赋值为绿色，在两边的非吸收通道赋值为红色和蓝色，那么在RGB合成图像里面，紫红色的像元就应该是具有该吸收特征的地物。这样可以为我们进行ROI的选择提供帮助。,29,高光谱遥感图像波段众多，如何在可分性的基础上，从n个特征中选择m个最优子集？介绍两种算法：（1）单独选择法（按照平均可分性）根据可分性准则函数计算n个特征中每个特征可分性，然后根据各个特征的可分性大小进行排序，选择可分性最大的前m（nm）个特征。,2.光谱距离统计,30,（2）扩充最优特征子集（平均可分性）一、计算每个特征对应的所有类别的可分性，选择可分性最大的进入到最优子集当中；二、增加一个特征构成新的特征集，重新计算特征集合的可分性，选择最大的特征组合作为新的最优子集。三、重复执行第二步，直到最优的特征子集达到m个为止。,31,必须指出的是以上的算法均假设各个特征之间相互独立，没有考虑特征之间的相关性。实际上，各个特征之间是存在相关性的，首先应该剔除一些可分性小，与其他特征相关性大的特征，选择最优，可分性最大的特征组。,注意：,32,光谱距离统计,33,光谱相关性是指图像同一空间位置的像素在各波段有相似性。原因：光谱图像的每个波段图像的像素值，是相同区域地物对各个波段光的反射强度值，相邻波地物反射率是相近的，由此产生了一定的相关性。光谱相关性的大小很大程度上是由光谱分辨率决定的，光谱分辨率越高，统计相关性也越高。,5.3 光谱自相关性分析,34,光谱相关性波段选择,光谱波段选择一般遵循以下3个原则：一、所选择的波段信息总量要大二、所选的波段相关性弱三、目标地物类型要在所选的波段组合内与其他地物有很好的可分性。,35,选择最优波段的方法,（1）方差法。最简单的挑选方式，每一个波段中单个像元的亮度值与平均亮度值差的平方和，再取平均数。单波段的方差越大，表明波段的离散程度越大，信息量越丰富。,36,各波段的方差（标准差）反映了图像各像元灰度值与平均值总的离散度，一定程度上反映了各波段信息量，其值越大，所包含的信息量越大，地物之间越容易区分。下面以一幅128个波段的omis影像为例，介绍图像方差（标准差）所反应出来的图像信息量大小。,37,（a）第10 波段的图像,(b)第65波段的图像,（C）第126 波段的图像,38,图像在128个波段的标准差。可以看出，波段65-96这些波段的标准差较小（几乎都小于50），所以这些波段子集包含的信息量就少。而波段27-30，35-39，113-114，116-118的标准差较大（基本都大于400），这些波段包含的信息量就较多。高光谱遥感图像各波段的信息量分布并没有规律，在一个很小的波长范围内，各波段的信息量分布不均匀。就是相邻两个波段的信息量有时差别也很大。,39,（2）相关系数法,通过相关系数r（-11之间）来比较两个光谱图像之间的相关性，它反映了不同变量之间的相关程度，R越大，说明波段问信息重叠越大。它的大小取决于两个变量之间的协方差和它们各自的标准差，其计算公式为：这里定义j=i+1，即：比较相邻两个波段之间的相关性，可以用下面的表来显示,40,相邻波段之间相关系数表,41,用图像的直方图形式来统计相关性,42,43,44,相关系数也可以用来比较其他的参量,45,原理：由前面两种评判的原则组成。即：图像数据的标准差越大所包含的信息量也越大，波段间的相关系数越小，表明各波段图像数据的独立性越高，信息的冗余度越小。计算公式如下：S代表标准差，R代表相关系数此方法是目前最常用的波段选择方法。计算方法简单，易于操作，且更接近于波段选择的原则。,（3）OIF（Optimum index最佳指数）,46,利用Gearys C指数衡量空间相关性指标，衡量标准在于：通过该指数，选择出来的波段，在地物集中区域的灰度反差越大越好（图像清晰明了），波段之间越独立越好（消除相关性）。Gearys C指数公式如下：z代表感兴趣的属性值；w代表权值；i，j分别是两个不同像元,（4）空间自相关性评价,47,利用Gearys c值可以反映两个方面的情况:(1)反映影像质量。影像的Gearys c值越小，方差越大，影像质量越高例：选择某一幅高光谱图像，下面是它的两个不同波段影像。可以分别通过：目视；方差或Gearys值来判断两幅图像质量的差异。,48,Gearys c值反映波段之间相关性 分别为0.617与0.223,（2）选择波段。比较两个波段的比值图像的空间自相关值，Gearys c的值越小，说明构成比值的图像信息量越大，两波段应入选。例：选择两个不同的比值图像进行实验，第一幅是选择强烈相关的中心波长为：0.727与0.724；第二幅是选择不相关的中心波长为：0.727与0.548。,49,5.4 光谱特征的提取,光谱特征的提取是光谱特征空间降维的过程。现有的降维方法可以分两类：1、基于非变换的，如：利用光谱位置搜索进行波段选择，人工选取感兴趣波段，它的优点是保持了图像的原有特征；2、基于变换的方法，如：主成分分析PCA（K-L变换），最小噪声分离变换MNF，小波变换等，基于变换的降维方式的优点是可以经过若干变换直接将高维数据降低到几维，降维速度快。（主要进行描述的方法）,50,一、基于主成分变换,K-L变换是建立在统计特征基础上的多维正交线性变换，多波段图像通过这种变换后产生一组新的组分图像（按照方差从大到小排列）。组分图像数目可以等于或少于原来图像的波段数目。一幅高光谱图像通过KL变换能够把原来多个波段中的有用信息尽量集中到数目尽可能少的新的组分图像中，使图像数据得到有效的压缩，而且还能够使新的组分图像中的组分之间互不相关。几何学上：把原来的坐标系旋转形成新的坐标系，使新的坐标轴通过样本方差最大的方向。,51,为主分量变换后图像的m维向量 为主分量变换前图像的m维向量，变换矩阵为由原始图像的协方差矩阵的特征向量组成，特征向量是按其对应的特征值由大到小的顺序，重新进行排列而成,主成分分析方法可用变换矩阵表示如下：,52,根据KL变换的定义,有m个波段的高光谱图像KL变换的过程概括如下:,53,54,（a）第1波段图像,（C）第5波段图像,（d）第7波段图像,（b）第4波段图像,128个波段的omis影像进行主成份分析以后的结果图像,55,从图中可以看出变换后的新波段各主分量包含的信息量呈逐渐减少的趋势，,经KL变换后图像的标准差曲线图,56,K-L变换后部份波段的谱间相关系数,57,经过K-L变换后的RGB合成,一般人眼对灰度的分辨率只有二三十种，而对彩色的分辨要比对灰度的分辨多得多，256种彩色对人眼来说极为丰富。为此若一般的黑白图像处理成彩色图像，显然可提高原图像的分辨能力，获得更好的判读效果。原始遥感图像共有128个波段，所以有128*127*126种合成方案。对原始高光谱图像我们随机选择的50种方案。KL图像我们选择了30种方案，选出其中的两幅图像，对比如下：,58,原始图像的RGB图（R：10 G：40 B 70）,KL图像的RGB图（R：1 G：2 B：3）,59,原始图像与KL变换图像的对比,60,二、MNF变换(minimum noise fraction)最小噪声分离法,61,MNF组成：可以认为是由两个串联的主成分变换来组成。第一个主成分变换基于噪声的协方差矩阵进行的，去除相关性，重新调节图像中的噪声分布。经过这个处理以后，噪声在各个波段之间没有相关性。第二个主成分变换是标准的主成分变换。在变换后的前几个分量图像按照方差大小顺序进行排列，向后方差逐步减少，噪声逐步增大，甚至全部为噪声。,物理意义,62,提取图像端元光谱,当MNF变换完成之后，同时输出每个分量的特征值，绘制特征值曲线，当特征为1的时候，代表图像中只有噪声。端元光谱数量直接可以从特征值曲线上读取，即特征值值降到1的波段位置。这种判断方法并不一定正确，有时候需要增加维数。,夏桥PHI高光谱：80波段波长范围：0.41740.8544mm,63,mnf变换结果的第1分量，第4分量，第8分量，第13分量,64,三、穗帽变换,穗帽变换（K-T变换）：是一种基于图像物理特征上的固定转换，与PCA变换相比，转换后的图像具有明确的物理意义，不随数据而变，对于相同传感器获取的不同图像，变换结果可以相互比较，因而得到了广泛应用。,65,对于MSS数据和TM数据，提取植被或土壤信息的穗帽变换的变换系数矩阵分别为：,MSS,TM,66,实际应用中，对不同的数据，为防止出现负值，需要对变换后的像元矢量加一常数进行修正。穗帽变换对于处理Landsat/MSS和TM数据，尤其是提取的植被信息，由于是利用了所有波段的线性组合，提取的植被信息量比只利用两个波段的植被指数NDVI要高。穗帽变换的缺点是依赖于传感器，固定的转换系数对其他传感器不适用。,67,68,四、典型分析变换（CA）,与PCA主成分变换相比较 相同点：都是统计学角度出发的正交变换。不同点：PCA在对原始图像缺少先验知识的基础上计算原始图像的总协方差等统计参数 CA 针对具体的类别计算得到统计参量,变换矩阵能够使得变换后的典型成分轴具有最大的类间方差和最小的类内方差。变换后的典型轴按类别可分性大小依此排列。,69,典型成分分析方法的步骤为：（1）首先利用类别样本求出类内协方差矩阵（2）再求样本的类间协方差矩阵：（3）根据变换后，应当保证最大的类间方差和最小的类内方差，组建特征方程：（4）将由特征方程求出的特征值从大到小排列，并求出对应的特征向量矩阵，组建变换矩阵，对原始数据进行变换，即可完成CA变换。,70,典型成分分析方法以类间方差最大和类内方差最小作为优化条件，使变换后第一主成分包含了最大的类间可分性信息，同时降低了数据维数，有利于分类。但是，CA变换是基于类别统计分析的特征空间变换，对于高光谱数据，需要大量的训练样本，以便有足够高的样本数量和波段比，因此，得到类别协方差矩阵比较困难。,典型分析变换（CA）的优缺点：,71,5.5 高光谱投影变换,欧式空间三维空间：向量x1,x2,x3在三维空间上必然可以分解为 x1,x2,x3=x11,0,0+x20,1,0+x30,0,1 这三个分量可以将任何三维向量线性表出。所以三维向量组成的几何空间其实可以用这三个基表达出任何三维向量。向量和点对应，三维向量其实也是对应三维直角坐标系的一个点。n维空间：向量x1,x2,.,xn在n维空间上必然可以分解为 x1,x2,.,xn=x11,0,.,0+.+xn0,0,.,1 其实在n维空间上就是由n个基构成的一个线性组合。一个n维向量其实就是一个n维欧式空间的一个点。只不过是有n个向量的。,72,欧式空间单形体,在欧氏空间中中，只有（n1）个顶点的凸面几何体是n 维空间中最简单的形式，称之为单形体（simplex）。如一维空间中由两个点确定的线段、二维空间中由三个点确定的三角形、三维空间中由四个点确定的四面体等。,例如：在n维空间上，n+1个顶点的凸面单形体从0维变化到n维。,73,Boardman首先揭示了高光谱数据在其特征空间呈现单形体的结构，从而引入了凸面几何学的分析方法。高光谱图像上的每个像元在n个波段上的所有DN值在n维矢量空间中是一个点。假设：在满足所有DN值非负，以及满足每个像元都是由不同的纯净端元线性组合而成的基础上，一幅有n个波段的高光谱图像就是n维矢量空间中的一个凸面几何体，且图像中纯像元分布在凸面几何体的顶点附近，任何一个非纯像元均处在凸面几何体的内部或者外表面。因此，对凸面几何体的处理相当于对高光谱数据的处理。,74,利用凸面几何学（convex geometry）方法分析高光谱图像混合像元：在n维的光谱矢量空间上确定端元光谱坐标，然后以它们为顶点构成凸面几何体。n维特征空间代表n维凸面体。以n=2为例，代表两个光谱通道的二维光谱矢量空间。,75,凸面几何投影变换,凸面体的投影变换：将高维的几何体投影到感兴趣的低维空间上，以突显或压制某种特征，实现高数据的降维。因此，凸面几何体投影变换与特征提取类似。将以下变换认为是典型的投影变换：1）主成分分析，以方差作为投影指标 2）MNF变换，以信噪比作为投影指标。,76,凸面投影变换,1）原始高光谱图像特征提取。2）计算凸面集合体的顶点。3）对凸面几何体进行平移和旋转，在不同角度将凸面几何体投影到二维平面。4）选择最优的投影结果，在投影平面中对投影结果进行分类。,77,凸面投影变换应用：,应用1：小目标识别假设目标物可以认为是纯净的像元，那么在复杂的光谱空间背景下，显得非常集中。应用2：材料识别普通肉眼无法识别在真彩色图像上的地物类别，通过投影变换，可以进行空间上的区分和识别。,78,实验1：亚运村建材市场屋顶材料识别,79,实验2：奥体公园人工草坪和天然草坪,80,作业,1、描述几种可分性准则的定义和特点？2、对于高光谱遥感图像如何进行有效的特征提取？3简述包络线消除的步骤。4、简述投影变换的原理和具体应用。5、以ENVI软件自带的TM数据：can_tmr.img为例，具体说明MNF算法和KT算法实现的步骤和所得到结果的意义。,