毕业论文红外图像融合探讨与研究.doc

摘 要图像融合通过提取和综合来自多个传感器图像的信息，获得对同一场景(或目标)的更为准确、全面、可靠的图像描述，以便对图像进行进一步的分析、理解以及目标的检测。在军事、遥感、机器人、医学图像处理以及计算机视觉等领域必将有着更广泛的应用前景。本文主要在红外图像的融合现有研究成果的基础上做了进一步的研究。研究主要内容如下:1、研究了基于 PCA 分块结合高通滤波的红外图像融合算法。依据多聚焦图像的特征结合 PCA，探讨了一种新的清晰度指标，并以此为基础上讨论了图像融合算法。2、研究了基于焦点区域检测的红外图像融合算法。利用像素与邻域内像素方差判断清晰与否，在此基础上讨论了焦点区域的检测的图像融合算法。3、以小波变换为基础，针对图像的低频部分的融合进行了研究，由此探讨了基于低频边缘特征和能量特征的融合规则。4、研究了基于空域和频域的图像融合的基础上，探讨了一种基于图像分块和小波变换的红外图像融合算法。关键词：红外图像融合，PCA，清晰度指标，区域检测，小波变换 ABSTRACTImage fusion through the extraction and comprehensive from several sensors image information, get to the same scene (or target) more accurate, comprehensive, reliable image description, so as to further analysis of image, understanding and target detection. In the military, remote sensing, robots, medical image processing and computer vision field will have more extensive application prospect.This paper mainly in the infrared image fusion the basis of current research achievements have been further research. Investigate the main contents are as follows:1、 Based on the PCA block combination of infrared image fusion high-pass filter algorithm. According to the focus map,like features combined with PCA, discusses a new definition index, and, on this basis, discuss the image fusion algorithm.2、 Based on the focus of the region detection infrared image fusion algorithm. Use of pixels and neighbourhood pixels.Variance judgment clearly or not, on the basis of the focus of the discussion area detection algorithm of image fusion.3、 Wavelet transform-based, low-frequency part of the image fusion research, which explores the based on the low-frequency edge of the characteristics and energy characteristic of fusion rules.4、 Based on the spatial and frequency domain of image fusion, and on the basis of the discussion based on image block and wavelet transform infrared image fusion algorithm.Keywords: infrared image fusion, PCA, clarity index, regional test, wavelet transform目 录第一章 绪 论11.1 图像融合技术在国内外的发展11.2存在的问题21.3 本文的主要工作3第二章 红外图像融合的基本原理52.1 几种常见的图像52.1.1 可见光图像52.1.2 红外图像52.2 图像融合的定义62.3 图像融合的目的和要求62.4 图像融合的难点72.5 图像融合的层次72.5.1 像素级融合72.5.2 特征级融合82.5.3 决策级融合82.6 常用的图像融合方法及分类82.6.1图像融合的方法82.6.2 图像融合的分类9第三章 PCA的算法以及在图像融合中的应用113.1 PCA原理113.2 PCA的目标123.3 PCA的算法143.3.1 PCA基本原理143.3.2 主成分的求解步骤143.3.3 主成分的求解方法1534 PCA在红外图像融合中的应用以及具体算法153.4.1 多聚焦图像的成像原理163.4.2 红外图像基于PCA的融合方法173.5 PCA图像融合流程21第四章 实验结果和分析234.1 PCA运行程序234.2 实验结果284.3 对该程序的评价28第五章 总结和展望29致 谢31参考文献33第一章 绪 论1.1 图像融合技术在国内外的发展图像融合技术最早被应用于遥感图像的分析和处理中。1979年，Daily等人首先把雷达图像和LandsatMSS图像的复合图像应用于地质解释，其处理过程可以看作是最简单的图像融合口。进入80年代后，美国三军总部对多光谱图像融合技术和战略监视系统一直给予高度重视；研制出了应用于大型战略系统、海洋监视系统和小型战术系统的第一代信息融合系统，并逐年增加对图像融合技术的投资力度。到八十年代中后期，图像融合技术开始引起人们的关注，陆续有人将图像融合技术应用于遥感多光谱图像以及一般图像(可见光图像、红外图像、多聚焦图像等)的分析和处理。1985年，Chiche等提出了将SPOT卫星图像中的全色(PAN)通道与多光谱(MS)模式结合来增强图像的敏锐效果61，从此将PAN与MS图像进行融合成为遥感领域提高多光谱图像空间分辨率的常用方法。九十年代后，对图像融合技术的研究呈不断上升趋势，研究应用领域不断扩展，各种军用民用图像融合系统也陆续问世，海湾战争中的“LANTIAN”吊舱就是简单的多传感器信息叠加显示的图像融合系统f_7；1994年，美国开发研制出了战场便携式实时多光谱成像融合和景物区分系统；英国也以H类通用组件为基础研制出具有图像融合处理功能的双波段热象仪；1998年，基于多传感器模型融合的目标识别和可视化系统问世；2000年，MIT林肯实验室开发了四传感器图像融合夜视系统：2001年6月GE公司推出了可以融合PET和CT图像的Discovery LS产品17J。近几年，图像融合技术已成为计算机视觉、自动目标识别、机器人、医学成像、信息安全、反恐安全检查以及军事等领域的热点研究问题。荷兰的CWl(Center formathematics and Computer Science)和TNO Human Factors Research Institute，美国的MIT Lincoln实验室和Lehigh University，加拿大的McGill大学等机构都在这一领域投入了大量的人力、物力进行相关研究。除了基础理论的研究，图像的应用也得到较大发展。图像融合目前已经成为众多学科的研究人员一个重要的讨论和研究的方向。由于众多科研工作者的努力该技术取得丰富的成果，即在医学、测量、地理信息系统、工业、智能机器人以及军事等领域发挥着重要的作用。国内对图像融合理论和技术的研究起步较晚。二十世纪九十年代这一领域在国内才开始逐渐形成高潮并取得了较快的发展，1999年10月，由我国和巴西联合研制的“资源一号”卫星发射升空，卫星上安装了我国自行研制的CCD相机和红外多光谱扫描仪。目前，上海交通大学，中科院上海技术物理研究所，武汉大学，中科院遥感卫星地面站，中科院遥感所，哈尔滨工业大学，湖南大学，西安电子科技大学，北京理工大学、西安交通大学信息融合重点实验室等单位都有相关人员从事这一领域的研究。目前，对图像融合技术的应用研究已经涉及军事和民用的多个领域，如目标跟踪与识别和战略监视、国防安全和反恐安全检查以及信息安全航空与夜视、地球观测、工农业监视、医学成像口等。但从技术研究的方法来看，各种理论的出现或发展不断推动着图像融合技术的发展，产生了各种像融合方法，例如，线性 PCA、HSI 变换等等; 多分辨率分析技术(金字塔式分解和小波分解技术)更是促使图像融合成为研究的热门话题，而且在实际的工程当中成功运用也大大的推动了该技术的发展。就多聚焦图像融合而言，大致分为两类。一类是在空间域的图像融合方法。这类方法一般是根据某种清晰度指标辨识出清晰区域，然后将图像中清晰的区域合并起来。但是，该方法由于加窗的原因会会导致块效应，对融合图像的质量会产生很大影响。另一类是基于多分辨率分析的融合方法，该方法要是在不同频率域上根据一定的准则选取系数得到融合图像。该类方法有小波变换方法等。目前，也有许多学者将人工智能运用到多聚焦图像的融合中，比如马义德等把 PCNN 应用到多聚焦图像融合当中，为多聚焦图像融合的并行算法提供了一个研究的新方向。1.2存在的问题近年来，红外图像融合技术从产生、发展到成功运用于实际工程都是非常迅速的。但是该技术并不是已经非常完美了，它还有诸多需要解决的问题，比如：1. 目前对红外图像融合的方法的研究是建立在一般融合技术基础上的，所开展的研究工作处于试探性或仿真性的阶段。图像融合虽然有如人工智能、小波分析等前沿技术应用，但是系统理论不够完备。2. 现有算法缺乏针对不同的图像信息而具备稳定性。比如基于块融合算法当中，固定大小的块对某多聚焦图像融合有效，但用于其它图像时效果就会受到较大影响。3. 根据其本身应用需求，红外图像融合对实时性要求较高，而现有算法少有并行执行，这就限制了融合的效率。1.3 本文的主要工作1. 阐述了课题的研究目的和意义，对国内外在该领域中的研究现状及存在的问题作了简要的介绍。2. 介绍了空间域的多聚焦图像融合方法，主要对清晰度的标准进行了分析探讨，并在此基础上对图像分块的融合算法进行了分析。3. 考虑到分块算法在清晰和模糊的边界区域存在的块效应这一问题，讨论了一种进行焦点区域检测的图像融合方法。4. 以传统的小波融合技术为基础，分析了图像分解后的低频部分的边缘以及能量特征，并探讨了该方面的改进方法。5. 为了避免对所有的多聚焦图像块进行小波变换，讨论了一种结合图像分块和小波变换的多聚焦图像融合算法。6. 对以上提到的算法分别进行了仿真，并与相关算法作了对比分析。第二章 红外图像融合的基本原理2.1 几种常见的图像人眼所能感知的可见光仅是电磁波谱中极窄的段。红外成像大大拓展了人类的视野，使人们能“看见”原来所不能看到的信息，如能“观察”到漆黑夜间的景物，能透过云雾识别云雾后面的景物等；而其他电磁波段的成像，将向我们展示客观世界本身固有的其他的“不同面目”，使我们对时空的观测和理解、对人类自身结构的观测和理解得到进一步的深入，获得不同的全新体验。2.1.1 可见光图像可见光传感器和红外传感器是两种最常用的传感器。可见光成像传感器获取场景的各种反射信息，有较高的时空分辨率，所成的图像含有丰富的几何和纹理细节，能够提供目标所在场景的细节信息，有利于观察者对场景的整体认知。可见光图像是人们最熟悉，最易于释义的图像。但是可见光传感器在恶劣的天气条件下大气的穿透成像能力较差，在夜间的成像能力尤其差：另外，大气湍流引起光路中空气折射指数的随机波动，会导致图像的随机模糊。2.1.2 红外图像红外成像传感器可以分别在近红外、短波红外、中波红外和热红外波段成像。其中，近红外(07-11pm)波段的成像传感器的作用机理与可见光成像传感器相似，主要依靠探测场景的反射成像，它在黄昏和拂晓前后所成的图像中含有相当丰富的图像细节信息。中波红外(3-59in)和热红外(814vm)波段的成像传感器主要通过获取场景的红外辐射成像，具有更好的云雾穿透能力。8-12“m波段的红外器件不会像近红外夜视器件那样受可见光闪光的影响，不会因机动车和亮闪光灯的影响而饱和；工作在这一波段的红外器件还可以有效地抑制海背景杂波干扰，广泛用于探测海面舰船和低空飞行的飞机。由于红外成像传感器是靠探测目标与背景间的热辐射差异来识别目标的，因而具有特殊的识别伪装的能力，如能发现隐藏在树林和草丛中的人员、车辆与火炮等。在夜间，由于不同景物之间存在着温度差，因此所成的图像仍能显示景物的轮廓，且能够根据物体表面的温度高低及发射率高低而从背景中区分发现重要目标。尽管红外成像传感器对热目标的探测性能较好，但由于热目标的红外辐射率高于背景，所以图像中包含的背景细节很少，且成像的分辨率较低，不利于人眼判读口。当场景的热对比度很低291或者人身有厚重的冬衣覆盖(隐匿武器检查应用中)口M时，红外传感器会失效；衣物的褶皱由于接近人体温度，会严重的干扰对武器的探测。另外，由于大气辐射对红外传感器的影响，红外图像中包含严重的起伏背景。2.2 图像融合的定义图像融合是通过一定的算法，用多幅源图像(即输入图像)生成一幅或几幅图像的过程，生成的融合图像有着单一源图像所不具备的优点，含有更多、更准确的信息，从而更适合于人Itti机器视觉或者更适合后续的图像处理任务口融合图像去除了源图像中的部分冗余信息，信息量较源图像的总的信息量有了明显的减少对多传感器图像进行融合要比设计一个能够生成具有融合图像性质的传感器要更加方便和经济。通过对多传感器图像进行融合可以提高系统的性能，如探测、跟踪、识别的能力；可以提高系统的鲁棒性和容错性能：可以覆盖更广的空域和时域，获得多观察点信息，从而更准确地获得被测对象或环境的信息；能在更短的时间内以更小的代价获得与单一传感器系统相同的信息；可以大幅度减少传输信息量，降低对通信系统的要求：有效地减少呈现在观察者面前的图像数量，缓解观察者的工作压力；提高获取的信息的精度与可靠性。2.3 图像融合的目的和要求图像融合技术所处理的二维图像数据可能在传感器类型、观察条件、相机位置或获取时间上有所不同。这些图像中含有互补的信息和冗余的信息，冗余信息包括一致的和冲突的信息，其中冲突信息是必须去除的。所以图像融合应该：通过互补信息提高系统的完备性口；通过冗余信息降低信息的不确定性、不准确性和模糊性，提高系统的可靠性和置信度；降低冗余度：去除源图像中的冲突信息；从而对探测器缺陷进行补偿口”，并获取场景的准确的、有意义的解释。不同应用对图像融合有不同的要求，如对于视觉辅助任务，要求图像融合算法输出一幅更适合人的视觉感受的彩色或灰度融合图像，此融合图像应该含有某种形式的能够吸引观察者注意的信息；对于形势估计应用，要求实现实时处理；对与ESVS(EnhancedSynthetic Vision System)应用，要求融合图像中包含尽可能多的传感器图像信息脚。总的来说，图像融合应在不引入人为污染物与失真的前提下，将源图像中的所有重要信息纳入融合图像中，并将源图像中的噪声降到最低程度；要求融合处理算法在时空校准等前期处理效果不理想时，仍具有一定的鲁棒性。2.4 图像融合的难点待融合的源图像的不完美性、冗余性、互补性和异性，以及图像融合的应用环境和目的的多变性，决定了图像融合的特殊性和复杂性。下面总结几个在图像融合过程中可能遇到的难点与问题：1、如何充分利用源图像中的互补信息；2、如何去除冲突信息对融合效果的影响；3、对于有红外图像参与的图像融合，很难分辨材料边缘和温度边缘。在融合过程中如何处理好两者的关系，从而得到更好的融合效果：4、图像融台技术还很不成熟，各类融合算法各有优点和不足，在实际应用中如何选取最优的图像融合算法也是影响图像融合应用的难点之一。另外，由于图像融合算法和应用的复杂性，图像融合的效果评估问题一直没有得到较好的解决，成为图像融合领域的难点和亟需解决的问题之一。2.5 图像融合的层次图像融合可以在三个不同的处理层次：像素级(低层次)，特征级(中间层次)和决策级(高层次)上进行。2.5.1 像素级融合像素级融合是直接对源图像的像素数据进行关联、取舍等融合处理，而后对融合图像进行特征提取和属性说明的图像融合。它对原始图像不进行处理或只进行很少的处理，但要求参与融合的图像的配准精确达到像素级或亚像素级。在信息处理层次中像素级融合的层次较低，故也称其为低层次融合。像素级融合的优点是：尽可能多地保留了场景的原始信息，能够提供其他层次融合不能提供的细节信息。缺点是：计算量大，对计算机的存储量和速度要求较高，所需的处理时间长，实时性差；对图像配准的要求高：数据通信量大。像素级融合产生的融合图像可以用于实时性要求不高的视觉辅助任务，帮助观察者探测和识别潜在目标，正确地对形势作出估计。2.5.2 特征级融合特征级融合首先对每幅源图像进行特征提取，形成特征向量，并对其进行融合生成融合特征向量。常用的典型特征包括：边缘、形状、大小、方向、区域、轮廓或距离等。特征级图像融合是介于像素级和决策级之间的融合方式，又称为中间级融合。与像素级融合相比，特征级融合针对特征集进行融合，实现了可观的信息压缩，大大减小了计算量，有利于实时处理；但却有较多的信息丢失。特征级图像融合适用于提高实时监测的性能的应用中。目前大多数C3I系统的数据融合研究都是在该层次上展开的。2.5.3 决策级融合决策级融合对每幅源图像进行单独决策，然后将这些决策进行融合生成整个系统的决策。决策级融合是最高层次的图像融合。它的实时性最好，处理速度最快，具有很好的容错性和开放性，但它的信息损失量最大，且在融合之前，需要采用大型数据库和专家系统模拟人的分析、推理、识别、判决过程，对各传感器数据进行独立的预处理花费较大。2.6 常用的图像融合方法及分类2.6.1图像融合的方法l、简单的逻辑或加权平均法：这类融合方法是最简单的融合方法，它们不对参与融合的源图像作任何变换或分解，也不考虑图像像素间的相关性，而是直接对其像素的灰度值进行“与”、“或”运算或加权平均来获取融合图像的像素值。加权平均法权重的确定方法有多种，如主分量分析法和平均法。主分量分析法对所有源图像灰度的协方差矩阵进行主分量分析，将最大特征值对应的特征向量作为各幅输入图像的权值；平均法对各幅源图像取相同的权重，是最简单的加权平均法。加权平均法可以降低图像的噪声，提高融合图像的信噪比。简单的逻辑法和加权平均融合算法容易实现，但自适应性差，多数情况下处理效果不理想。2、基于IHS(IntensityHueSaturation)的算法：其基本思想是先将源图像(一般为RGB图像)变换到IHS空间，在IHS空间完成融合后再变换回RGB空间。3、基于主分量分析(PCA)的算法：通过主分量分析获取源图像的重要信息并对它们进行重组，最终得到融合图像。4、基于多分辨率分解的融合算法：这类方法是目前人们最常使用的像素级融合方法，其基本思想是：先对每幅源图像进行多分辨率分解(MILD)；然后依据一定的融合规则构造综合多分辨率表示；最后对综合多分辨率表示进行反变换得到融合图像。常用的多分辨率分解方法有：高斯金字塔、拉普拉斯金字塔、低通比率金字塔、梯度金字塔和离散小波变换等。图像的多分辨率分解融合方式与人眼视觉系统对图像信息的处理极为相似，这类方法对图像的不同频段、不同结构的细节分别进行处理，可以获取更好的融合效果。但是由于这类方法比较复杂，处理时间较长，所以不适合用于实时性要求较高的领域。IHS和PCA算法容易实现，但由于存在替换过程，所以或多或少的存在光谱的失真现象，且源图像相关性越差，光谱失真现象越严重。所以这两种方法多用于相关性较强的遥感图像的融合中。除了以上介绍的图像融合方法以外，还有基于神经网络的融合算法、彩色空间变换方法(如基于LAB空间的融合方法)、基于MIT的算法、概率法、Brovey变换、E-M(ExpectationMaximation)算法、基于马尔科夫随机场的图像融合方法、模糊集合法、估值法、DempsterShafer证据理论法、Qltersubtractdecimate(FsD)金字塔法等。在实际应用中，图像融合方法的选取依赖于具体的应用目的和源图像的特征。2.6.2 图像融合的分类图像融合方法有多种分类方法。同一算法在不同的应用坏境中，可能属于不同的分类。下面列举两种常见的分类方法：1、按照融合的顺序和层次，可以将图像融合算法分为像素级、特征级和决策级融合。像素级图像融合是最基本的图像融合方法，也是目前人们研究最多、最常用的融合方法。IHs、PCA、简单的逻辑或加权平均法、EM法、各种基于金字塔和小波变换的融合方法等直接对像素进行处理的算法都属于像素级图像融合。2、按照融合处理过程是否对源图像进行变换，将图像融合算法分为多分辨率融合方法和非多分辨率融合方法，其中多分辨率分解法主要包括基于金字塔分解，小波和小波帧变换等的图像融合方法。除以上两种分类方法外也有学者给出了其它的分类方法，如Schowengerdt将图像融合技术分为光谱域融合、空域融合和尺度空间融合；Ranchin将图像融合技术分为投影和替代法、相对光谱摊派法、基于ARSIS概念的方法。第三章 PCA的算法以及在图像融合中的应用3.1 PCA原理主成分分析 （ Principal Component Analysis ， PCA ）是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题。计算主成分的目的是将高纬数据投影到较低维空间。给定 n 个变量的 m 个观察值，形成一个 n *m 的数据矩阵，n通常比较大。对于一个由多个变量描述的复杂事物，认识难度会很大，于是我们可以抓住事物主要方面进行重点分析，如果事物的主要方面刚好体现在几个主要变量上，那么我们只需要将体现事物主要方面的较少的几个主要变量分离出来，对此进行详细分析。但是，在一般情况下，并不能直接找出这样的关键变量。这时我们可以用原有变量的线性组合来表示事物的主要方面， PCA 就是这样一种分析方法。PCA主要用于数据降维，对于由一系列特征组成的多维向量，其中某些元素本身没有区分性，比如某个元素在所有的样本中都相等，或者彼此差距不大，那么这个元素本身就没有区分性，如果用它做特征来区分，贡献会非常小。所以我们的目的是找那些变化大的元素，即方差大的那些维，而去除掉那些变化不大的维，从而使特征留下的都是“精品”，使得计算量也相应变小。 对于一个k维的特征来说，相当于它的每一维特征与其他维都是正交的（相当于在多维坐标系中，坐标轴都是垂直的），那么我们可以变化这些维的坐标系，从而使这个特征在某些维上方差大，而在某些维上方差很小。例如，一个45度倾斜的椭圆，在第一坐标系，如果按照x,y坐标来投影，这些点的x和y的属性很难用于区分他们，因为他们在x,y轴上坐标变化的方差都差不多，我们无法根据这个点的某个x属性或y属性来判断这个点是哪个，而如果将坐标轴旋转，以椭圆长轴为x轴，则椭圆在长轴上的分布比较长，方差大，而在短轴上的分布短，方差小，所以可以考虑只保留这些点的长轴属性，来区分椭圆上的点，这样，区分性比x,y轴的方法要好！所以我们的做法就是求得一个k维特征的投影矩阵，这个投影矩阵可以将特征从高维降到低维。投影矩阵也可以叫做变换矩阵。新的低维特征必须每个维都正交，特征向量都是正交的。通过求样本矩阵的协方差矩阵，然后求出协方差矩阵的特征向量，这些特征向量就可以构成这个投影矩阵了。特征向量的选择取决于协方差矩阵的特征值的大小。经过 PCA 分析，一个多变量的复杂问题被简化为低维空间的简单问题。可以利用这种简化方法进行作图，形象地表示和分析复杂问题。3.2 PCA的目标PCA 的目标是寻找 r （ r<n ）个新变量，使它们反映事物的主要特征，压缩原有数据矩阵的规模。每个新变量是原有变量的线性组合，体现原有变量的综合效果，具有一定的实际含义。这 r 个新变量称为“主成分”，它们可以在很大程度上反映原来 n 个变量的影响，并且这些新变量是互不相关的，也是正交的。通过主成分分析，可以压缩数据空间，将多元数据的特征在低维空间里直观地表示出来。例如，将多个时间点、多个实验条件下的基因表达谱数据（ N 维）表示为 3 维空间中的一个点，即将数据的维数从N降到3 。 在进行基因表达数据分析时，一个重要问题是确定每个实验数据是否是独立的，如果每次实验数据之间不是独立的，则会影响基因表达数据分析结果的准确性。对于利用基因芯片所检测到的基因表达数据，如果用 PCA 方法进行分析，可以将各个基因作为变量，也可以将实验条件作为变量。当将基因作为变量时，通过分析确定一组“主要基因元素”，它们能够很好地说明基因的特征，解释实验现象；当将实验条件作为变量时，通过分析确定一组“主要实验因素”，它们能够很好地刻画实验条件的特征，解释基因的行为。下面着重考虑以实验条件作为变量的 PCA 分析方法。假设将数据的维数从 N 降到 3 ，具体的 PCA 分析步骤如下： (1) 第一步计算样本矩阵X 协方差矩阵 S 。 (2) 第二步计算协方差矩阵S的特征向量 e1,e2,eN及其对用的特征值, i = 1,2,N。把特征值从大到小排序，取前三位特征值对应的特征向量组成投影矩阵W 。 (3)第三步投影数据到W组成的空间之中。现在数据可以在三维空间中展示为云状的点集。对于 PCA，确定新变量的个数 r 是一个两难的问题。我们的目标是尽可能减小 r ，因为 r 小，则数据的维数低，便于分析，同时也降低了噪声，但r过度小的话可能丢失一些有用的信息。究竟如何确定 r 呢？这需要进一步分析每个主元素对信息的贡献。 贡献率表示所定义的主成分在整个数据分析中承担的主要意义所占的比重，当取前 r 个主成分来代替原来全部变量时，累计贡献率的大小反应了这种取代的可靠性，累计贡献率越大，可靠性越大；反之，则可靠性越小。一般要求累计贡献率达到 70% 以上。 举一个例子： 对于一个训练集，100个对象模板，特征是10维，那么我们可以建立一个10*100的矩阵作为样本。求这个样本的协方差矩阵，得到一个10*10的协方差矩阵，然后求出这个协方差矩阵的特征值和特征向量，应该有10个特征值和10个特征向量，我们根据特征值的大小，取前四个特征值所对应的特征向量，构成一个10*4（投影矩阵）的矩阵，这个矩阵就是我们要求的特征矩阵，100*10的样本矩阵乘以这个10*4的特征矩阵，就得到了一个100*4的新的降维之后的样本矩阵，每个特征的维数下降了。 当给定一个测试的特征集之后，比如1*10维的特征，乘以上面得到的10*4的特征矩阵，便可以得到一个1*4的特征，用这个特征去分类。 所以做PCA实际上是求得这个投影矩阵，用高维的特征乘以这个投影矩阵，便可以将高维特征的维数下降到指定的维数。3.3 PCA的算法3.3.1 PCA基本原理令x为表示环境的m维随机向量。假设x均值为零，即： Ex=O令表示为m维单位向量，x在其上投影。这个投影被定义为向量x和的内积，表示为：满足约束条件：而主成分分析的目的就是寻找一个权值向量使得表达式的值最大化：根据线性代数的理论，可以知道满足式子值最大化的训应该满足下式 即使得上述式子最大化的是矩阵的最大特征值所对应的特征向量。3.3.2 主成分的求解步骤在PCA中主要的是要求出使得方差最大的转化方向，其具体的求解步骤如下：(1)构建关联矩阵：.在实际应用中，由于原始数据的数学期望不容易求解，我们可以利用下式来近似构造关联矩阵：(其中，是各个原始灰度图像所有象素点对应的向量，N是原始图像的个数)(2)先计算出的各个特征值(3)把特征值按大小排序(4)计算出前m个特征值对应正交的特征向量构成。(5)将原始数据在特征向量w上进行投影，即可获得原始图像的主特征数据。3.3.3 主成分的求解方法通过上面的分析我们可以知道，对于主成分分析的问题最后转化为求解协方差矩阵的特征值和特征向量的问题，主成分的正交化分解的算法或。求特征值问题的算法常用的有雅可比方法和NIPALS方法。34 PCA在红外图像融合中的应用以及具体算法近几十年来, 随着红外成像技术的发展, 采用红外成像末制导技术提高制导精度的方法在远程精确制导对地攻击武器中得到了广泛的应用。红外图像目标尤其是复杂背景下的红外目标自动识别技术一直是国内外红外制导武器研究中的热点和难点。而特征提取是目标识别中的关键技术之一, 提取适当的目标特征对目标的识别具有事半功倍的效果。常用的图像特征有颜色特征、纹理特征、形状特征和空间关系特征等。在特征提取过程中, 为了提高识别率, 总是最大限度地提取特征信息, 结果不仅使特征维数增大, 而且其中可能存在较多的无效和冗余特征。因此, 选择合适的特征对于模式识别精度、训练时间和存储空间等许多方面都影响较大, 并且对分类器的构造也起着非常重要的作用。本节针对红外目标准确分类和识别问题, 研究了基于PCA 的红外图像区域特征选择方法。该方法主要包括以下两个部分: 首先, 采用有效的预处理方法对红外图像进行滤波和增强; 其次, 提取目标区域的形状特征, 并采用主成分分析( PCA )方法对形状特征进行优化选择, 最终构造出有效的维数较低的目标特征。3.4.1 多聚焦图像的成像原理 图1 光学镜头成像原理图图1表示了光学镜成像机理，其中U、y和S分别表示物距、聚焦平面的相距和非聚焦平面的相距。成像在聚焦平面则图像清晰，成像在非聚焦平面则图像模糊。由成像原理图，可做如下推理：根据相似三角形定理，有 （3-1）由上式得 （3-2）再把凸透镜成像方程 （3-3）代入（3-2）式，则有 （3-4）R表示模糊圈的大小，它很大程度上受到视觉系统的限制。假设R为当前可接受的最大模糊圆的值，改变对象的物距，依据凸透镜成像原理则有： （3-5）可得： （3-6）其中，是等于前述的S，由式（3-2）可知，即： （3-7）当，则有 （3-8）否则， （3-9）将式（3-8）和（3-9）分别代入式（2-6），可得 （3-10） （3-11） （3-12）、就分别表示模糊圈在R限定的情况下物距的最大和最小值。DOF就表示光学镜头的景深。所以光学镜头成像是否清晰是与其景深相关的。超出景深的大小则目标成像一定模糊，反之清晰。因此，在现实的应用中会现许多同一场景的图像目标由于距离、光线强度等外在的因素影响而显现出不同的清晰度。3.4.2 红外图像基于PCA的融合方法PCA变换也称K-L变换，PCA的目的将数据变换到另一空间中，从而减少该空间中的数据相关性。因此，PCA可以用于一维和二维信号的数据压缩处理。下面从PCA变换实现信号的压缩原理当中来分析图像的协方差矩阵的特征值作为融合比例系数选取的可行性：定义一信号量的协防差矩阵为 （3-13）其中，E*表示期望，表示x的平均值，中的元素满足下式 （3-14）易见为对称矩阵。为了减少数据之间的相关程度，换句话说就是要让变换过后的各分量线性无关，那么就需要找到一个正交矩阵A作用于x后得到的y所对应的协方差矩阵为对角阵。根据e的特征多项式方程 （3-15）求出的的特征值，将特征值代入下式 （3-16）得到的N个特征向量，进一步将其归一化，即 （3-17）显然，A是正交的。对向量x进行PCA变换，即 （3-18）如果经PCA变换后所得少所对应的协方差矩阵为对角阵就表明y的相关程度低，于是需证明 （3-19）证明 据（3-13）相应可得由前述知A满足正交性，即 于是有 （3-20） 又是实对称的，则必有正交矩阵A存在，使得 （3-21）显然，是对角阵由式（2-18）可得 （3-22）易见，为x在坐标系的分解形式，现在若要对原始信号x进行压缩处理，假定舍去y(m+1),y(m+2),y(N),则 （3-23）即为保留的信号，由此产生的均方差误差为： （3-24）现在若要达到最佳的压缩效果就需要最小。由式（3-23）和（3-24）可得 若（i,j=1,2,N）是正交的，即，那么 由式（3-13）若取=0，可得，于是